Методика экспертизы. Оценка качества содержания теста должна проводиться по определенной методике независимыми экспертами, не участвовавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту. К экспертизе привлекаются наиболее опытные учителя, имеющие большой стаж работы с теми учащимися, для которых в конечном итоге предназначен тест.
Три направления работы экспертов
1) анализ качества содержания отдельных заданий теста.эксперт сам выполняет весь тест, сопоставляя полученные правильные ответы с ключом ответов автора (для заданий с выбором ответа) и анализируя оценочные категории, представленные автором (к заданиям со свободно конструируемым ответом). Особое внимание следует обратить на возможную неоднозначность, когда на месте планируемого единственного ответа могут возникнуть дополнительные, частично правильные ответы.
Эксперт оценивает уровень значимости содержания каждого задания теста и ожидаемое время его выполнения учащимся со средним, уровнем подготовленности, а также находит логически некорректные задания, нуждающиеся в коррекции.
При экспертизе также следует охарактеризовать качество формулировок заданий теста, отметить (в случае необходимости) лексическую избыточность формулировок, охарактеризовать качество представления графической информации и других компонентов заданий. При экспертизе следует помнить о том, что тестовые задания должны быть сформулированы предельно четко, точно, лаконично и корректно с точки зрения общепринятой в учебном предмете терминологии и символики предмета.
2) анализ качества содержания всего теста. При выполнении работ по этому направлению эксперт должен оценить степень отображения требований, ГОС в тесте, правильность пропорций содержания теста и их соответствие спецификации теста.
3) Третье направление работы эксперта рассчитано на подготовку обобщающих выводов и рекомендаций по улучшению содержания теста. В третьем разделе рецензии эксперт высказывает свое общее впечатление о содержании теста. Здесь должны быть представлены все сомнения эксперта и его рекомендации авторам по коррекции теста. Возможна оценка соотношения заданий, проверяющих знание теории предмета и его практики.