Критериально-ориентированные тесты — тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это – основное отличие критериально-ориентированного тестирования от традиционных психометрических тестов (нормативно-ориентированного тестирования), оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму). Термин критериально-ориентированного тестирования предложен Р. Гласером в 1963 г. Установление содержательного и структурного соответствия заданий теста и реальной задачи — важнейший этап разработки критериально-ориентированного тестирования. Этим целям служит так называемый спецификация, включающая:
а) содержательный анализ критериальной задачи, описание ее возможных форм и особенностей;
б) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;
в) образцы тестовых заданий и описание стратегии их конструирования.
Различают две разновидности критериально-ориентированного тестирования:
— тесты, задания которых гомогенны (однородны), т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тестирования разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;
— тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода критериально-ориентированные тестирования обычно используются для диагностики специфических трудностей в обучении. Существенной особенностью критериально-ориентированного тестирования является то, что в них индивидуальные различия сводятся к минимуму (индивидуальные различия влияют на длительность усвоения, а не на конечный результат). Поэтому критериально-ориентированные тестирования лучше всего приспособлены для оценки развития основных навыков на элементарном уровне. В более сложных областях поведения предела достижений не существует и, исходя из этого, необходимо обращаться к оценкам, ориентированным на нормы.
Нормативно-ориентированный подход – позволяет сравнивать учебные достижения (уровень подготовки, уровень профессиональных знаний и умений) отдельных испытуемых друг с другом.
Критериально-ориентированный подход позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом.
Различия КОТ и НОТ
| КОТ | НОТ |
| Цель создания теста | |
| Критериально-ориентированные тесты составлены для того, чтобы аттестовать результаты испытуемого в соответствии с областью определенных знаний, умений и навыков. Результаты критериально-ориентированного тестирования могут быть использованы для: 1. оценки итогового уровня обученности испытуемого, соответствия этого уровня государственным образовательным стандартам или программе обучения; 2. отбора студентов, достигших необходимого уровня обученности, в том числе и профессиональной компетенции; 3. оценки эффективности программы обучения в том или ином учебном заведении. Результаты критериально-ориентированного тестирования также могут быть использованы для сравнения между собой уровней подготовки студентов, однако в этом случае можно получить сравнительно низкую надежность, если распределение баллов однородно и имеет малую вариацию. | Нормативно-ориентированные тесты составлены специально для того, чтобы получить возможность сравнения испытуемых в той области содержания, для которой тест предназначен. Для этого используются нормативные или стандартные шкалы. |
| Уровень детализации области содержания теста | |
| Подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по спецификации разрабатываются задания | Несущественен. Авторы теста выбирают наиболее значимые элементы содержания |
| Используемые шкалы | |
| Шкалы процентов с выбранным одним (или несколькими) критериальным баллом (баллами). | Стандартные шкалы с указанием среднего значения и стандартного отклонения в выбранной шкале |
| Статистический анализ и отбор тестовых заданий | |
| Уровень трудности и различающая способность заданий не является существенным фактором включения в состав теста, или наоборот, исключения из него. Главное условие отбора заданий – это их соответствие (или конгруэнтность) спецификации и элементу содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла. | Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности и высокой различающей способностью. |
| Надежность теста | |
| Оценивается степенью постоянства принятия решения «зачет - незачет» при двукратном тестировании. | Оценивается либо путем нахождения корреляции между результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании. |
| Валидность теста | |
| Особое внимание делается содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность. | Наряду с содержательной валидностью для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности |
Сегодня за рубежом разработаны тесты, выполнение заданий которых можно соотносить как с критериями, так и с нормами. Необходимо учитывать и то, что нормы неявно присутствуют в критериально-ориентированном тестировании, ибо выбор содержания или навыков, подлежащих измерению, предполагает наличиесведений о том, как в подобных ситуациях действовали другие обследуемые. Исходя из этого, наиболее перспективным представляется объединение критериально-ориентированного подхода с традиционным психометрическим.
А. Анастази (1982) правомерно считает, что акцент критериально-ориентированного тестирования на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированного тестирования непригодны в большинстве случаев обычные приемы определения валидности (пригодности) и надежности.
В отечественных исследованиях имеется опыт создания критериально-ориентированного тестирования (Е. И. Горбачева, 1985). Кроме того, осуществляется разработка методик, близких критериально-ориентированному тестированию, но ориентированных не на критерий, а на так называемый социально-психологический норматив или общественно-заданный объективный содержательный эталон. Так же, исходя из социально-психологического норматива, анализируются результаты, полученные с помощью известных психометрических тестов.