Критериально-ориентированный тест - частный случай теста, предназначенного для абсолютного тестирования, позволяющий оценить, преодолел ли испытуемый определенный порог усвоения учебного материала рассматриваемый учебной программы или ее части. При этом результаты тестирования сравниваются с некоторым критерием уровня подготовленности.
Критериально-ориентированный тест — система тестовых суждений, позволяющих сопоставить уровень учебных достижений тестируемых с заданным критерием качества их обученности.
Критериально-ориентированные тесты отличаются от традиционных тестов тем, что в традиционных оценка осуществляется путем соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму), а в критериально-ориентированных – оценка осуществляется путем соотнесения индивидуальных результатов с некоторым критерием. В качестве такого критерия выступает уровень владения навыком, умениями, знаниями.
Краткая история
Возникли в системе образования в США в 60-70е годы, у нас в 80-е (новые тенденции в психодиагностике). До этого использовались 2 вида тестов:
- тест интеллекта
- тест достижений в системе образования
Тест интеллекта: особенности тестов интеллекта заключаются в том, что содержание и задание не было связано напрямую с учебной программой. Вывод об успешности учебной деятельности по результатам теста представлял проблему, так как не было соответствия тестам интеллекта и учебных заданий. 0,5 – корреляция успешности тестов интеллекта и успешностью обучения между ними. Невозможно выявить причину специфических трудностей учеников при выполнении учебной деятельности и определить содержание коррекционной работы с этими учениками.
Тесты интеллекта не могут оценить ученика с точки зрения его соответствия конкретным требованиям учебной программы, так как ориентированы на статистическую норму.
Тесты достижений используются в целях контроля успешности усвоения конкретных учебных знаний и навыков. По результатам можно сделать вывод: насколько учитель соответствует требованиям школьной программы, насколько продвинулся и какая помощь ему нужна. Ориентиры не на статистическую норму, а на критерий усвоения. Недостаток – построены бихевиористические модели обучения, контролировали конечный продукт усвоения. А способы усвоения не оценивают. В этом отношении тесты интеллекта давали больше информации.
В 1963 году – Гласер – первый использовал термин критериально-ориентированное измерение.
В 1968 году – описаны способы конструирования Критериально-ориентированные тестов.
В начале 70-х годов – интерес к практике критериально-ориентированного измерения. КОТы отражали: что и как усвоено в процессе программированного обучения. С помощью КОТа можно оценить насколько человек готов к выполнению какой-либо деятельности, справится ли человек с определенной деятельностью, и на каком уровне может быть выполнена определенная деятельность? КОТы могут быть полезны не только в системе образования, но и в профессиональной деятельности.
Цели использования КОТа:
Контроль за развитием психических функций, контроль усвоения учебного материала. С помощью КОТа можно оценить насколько человек продвинулся в усвоении, развитии.
Оценить насколько развитие определенной функции усвоения соответствует конкретным требованиям той или иной должности. Прогнозировать справится ли человек с той или иной деятельностью.
Отсюда основная особенность КОТа – тесты ориентированы на внешние требования, выражающиеся в критерии развития или усвоения (критерий выполнения).
Критерий КОТ.
Понятие «критерий». На первом этапе рассматриваются 2 концепции критерия:
Критерий – это уровень мастерства, выполнение на определенном уровне конкретной деятельности.
Критерий – это определенные содержательные и операциональные аспекты деятельности. Набор знаний, навыков, действий, чтобы справиться с определенной деятельностью.
Слились 2 концепции в одну: выполнение деятельности и определенная сформированность знаний, навыков, соответствующая определенному уровню мастерства.
Понимание критерия было отвергнуто, так как вносило путаницу в тестирование. Таким образом, можно было думать, что любой тест можно превратить в КОТ, если ввести уровень мастерства (уровень выполнения теста) на этапе интерпретации теста. Критерий отражает содержательные и операциональные элементы той деятельности, которую необходимо выполнить, чтобы соответствовать заранее заданным требованиям извне. Чтобы отразить насколько человек владеет определенной деятельностью, КОТ должен отражать, что человек знает, умеет. КОТ – особый метод диагностики. Различие на первом этапе: выяснение целей, в отличие от традиционных тестов.
Вторая особенность КОТа – его результаты представляются не столько в условных баллах, сколько в конкретных показателях усвоенности и сформированности определенных знаний, навыков, умений. Главное не окличество выполненных заданий, а что человек знает, какие операции умеет делать.
Третья особенность КОТа – показатели выполнения оцениваются не по сопоставимости с нормой, а по сопоставлению КОТа с критерием (внешний заданный критерий). Что именно человек знает, чтобы рассчитывать на успех в определенной деятельности.
Как конструируется КОТ?
С самого начала обратить внимание на определенную критериальную задачу – это внешнее требование к человеку, что человек должен знать и уметь. Насколько человек способен к пониманию прочитанного сложного текста. Деятельность понимания выражается в отдельных операциональных компонентах.
Типы задач: подчеркивать предложение, где отражается главная мысль. Выбор заголовка для отрывка текста. Перечислить факты, отражающие главную мысль.
Принципы при отборе задач:
· должны дифференцировать испытуемого
· должны быть разными по трудности (отбросить задачи, которые решаются всеми или ни одним)
Не важно дифференцируют ли задания разных испытуемых, различны ли по трудности – главное – чтобы были адекватны той деятельности, которую нужно диагностировать. По результатам КОТа судят: какими операциональными компонентами деятельности владеет испытуемый, а какими нет.
Цель использования: можно выяснить, какими операциональными, содержательными компонентами испытуемый не владеет в полной мере – выяснив это можно определить направление коррекционной работы. Определив в чем недостатки – можно наметить путь усовершенствования.
Четвертая особенность КОТа – в процессе критериально-ориентировочной практики – КОТы выполняют мотиво-образующую функцию. Их выполнение побуждает индивидов к совершенcтвованиюию собственных умений, заданий.
Как КОТы используют по отношению к диагностике умственного развития?
Сформированность отдельных навыков – которые можно разложить на отдельные компоненты - ограничивают КОТы. Сложную умственную деятельность невозможно разложить на отдельные компоненты. Можно оценивать элементарные навыки.
2 направления по применению КОТа в диагностике умственного развития:
разработка методик ориентированных на систему социально-психологических нормативов (частный вид КОТа). На общие требования к умственному развитию опирались разработчики тестов на социально-психологические нормативы. Можно оценить насколько соответствует умственное развитие – внешним требованиям.
Разработка особых методик, ориентированных на критерий – совокупность компонентов умственного развития, обеспечивают их успешное выполнение.
Насколько умственное развитие соответствует специфическим требованиям можно определить, используя КОТ.
Отечественным примером КОТ является Школьный Тест Умственного Развития – ШТУР.
Первая работа по разработке КОТ в 80-е годы Горбачевой – КОТ диагностики умственного развития в специфичной области. Выявление компонентов умственного развития, обеспечивающих успешное решение определенного класса математических задач. Умение составить уравнение по текстовым задачам. Какие нужны умственные операции – недостаточно тех знаний, которые даются на уроках математики. Совокупность умственных операций – чтобы выяснить, какие нужны операции. Горбачева давала в 5 классе тексты математических задач. В задаче требовалось составить уравнение, но составлять (решать) нужно с определенными условиями – ничего нельзя записывать. Школьники проговаривали свои способы выполнения. Она определила 4 группы умственных действий – операциональные компоненты деятельности по решению текстовых задач.
Для каждого умственного действия - разные типы задач. Всего 4 субтеста:
- выделение существенного
- четвертый лишний
- найди подобие
- установление тождества.
Валидность устанавливалась по сопоставлению с успешностью обучения математики. Специальные контрольные задания по математике. Выяснилось, что каждый из отдельных субтестов слабо коррелирует с успешностью выполнения контрольных заданий. Но общее значение субтестов высоко коррелирует с успешностью выполнения контрольных заданий. Отдельного действия недостаточно. Наглядное мышление и вербальное мышление должны быть сформированы для успешного выполнения деятельности.
В ходе диагностики выявляются причины затруднения детей, обусловленные несформированностью логических компонентов действия или отсутствием знаний в соответствии с выявленными причинами строится коррекционная работа. Критериально - ориентированный тест - это прогрессивное явление диагностики, состоящее в том, что внутри тестологии разрабатывается прием выявление динамики выполнения задания с учетом строгих правил стандартизации и валидизации. Вместе с тем критериально - ориентированное тестирование подвергается критическому обсуждению. Некоторые авторы считают, что в критериально - ориентированном тестировании результаты оцениваются не с точки зрения развития у личности познавательных способностей, а с точки зрения результата к внешнему дидактическому нормативу, что приводит к выхолащиванию сущности психологического измерения.