Тема 3. Критериально-ориентированное тестирование (2 часа)

План лекции

1. Понятие КОРТа

2. Этапы разработки КОРТ

3. Практическое использование КОРТ

1. Понятие КОРТа

Критериально-ориентированное тестирование — новое направле­ние в диагностике умственного развития учащихся. Основанные на особых способах конструирования и обработки методики КОРТ приобретают все большее значение в современной школе. Для по­строения заданий в КОРТ используется материал учебных программ —-из него отбираются учебные задания, отвечающие определенным требованиям: задания должны репрезентировать внутренне завер­шенную область какого-то учебного предмета. Далее необходимо, чтобы задание могло быть представлено как логическая последова­тельность умственных действий, приводящих к его выполнению. Это задание при его выполнении должно вводить в мышление уча­щихся новые термины, понятия, ситуации и способствовать уста­новлению связей и отношений между ними и тем, что уже было ус­воено ранее. Такие задания называют ключевыми.

Овладение содержанием ключевого задания выступает в КОРТ в качестве критерия умственного развития учащихся в той специфи­ческой области, к которой принадлежит это задание; уровень раз­вития тем выше, чем полнее овладевают учащиеся его содержани­ем. Сложились два вида критериев.

Первый — критерий как показатель учебных достижении. Он обобщает ключевые задания из тех разделов учебных программ, изучение которых уже завершено. Сравнивая результаты, получен­ные при испытании методиками КОРТ, с критерием, устанавливают уровень умственного развития отдельного учащегося или группы учащихся. Разумеется, что этот уровень развития относится к той специфической области, которую представляет критерий.

Второй вид — критерий как показатель логико-психологической подготовленности учащегося к выполнению ключевых заданий из состава разделов программы, которые предстоит изучать. Критерий этого вида предназначен для того, чтобы установить, соответствует ли умственное развитие учащегося требованиям, предъявляемым новым программным материалом. И в этом случае результаты испы таний методиками КОРТ при их сравнении с критерием дадут ин­формацию о том, представлены ли в мышлении учащегося необхо­димые для усвоения новых разделов программы умственные дейст­вия, может ли он уверенно использовать, актуализировать их при выполнении новых ключевых заданий.

При анализе этой информации нужно считаться с тем, что уро­вень умственного развития учащихся может выявить недочеты ло­гико-психологической структуры тех разделов учебной программы, которые уже изучены и должны бы были подготовить учащихся к восприятию и усвоению нового материала.

По отношению к отдельным учащимся полученная по результа­там испытаний методиками КОРТ информация после ее психологи­ческого анализа позволяет установить пробелы и недостатки в их умственном развитии и построить систему коррекционных занятий, направленных на его приближение к критерию

2. Этапы разработки КОРТ

Психологическое содержание методик КОРТ определяется не только их особой направленностью — обращенностью теста на кон­троль и оценку умственного развития. Методики КОРТ исследуют умственные действия, опосредующие выполнение учащимися учеб­ных заданий. Указания на то, что это за действия, в методической литературе, как правило, отсутствуют, а если и имеются, то им присущ самый общий характер — это ссылки на необходимость анализа, синтеза, сравнения, обобщения, без определения содержа­тельных показателей их выполнения на материале с конкретной предметной спецификой. Эти действия должны быть выявлены как путем логико-психологического анализа задания, так и в ходе спе­циально организованных наблюдений за учащимися, когда они вы­полняют задание. Психологическое содержание закладывается в тест и с помощью методических приемов, связанных с отбором со­держания тестовых заданий, а также анализом способов ориентации в предметном материале, каждый из которых обусловлен «субъективной логикой» учащихся, овладевающих требуемыми умственны­ми действиями.

Тест, о котором пойдет речь далее, был разработан на материале математи­ки (6 класс общеобразовательной школы) и был направлен на вы­явление умственных действий, опосредующих умение составлять уравнения по условиям тестовых задач.

1. Подбор ключевых заданий. Конструируя методику КОРТ, автор всегда исходит из того, что представленное в тесте за­дание является ключевым. В данном случае предполагалось, что умение составлять уравнения является таковым в ряду математиче­ских знаний и умений. В 5—6 классах это умение только формиру­ется, здесь закладывается и его психологическое содержание, т.е. умственные действия, обусловливающие функционирование умения. На дальнейших этапах роль этого умения возрастает.

2. Спецификация теста. Все это учитывается в ходе составления спецификации теста. Описывая критерий, на который данный тест ориентирован, специ­фикация вместе с тем определяет границы той области содержания, к которой тест относится. Для того чтобы показать, как проводится спецификация, обра­тимся к уже имеющемуся опыту разработки методик КОРТ.

Подготавливая спецификацию теста, прежде всего, нужно рас­крыть критериальное значение исследуемого содержания. Для ука­занного теста оно таково: специфика изучения математики тесно связана с актуализацией умственных действий, формированием приемов мышления школьников. Эти приемы выступают как усло­вие исследования и решения тестовых задач. В данном случае в спецификации отмечается, что существенным в решении текстовых задач является построение последовательности моделей задачи, ко­нечным звеном в которой является математическая модель (уравнение). Моделирование отношений между величинами являет­ся конституирующей характеристикой математического мышления, а знаковые модели и их трансформации выступают в качестве со­держательной основы умственных действий. Ориентация на знако­вую модель, которая является результатом мыслительного преобра­зования текстовой математической задачи, выступает, таким обра­зом, как критерий формирования умственных действий. Он и закла­дывается в данный тест. Составление уравнения по условиям тек­стовых задач предполагает, что учащийся владеет такими умствен­ными действиями:

1) анализирует ситуацию задачи, т.е. выявляет условие, существенное для составления уравнения по тексту задачи (основание для уравнивания);

2)устанавливает тождество между знаковыми моделями разной степени обобщенности и текстом-описанием

3) разбивает задачи на классы по существенному основанию: типу отношений между величинами;

4) усматривает подобие в задачах исходя из аналогичного характера моделирования зависимости между величинами.

Выявленная совокупность умственных действий состав­ляет основу конструирования методики КОРТ. Сформированность каждого действия проверяется отдельным субтестом. В тесте, о котором идет речь, таких субтестов четыре (по чис­лу обозначенных действий): «Выделение существенного», «Четвертый лишний», «Найди подобную», «Установление тождества»

Разработчик теста должен быть уверен, что в тест войдет мате­риал, который репрезентативен для исследуемого учебного содер­жания. С этой целью была произведена каталогизация тестовых за­дач. Она включала в себя сведения о сюжетах, особенностях задач, их предметном содержании (т.е. какие величины представлены в задаче: взаимосвязанные или разные значения одной и той же ве­личины), типах знаковой модели отношений между величинами, входящими в условие задачи. Далее определялся примерный удель­ный вес каждой задачи, т.е. то место, которое отводится задаче данного типа в школьном учебнике математики. Таким образом, в задания субтестов были включены все основные типы задач, пред­ставленные в учебной программе. При разработке методики КОРТ тексты отобранных задач были подвергнуты некоторым изменениям, связанным с включением в условия стимульного материала. Напри­мер, для заданий методик КОРТ стимульным материалом явились такие элементы содержания и структуры задачи, которые могли бы побудить учащихся использовать сложившиеся у них способы ори­ентации в материале — субъективные «логики». В условия задач вводились одинаковые числовые данные, сходная лексика и т.д. Все эти несущественные, внешние по отношению к собственно матема­тическому содержанию задач данные осуществляли функцию «шума», предназначенного «маскировать» сигналы, т.е. отношения между вели­чинами, фиксируемые знаковой моделью определенного вида.

Внесение в задания стимульного материала позволяет опреде­лить, насколько соответствует степень сформированности умствен­ного действия установленному критерию. Если ученик так и не ов­ладел требуемым умственным действием, он не сумеет преодолеть неадекватные способы ориентации в учебном материале. Все это ясно продемонстрирует методика КОРТ.

Независимо от того, на каком предметном содержании разраба­тываются методики КОРТ или какие частные принципы положены воснову их конструирования, спецификация теста всегда включает в себя краткое описание той области содержания, для изучения кото­рой предназначен тест, образцы задания, стимулы-признаки крите­рия, типичные ответы, которые могут дать испытуемые в ситуации тестирования. Спецификация теста задает основу для установления содержательного соответствия тестовых заданий и реальных учебных задач- И не важно, подробной или краткой будет эта спецификация, ее основное значение заключается в том, что она позволяла в со­держательном и операциональном планах оценить, что действитель­но означает выполнение теста по отношению к критериальной об­ласти поведения.

3. Когда спецификация составлена, подготовленные мето­дики КОРТ подлежат проверке.

Прежде всего разработчику теста необходимо убедиться, что его предварительный анализ умственных действий, опосредующих вы­полнение учебных заданий, был верен и каждое из умственных дей­ствий имеет свое собственное логическое содержание. Эта задача решается путем составления результатов по отдельным субтестам КОРТ¹. Если каждое из анализируемых умственных действий играет свою особую роль в опосредовании умения, то вряд ли можно будет ожидать, что между успешностью выполнения отдельных субтестов будет выявлена тесная связь.

Модель умственных действий, представленная в методиках КОРТ, должна быть исследована с точки зрения ее содержательного соответствия реальному выполнению учащимися учебных заданий. Это достигается путем сопоставления результатов КОРТ и предста­вительных выборок учебных контрольных заданий (сокращенно КЗ). Это не исключает сопоставления данных тестирования с учебной успеваемостью, с результатами экзаменационных проверок и т.д.

Если анализ логического состава умения верен и владение сово­купностью умственных действий, актуализируемых методикой КОРТ, действительно связано с реальным выполнением учебных за­даний, то следует ожидать, что учащиеся, которые владеют всеми умственными действиями по методике КОРТ, успешно выполнят и КЗ. Соответственно те учащиеся, которые не владеют ни одним из умственных действий, заданных КОРТ, с ними не справятся. Про­верка этого предположения осуществляется путем установления зависимости между выполнением методики КОРТ и КЗ

Сопоставление методик КОРТ и КЗ не может ограничиваться рассмотрением коэффициентов корреляции, поскольку этот коэф­фициент не говорит о причинах совпадений или расхождений. Воз­никает необходимость качественного анализа рассогласований. Это предполагает обращение к характерным особенностям выполнения методик КОРТ и КЗ отдельными учащимися и их группами.

Специальному анализу подлежат также данные учащихся, кото­рые, владея лишь некоторыми из представленных в методиках КОРТ умственными действиями, все же выполняют КЗ с высоким результатом. Будет правомерным предположить, что успех выпол­нения заданий (КЗ) здесь может непосредственно зависеть от того, удается ли им заменить то умственное действие, которым они не владеют, другими действиями или их сочетаниями. Компенсация умственного действия в данном случае связана с переформулирова­нием условия задания, с перестройкой умственных действий для решения задания.

Анализ рассогласований в выполнении методик КОРТ и КЗ по­зволяет исследователю выявить присущие учащимся способы вы­полнения заданий и оценить, насколько эти способы отвечают зада­чам умственного развития в области математики.

Корт своими содержательными и структурными характеристика­ми соответствует конкретной ситуации обучения и поэтому может служить оперативным средством контроля и оценки результатов обучения. Разработка и исследование таких тестов всегда связаны с решением актуальных учебно-образовательных задач. С помощью методик КОРТ учителя и психологи могут выявить объективные по­казатели умственного развития в отношении тех разделов обучения, которые соотносимы с ключевыми, ведущими требованиями школь­ной программы. Анализ выполнения теста позволяет локализовать и раскрыть недостатки и пробелы в логико-психологической и учеб­ной подготовке школьников, в их умственном развитии, определить направление и содержание коррекционных воздействий. Критери­ально-ориентированное тестирование может выступить как один из компонентов обратной связи в функционировании системы образо­вания. Применение методик КОРТ позволяет выявить, соответству­ют ли осуществляемые учащимися умственные действия логике предметного материала, складывается ли у учащихся предметная ориентация мышления. И не случайно первый опыт разработки ме­тодик КОРТ был вызван необходимостью углубленного психологи­ческого анализа трудностей и недостатков умственного развития учащихся, связанных с усвоением базовых учебных умений и прие­мов мыслительной деятельности в конкретных областях предметно­го содержания.

3. Практическое применение КОРТ

Современная психологическая диагностика располагает достаточ­но большим аресналом методик для оценки сформированности ма­тематического мышления, о чем шла речь в предыдущем параграфе, а также лингвистического и технического мышления. Это связано с достаточной исследованностью проблемы содержания и структуры данных видов мышления. Отсутствие до недавнего времени методик, посвященных диагно­стике сформированности естественнонаучного мышления, было свя­зано, как отмечается в литературе, с неразработанностью специфи­ки этой проблемы.

В связи с этим для диагностики сформиро­ванности процесса теоретического естественнонаучного мышления должны использоваться задания качественного характера, решение которых невозможно подвести под жесткий алгоритм. Качествен­ными заданиями в естествознании (в отличие от расчетных, экспе­риментальных и графических задач) называются задания, которые решаются логическим способом. При решении данного типа заданий не требуется никаких вычислений, определяются только качествен­ные зависимости между объектами. Существенно и то, что качест­венная форма проблемной ситуации в наибольшей степени соответ­ствует реальной ситуации научного поиска. Дифференциация стадий сформированности естественнонаучного мышления должна осуществляться в зависимости от сформирован­ности действия теоретического обобщения. Основное содержание теоретического обобщения определяет процессы синтеза, осуществ­ляемые как переход мысли от известной закономерности к приме­нению ее в конкретных условиях.

Структура теста должна быть связана с диагностикой развития естественнонаучного мышления как процесса. При этом если диаг­ностика процесса мышления на микроуровне направлена на иссле­дование сформированности отдельных нормативных составляющих мыслительных процессов (прежде всего анализа и синтеза) и выяв­ление тем самым реального процесса мышления в его индивидуаль­ном варианте, то диагностика мыслительного процесса на макро­уровне предполагает анализ сформированности его отдельных ста­дий и определения, таким образом, индивидуальных моделей разви­тия мышления. И та и другая диагностика при этом связаны с оценкой промежуточных результатов в развитии мышления, но не­посредственно интегрированных с процессом мышления и вследст­вие этого характеризующих его.

В рамках критериальной диагностики разработаны тесты для ди­агностики естественнонаучного мышления (Г.А. Берулава, 1992). Тесты естественнонаучного мышления для учащихся 7 (ТЕМ-7) и 8 класса (ТЕМ-8) включают в себя систему заданий, являющихся мо­делью когнитивной организации предметной области естествозна­ния. Каждый тест содержит родовые задачи, каждой из которых соответствует некоторый класс индивидуальных задач.

В тесты включены лишь задачи качественного характера. В есте­ственнонаучных предметах процент задач, решаемых по жесткому алгоритму, очень незначителен. Это связано с тем, что взаимодей­ствие объектов, лежащих в основе любой естественнонаучной зада­чи, в значительной степени определяется условиями взаимодейст­вия и индивидуальными свойствами объектов взаимодействия, в от­личие, например, от математики, где данные факторы не имеют значения.

При определении содержательной валидности тест должен ори­ентироваться на внешние социально обусловленные и педагогически адаптированные требования. Однако сам теоретический критерий валидности должен быть психологическим. При этом существенно, что он должен быть различным для дифференцированных моделей обучения, реализуемых в рамках школ различных типов.

Разработанные тесты являются нормативными для учащихся школ с углубленным изучением естественнонаучных предметов. Все задания носят качественный характер. При этом сюжетная форма заданий, без наличия в их условиях каких-либо абстрактных симво­лов и знаков, не позволяет ассоциировать их с какой-либо абст­рактной теорией.

Каждый тест для диагностики сформированности у уча­щихся естественнонаучного мышления содержит 30 задач, в основе которых лежит 5 естественнонаучных законов, яв­ляющихся для усвоения учебного материала в 7 и 8 клас сах основополагающими. Каждому закону соответствуют шесть задач, три из которых составлены на материале физики, в рамках которого изучались данные законы, и три — на межпредметном ма­териале (биологии и физики в 7 классе, биологии, физики и химии — в 8). Каждый тест содержит два субтеста, один из которых диагно_: стирует сформированность дифференциально-синтетической стадии естественнонаучного мышления, а второй — синтетической. Приводим примеры заданий из дифференциально-синтетического субтеста теста естественнонаучного мышления для 7 класса

Задание. Почему нельзя тушить горящий керосин, заливая его водой?

а) вода будет испаряться с поверхности горящего керосина; б) вода будет смешиваться с керосином вследствие явления диффузии; в) плотность воды больше плотности керосина, поэтому вода будет опускаться вниз, а керосин будет всплывать наверх и не закроет доступ воздуха, необходимого для горения керосина.

Варианты ответов для задания субтеста (их по три в каждой за­даче) позволяют диагностировать преимущественный способ мыш­ления учащегося: эмпирически-бытовой (ему в данном задании со­ответствует 1-й вариант ответа), эмпирически-научный (ему соот­ветствует 2-й вариант ответа) или дифференциально-синтетический (3-й вариант ответа), который характеризует уже теоретический тип мышления.

Аналогичную структуру имеют задания синтетического субтеста.

Задание. Почему кит, оказавшись на мели, погибает?

а) сила трения, имеющаяся на твердой почве, мешает ему доб­раться до воды; б) кит задыхается от воздуха; в) вследствие закона Архимеда вес кита оказывается незначительным; на суше выталки­вающая сила отсутствует, и кит погибает под действием собствен­ного веса.

В основе решения данной задачи лежит закон Архимеда, в то же время "она построена на нехарактерном для курса физики биологиче­ском материале. Эмпирически-бытовому способу мышления в данном случае соответствует 2-й вариант ответа, эмпирически-научному — 1-й вариант, теоретическому (дифференциально-синтетическому) способу мышления соответствует 3-й вариант ответа.

При разработке структуры теста естественнонаучного мышления для 8 класса (ТЕМ-8) был использован тот же принцип построения, но законы, лежащие в его основе, являются уже репрезентативны­ми для естественнонаучного познания учащихся 8 класса.

Задания дифференциально-синтетического субтеста ТЕМ-8 имеют структуру, аналогичную заданиям дифференциально-синтетического субтеста ТЕМ-7

Задание. Почему притертую стеклянную пробку легко вынуть из флакона, если потереть его горлышко сухой тряпкой или бумагой?

а) при натирании горлышка бутылки совершается механическая работа, благодаря чему увеличивается внутренняя энергия горлыш­ка, оно нагревается и расширяется; б) из-за колебаний горлышка бутылки пробка расшатывается, и ее легче вынуть из бутылки; в) в результате силы трения горлышко расшатывается, и поэтому проб­ку легче вынуть из бутылки.

Вариант ответа «б» при этом соответствует эмпирически-бытовому способу мышления, «в» — эмпирически-научному. Пер­вый вариант ответа характеризует теоретический способ мышления (в данном случае его дифференциально-синтетическую стадию). В основе решения предложенной задачи лежит закон сохранения энергии. В рамках дифференциально-синтетического субтеста ему соответствуют две задачи, построенные на характерном для курса физики материале. В синтетическом субтесте данный закон приме­няется в условиях, адекватных материалу, используемому в курсах биологии и химии.

Задание. Почему пораженные током живые организмы погибают?

а) потому что ток убивает клетки живых организмов; б) при про­хождении тока по клеткам живого организма электрическая энергия превращается во внутреннюю энергию, вследствие чего нагревается плазма клеток; в) потому что при прохождении тока в клетках жи­вых организмов происходят необратимые химические реакции.

С использованием предметного материала курса химии закон со­хранения и превращения энергии реализован, например, в задаче следующего содержания.

Задание. Почему выделяется теплота при взаимодействии цинка с разбавленной серной кислотой?

а) потому что у серной кислоты повышена температура, и она сжигает все вещества; б) в процессе химической реакции с серной кислотой уменьшается внутренняя энергия системы, вследствие че­го выделяется теплота; в) выделение теплоты в процессе указанной реакции происходит в результате взаимодействия электрических за­рядов цинка и серной кислоты.

Структура теста позволяет оценить сформированность процесса теоретического обобщения, понимаемого как восхождение от абст­рактного к конкретному. Это обеспечивается тем, что каждому ес­тественнонаучному закону соответствует серия задач одинаковой объективной сложности, в которых варьируются лишь конкретные условия применения закона. Сложность заданий определялась по объективным критериям экспертным путем и с помощью алгоритмического метода, при этом учитывалось то, что жесткая статистическая оценка трудности за­дач для критериальных исследований неприемлема. Тесты прошли формальную проверку на надежность и валидность.

Диагностика сформированное™ естественнонаучного мышления с помощью разработанных тестов создает возможность не только опре­делить тип естественнонаучного мышления (эмпирический или теоре­тический), но и стадию их сформированности. В рамках эмпирического типа — это эмпирически-бытовая и эмпирически-научная стадии.

Каждому естественнонаучному закону соответствует серия зада­ний одинакового уровня сложности, в которых варьируют лишь конкретные условия применения закона. Разработанный тест является групповым. Время для решения всего теста — 40—50 минут (1 урок). Тест предъявляется всем учащимся класса одновременно, при этом сидящие рядом ученики делают разные субтесты. Каждое верно выполненное задание оценива­ется одним баллом.

Качественная обработка результатов позволяет также сделать вывод, какие типы связей (законов) вызывают затруднение у уча­щихся, и произвести в этом направлении целенаправленную кор­рекцию.

Проверка тестов, диагностирующих некоторые специальные виды мышления учащихся (математическое и естественнонаучное), пока­зала, что они обладают высокой практической эффективностью. В этой главе описаны два варианта разработки методик критериально-ориентированного тестирования. В том и другом варианте диагно­стирование ставило своей целью выявить, насколько умственное развитие учащихся приближается к тем требованиям, которые предъявляются учебными программами. В диагностировании естест­веннонаучного мышления тестовые задания позволяли дифференци­ровать разные стадии развития этого вида мышления