Исходя из необходимости повышения эффективности учебного процесса и из возможности применения современных информационных технологий наиболее перспективным и целесообразным представляется автоматизация процесса педагогического тестирования. Высокая степень формализации и унификации процедуры тестирования, возможность одновременного проведения тестирования на нескольких компьютерах, а также возможность организации дистанционного тестирования посредством локальной вычислительной сети либо через глобальную информационную сеть Интернет предопределили всеобщий интерес к подобному способу оценивания знаний.
Определенный интерес представляет выявление роли и значимости тестирования на различных этапах контроля и оценивания знаний, а также его применимость при изучении различных дисциплин. Не вызывает сомнений целесообразность применения традиционных АСКЗ при изучении дисциплин, ориентированных на усвоение обучаемыми конечного множества фактов либо однозначно трактуемых правил. Примером подобной ситуации можно считать экзамен на знание правил дорожного движения. Практически безальтернативным представляется применение таких АСКЗ при проведении массового одновременного государственного тестирования знаний выпускников средних школ, хотя руководители центров тестирования отмечают большое количество конфликтов, связанных с оцениванием знаний по дисциплинам языкового цикла, для которых характерна неоднозначность некоторых “истинных” ответов даже с точки наиболее опытных преподавателей-предметников. АСКЗ широко применяются для уменьшения трудоемкости текущего контроля знаний по естественно-научным и техническим дисциплинам (т. н. “срезы”), цель которого состоит в оперативной и массовой проверке остаточных знаний большого количества обучаемых в доэкзаменационный период.
Можно утверждать, что процедуры “классического” тестирования, основанные на парадигме “один абсолютно правильный ответ - N абсолютно неправильных ответов” и выводе итоговой оценки из соотношения количества правильных ответов и заданных вопросов, неадекватны представлениям большинства преподавателей о процессе оценивания знаний. Для многих дисциплин, знания в которых носят принципиально нечеткий характер и не могут быть сведены к однозначным формулировкам (например, дисциплины гуманитарного или общественного циклов), они вообще оказываются неприменимыми.
Следовательно, АСКЗ будет признаваться конкретным преподавателем эффективным инструментом промежуточного или итогового контроля знаний только в том случае, если она будет: а) содержать информационную модель предметной области, релевантную предметным знаниям организатора тестирования в период проведения контроля; б) обладать возможностью учитывать неполные или не совсем точные ответы; в) содержать адаптивную и управляемую преподавателем процедуру выявления знаний, анализа их глубины и качества с последующей реконструкцией на этой основе информационной модели обучаемого; г) выводить итоговую оценку знаний обучаемого по результатам сопоставления эталонной модели, содержащейся в АСКЗ, с реконструированной моделью, построенной по ответам обучаемого.
Построение такой АСКЗ требует применения принципиально иных подходов к представлению и обработке знаний. Сформулируем основные принципы построения АСКЗ нового поколения, основанные на методах и моделях, развиваемых в рамках теории интеллектуальных вычислений и инженерии знаний. Эти принципы определяют концепцию интеллектуального тестирования, более адекватную представлениям преподавателя о требуемой организации процесса контроля и оценивания знаний и позволяющую реализовать неформализованные ранее педагогические приемы и методики:
Переход от задания истинности предлагаемых вариантов ответов в категориях двоичной логики (“правильно - неправильно”) к более общей и универсальной схеме оценивания ответов функциями предпочтения, определяемыми в категориях нечеткой логики. Заметим, что такой переход не отрицает и традиционный подход, поскольку в соответствии с современными представлениями двоичная логика может считаться частным (точнее, вырожденным) случаем нечеткой логики.
Переход от индивидуального организации теста к коллегиальной экспертной подготовке всех его этапов, что увеличит доверие конечных пользователей к АСКЗ и повысит валидность результатов тестирования.
Количественное определение сложности и важности каждого тестового задания по пропорциональной цифровой шкале, что даст возможность повысить объективность оценивания демонстрируемых знаний.
Разбиение множества тестовых заданий на тематические подмножества, элементы которых семантически коррелируют друг с другом, с обязательным ранжированием как тестовых заданий внутри каждого подмножества, так выделенных подмножеств между собой. Реализация этого принципа создаст объективную основу для формализации ряда применяемых в настоящее время “ручных” методик контроля знаний - таких, например, как оценивание широты или глубины знаний, тесты повышенной или пониженной сложности и т.п.
Переход от характерного для современных АСКЗ использования программно реализованных алгоритмов прямого тестирования (при котором выбор очередного задания практически не зависит от ответов тестируемого на предыдущие вопросы) к их модульному конструированию при подготовке теста, а также к построению алгоритмов адаптивного тестирования, обусловливающих выбор очередного i-го задания ответами обучаемого на предыдущих (i - 1) - м, (i - 2) - м,..., и т.д. шагах теста. Реализация этого принципа позволит формализовать широко применяемые в педагогической практике методики дополнительных, наводящих и уточняющих вопросов.
Построение, унифицированное описание и однотипная реализация в рамках одной и той же ИАСКЗ набора алгоритмов тестирования, реализующих различные методики контроля знаний, и предоставление организатору тестирования возможности выбирать в конкретной ситуации те из них, применение которых либо предписывается нормативными документами, либо определяется его собственными предпочтениями.
Создание инструментария для построения, настройки и модификации различных шкал итогового оценивания знаний, включая как возможность изменения количества и ширины оценочных интервалов, так и определение и варьирование зон неопределенности оценок. Это дает возможность организовать параметрический анализ валидности промежуточных и итоговых результатов тестирования.
Автоматизация наиболее трудоемкого этапа подготовительной стадии тестирования, связанного с формированием множества тестовых заданий и вариантов ответов на них. Базис этой процедуры могут составить, в частности, формализованная модель знаний по изучаемой дисциплине, представленная в виде структурированной семантической сети, и известные из инженерии знаний фрейм-технологии.