Типовые ошибки разработки тестовых заданий.

Рассмотрим некоторые типовые ошибки составления тестовых заданий на основе тестовых заданий по информатике и новым информационным технологиям.

Они аналогичны (с точки зрения тестологии) ошибкам и в других предметных областях.

Обозначим здесь и ниже тестовое задание с ошибками (тестологии) через T–, ошибки – через О, а откорректированный тест – через Т+.

Т–. Каждый символ при кодировании кодируется одним байтом. Слово "Тестирование" в ЭВМ обычно кодируется комбинацией длины: а) 12 бит. б) 72 бит. в) 96 бит. г) 192 бит.

О. Наличие двух предложений. Неясно, следует ли включать кавычки (как символы) в длину слова. Нестрогое слово "обычно" недопустимо.

T+. "Тестирование" (без кавычек) кодируется по принципу "1 символ – 1 байт" битовой комбинацией длины: а) 12. б) 72. в) 96. г) 192.

Возможен вариант: T+. Слово "Тестирование" (без кавычек) кодируется в ASCII комбинацией длины: а) 12. б) 72. в) 96. г) 192.

Часто формулируют и так: слово Тестирование кодируется по принципу "символ – байт" комбинацией длины… а) 12. б) 72. в) 96. г) 192.

Последний вариант нам кажется менее удачным, как с позиции грамматики русского языка, так и с позиции информатики (пояснения принципа кодировки).

Обратим здесь внимание на необходимость слова "длины". Если убрать это слово, то ответ всегда – 2 бита: любое слово всегда кодируется комбинацией из двух бит (0 и 1).

Каждое слово в тесте – значащее. Лишних слов также не должно быть.

T–. Задуманное число до 500 можно отгадать односложными вопросами, задав их не более: а) 500. б) 50. в) 10. г) 9.

О. Условие не завершено функционально. Понятие "односложное" с точки зрения правил русского языка не требует дополнительного уточнения, но с точки зрения проверяемых знаний и умений (а это принцип бинарного поиска) – предпочтительно пояснить и уточнить.

T+. Задуманное натуральное число до 500 можно отгадать бинарным поиском, задав вопросов не более: а) 500. б) 50. в) 10. г) 9.

T–. Решение системы уравнений: будет удовлетворять условию: а) x>0, y>0. б)x<0, y<0. в)x>0, y<0. г)x<0, y>0.

О. Ошибки преобразования единиц измерения сообщений или решения системы уравнений, допущенные на любом этапе решения, не всегда приводят к неправильному ответу. Задание не информативно. Неясна, например, причина и не видны некоторые следствия допущенных ошибок.

Т+. Решение системы уравнений: имеет вид: а)x=1, y=-3. б)x=1, y=2. в)x=-2, y=5. г)x=1, y=-5. Этот тест рассчитан на знание не только единиц измерения сообщений, но и на умение их преобразовывать друг к другу, а на "заключительном участке" – на умение решать системы показательных уравнений. Ошибки, допущенные на любом из этих этапов – существенны и информативны.

Т–. Если рассматривается нижеследующий фрагмент таблицы истинности некоторой функции f(x,y,z)

то из приведённых ниже функции f(x,y), этой искомой функции может соответствовать только функция, указанная в пункте: а)f=(x)или(y)или(не(z)),б)f=(x)и(y)и(не(z)),в)f=(x)и(y)или(z),г)f=(x)и(y)или(не(z))

О. Многословие, излишние слова, особенно это нежелательно в сочетание с таблицами, графиками и т.д.

T+. Фрагменту таблицы истинности вида:

из приведенных ниже логических функции f(x,y,z) может соответствовать только функция: а) f=(x)или(y)или(не(z)), б)f=(x)и(y)и(не(z)),в)f=(x)и(y)или(z),г)f=(x)и(y)или(не(z)).

Существенны слова "из приведенных ниже". Без них тест некорректен, допуская множество других функций, отличных от приведенных.

T–. Список основных устройств ввода-вывода персонального компьютера: процессор, сканер, дисплей, диск, плоттер, принтер, мышь, трекбол, клавиатура, регистр, содержит различных устройств ввода информации: а)1. б)3. в)4. г)5.

О. Много ключевых слов задания: "список", "основные", "устройства", "персональный компьютер", "ввод", "вывод", "информация".

T+. Список {сканер, дисплей, диск, плоттер, принтер, мышь, трекбол, клавиатура} содержит устройств ввода: а) 1. б) 3. в) 4. г) 5.

T–. Основные функции операционной системы: а) управление данными к обрабатываемым ЭВМ программам. б) управление программами. в) управление ресурсами.

О. Ответы – не одинаковой длины. Мало дистракторов. Слово "управление" нужно вынести в формулировку задания.

T+. Полный набор основных функций ОС – это управление: а) данными. б) программами. в) ресурсами. г) данными, программами и ресурсами.

Впрочем, нужно стараться избегать ответов типа г).

T–. Фрагмент: s:=0;x:=1: нц пока(x<5);s:=s+x; x:=x+1: кц,вычисляет значение s равное: а) 10. б) 32. в) 31. г) 63.

О. Правильный ответ легко вычисляется и стоит первым в списке неупорядоченных по возрастанию или убыванию вариантов ответов.

T+. Фрагмент:s:=0;x:=1; нц пока(x<5); s:=s+x;x:=x+1; кц; вычислит s равное: а) 63. б) 32. в) 31. г) 10.

T–. В синтаксической конструкции: нц пока <предикат><команда>….; пропущено ключевое слово: а) до, б) кц, в) если, г) все

О. Наличие в условии задания нц подсказывает правильный ответ, даже если не понимется смысл этого ключевого слова и смысл самой конструкции, на что и направлено тестовое задание.

T+. В синтаксической конструкции: нц…<предикат><команда>кц; пропущено ключевое слово: а) до, б) пока, в) если, г) для.

Здесь уже необходимо знание синтаксиса (и даже семантики) правильной конструкции.

T–. Графические файлы могут иметь все расширения, указанные в списке: а)*.rtf; *.bmp; *.bas. б) *.tif; *.exe; *.bmp. в) *.jpg; *.bmp; *.tif. г) *.rtf; *.bmp; *.tif; *.jpg.

О. В вариантах а), б) присутствуют достаточно широко известные всем (в том числе и тем, кто не знает расширений графических файлов) расширения *.bas, *.exe. Кроме того, ответ г) – длиннее. Эти ответы – менее привлекательны.

T+. Графические файлы могут иметь все типы расширений, указанные в списке: а)*.rtf; *.bmp; *.com. б) *.tif; *.zip; *.bmp. в) *.jpg; *.bmp; *.tif. г) *.rtf; *.bmp; *.jpg.

Форма задания Т+ без звездочек также возможна.

T–. Последовательное выполнение команд ШАЯ (школьный алгоритмический язык):

a:=abs(-5)+int(3.6)*mod(7.3);a:=max(mod(a,5),div(a,3))*int(a) даст значение a, равное: а) 24. б) 10. в) 9. г) 6.

О. Сокращение ШАЯ– не вполне общепринятое и общеупотребительное, общеизвестное.

T+. Последовательное выполнение команд

a:=abs(-5)+int(3.6)*mod(7,3);a:=max(mod(a,5),div(a,3))*int(a) школьного учебного алгоритмического языка даст значение a, равное: а) 24. б) 10. в) 9. г) 6.

При этом корректно следующее тестовое задание.

Т+. Windows - это: а) ОС. б) ППП. в) БД. г) СУБД.

T–. Значение выражения a=10,1₂+8F,4₁₆-6.2₈ в десятичной системе равно: а) 139,25. б) 139,5. в) 138,5. г) 140,5. д) 143,25. е) 147.

О. Много дистракторов. Последние дистракторы не рассчитаны на типовые ошибки, но остальные расчитаны на те или иные типовые ошибки. Поэтому последние два дистрактора можно "безболезненно" убрать.

T+. Значение выражения a=10,1₂+8F,4₁₆-6,2₈ в десятичной системе равно: а) 138,5. б) 139,25. в) 139,5. г) 140,5.

Заметим, что все эти дистракторы предполагают те или иные типовые ошибки перевода.

T–. Для предиката p=” x X делится нацело на 5”, где X=[1;30] область истинности равна: а){5,10,15,20,25,30}. б){10,20,30}. в){20,30}. г){5,10,20,30}.

О. Для нецелых x из указанного множества допустимых значений предикат не определен (не определено понятие делимости нацело для нецелых чисел).

T+. Для предиката “x делится нацело на 5”, заданного на множестве {1,4,6,16,20,26,30}, область истинности - множество: а){5,10,15,20,25,30}. б){10,20,30}. в){20,30}. г){5,10,20,30}.

Возможно использование вместо “x делится нацело на 5” выражения mod(x,5)=0, но нужно учесть, что в этом случае цель задания (спецификация) изменяется, – проверяется еще и знание функции mod. Отметим, что в этом задании допускается неодинаковая длина дистракторов.

Другой пример ("вроде бы правильный").

Т–. Истинное значение при x=3 принимает предикат: а) "для каждого натурального x существует y:y=x+1". б) "натуральноеx – четно, если int(x/2)=x/2". в) "произведение 5y- нечетно". г) "натуральное x– нечетно, если 2*int(x/2)+1=x ".

О. На первый взгляд, - все вроде правильно. Проведём тщательный анализ. При подстановке значения x=3 дистрактор а) становится неопределенным (не высказывание): "для каждого 3 существует y=4"! Дистрактор б) некорректно сравнивает два различных по типу выражения – целое int(x/2) и вещественное x/2 (при любом натуральном х значение x/2 – вещественное). Дистрактор в) – "слегка некорректен": "произведение 15 – нечетно" (неясно произведение каких чисел). Если бы было сформулировано в виде "произведение 5*y - нечетно", то тогда выражение превратилось бы истинное высказывание: "произведение 5*3 – нечётно".

Т+. Предикатом с переменной x является высказывательная форма: а) "для каждого натурального x существует y:y=x+1"; б) "натуральное x – четно, если int(x/2)=x/2". в) "произведение xy при целых x,y - нечетно". г) "натуральное x– нечетно, если 2*int(x/2)+1=x ".

Здесь в правильном ответе г) сравниваются однотипные выражения, в отличие от б).

Этот пример (точнее, его откорректированный вариант Т+) можно отнести к группе С. Он показывает несостоятельность негласно существующего мнения, что задания группы С в тестовой форме невозможны, нельзя использовать, хуже и т.д. Для выбора ответа к приведенному заданию, как мы видим, понадобились достаточно глубокие знания (на что и направлена группа С).

T–. Значение выражения int(-3,8)+mod(9,4) равно: а) 1. б) 2. в) . г) 6.

О. Типовыми ошибками при вычислении этого выражения будут (ранжируем по экспериментально или экспертно устанавливаемой частоте их встречаемости и важности): 1) int(-3,8)=-3 (нет полных знаний о математической функции "антье" или [x], int(x)); 2) mod(9,4)=2,25 ("путают целочисленное и обычное деление"), 3) mod(9,4)=2 ("путают mod и div"). На эти ошибки и должны быть "нацелены" дистракторы. Итак, мы решили вначале "обратные" задачи. Для перечисленных типовых ошибок получаем неправильные варианты ответов: 1) –2; 2) –1,75; 3) –0,75 (комбинация 1) и 2)). Их и нужно предусмотреть в вариантах ответов.

T+. Значение выражения int(-3,8)+mod(9,4) равно: а) –3. б) –2. в) –1,75. г) –0,75.

T–. Фрагмент: нц для i от 1 до n; y:=mod(x,10); x:=div(x,10); кц; вычислит значение y равное цифре: а) единиц натурального числа x. б) самого старшего разряда числа x. в) n-го разряда (начиная со старшего разряда) числа x. г) n-го разряда (начиная с младшего разряда) числа x.

О. Для допустимого значения x=1 дистракторы а), б), в) также становятся правильными ответами. Кроме того, возможны такие входные x, при которых дистракторы могут дать правильные числовые ответы, например, при x=11.

T+. Фрагмент: нц для i от 1 до 4; y:=mod(x,10); x:=div(x,10); кц; вычислит для x=9631 значение y равное цифре: а) единиц числа x. б) десятков числа x. в) сотен числа x. г) тысяч числа x.

T–. Пусть в тесте приведены два задания. Задание 1. Выражение эквивалентно выражению: а) 1. б) . в) г) x. Задание 2. После упрощения выражения получим выражение: а) 1. б) . в) . г) x.

О. В результате правильного решения первого задания получим ответ г). Ясно, что ответ на второе задание равен 1, и он легко получается из ответа на первое задание. По крайней мере, если первое задание можно отнести к группе Б (с натяжкой), то второе вкупе с первым, – только к группе А (также с натяжкой), так как ориентирован на проверку знания лишь одной простой аксиомы: . Нарушена валидность (тестовое задание на проверку одной указанной аксиомы, как правило, - не нужно). Для сокращения времени составления задания и увеличения банка тестовых заданий, часто делают такие "добавки" к раннее придуманным корректным выражениям. Это очень вредный подход. В принципе, он допустим для формирования различных однотипных вариантов тестовых заданий. Не более.

T+. В тесте могут быть приведены, например, два следующих задания. Задание 1. Выражение ) эквивалентно выражению: а) 1. б) . в) . г) x. Задание 2. Выражение равносильно выражению: а) . б) . в) . г) 1.

Рассмотрим примеры преобразования заданий в задания закрытой формы.

Т+. Термин "информатика" образован соединением слова "информация" и слова…

Т–. Частное от деления десятичного числа 12 на десятичное число 7 имеет меньшую относительную погрешность в представлении: а) 1,71 (десятичное). б) 1,55 (восьмеричное). в) 1,1011 (двоичное). г) 1,В5 (шестнадцатеричное).

О. Гетерогенность (информатика + математика, знание абсолютной и относительной погрешности из математики и систем счисления из информатики) в этом задании не является "жизненно необходимой". Задание лучше переформулировать так, как приведено ниже.

T+. Частное от деления десятичного числа 12 на десятичное число 7 точнее представлено числом: а) 1,71 (десятичное). б) 1,55 (восьмеричное). в) 1,1011 (двоичное). г) 1,В5 (шестнадцатеричное).

Понятие "точнее" здесь уже ясно хотя бы на интуитивном уровне и этого вполне достаточно для ответа (тем тестируемым, кто знает, что деление не всегда осуществимо точно, а это также входит в проверяемые заданием знания, умения и навыки).

T–. Число различных символов в закодированном по КОИ-8 сообщении вида 1111000111010000111100011001111011010000 равно: а) 6. б) 5. в) 4. г) 3.

О. Здесь, несомненно, у тестируемого возникнет вопрос: что такое КОИ-8? Не "спасёт" и употребление вместо КОИ-8 более известного стандарта ASCII. Лучше это тестовое задание переформулировать следующим образом.

T+. Различных символов в закодированном по принципу "1 символ – 1 байт" сообщении вида 1111000111010000111100011001111011010000: а) 6. б) 5. в) 4. г) 3.

Т+. В десятичном числе из десятков и единиц, количество информации: а) в цифре десятков и цифре единиц – одинаково. б) в цифре десятков больше, чем в цифре единиц. в) в цифре единиц больше, чем в цифре десятков. г) в цифрах разрядов нельзя сравнивать, так как цифры неизвестны.

Такие тестовые задания можно вполне включать в олимпиадное задание, например, городского уровня (которые не требуют знаний и умений, выходящих за рамки школьной программы).