Валидизация тренинга в контексте научения предполагает измерение исполнения учеников с точки зрения знаний, умений и установок
252
Глава 9
в течение обучения и сразу по его завершении. Критерии и стандарты, установленные для этой стадии, могут отличаться от тех, что используются при оценке труда опытных работников. Так, например, во время тренинга от ученика требуют прежде всего точного исполнения задания, предполагая, что нужная скорость будет выработана им непосредственно на рабочем месте. Вопрос о стандартах исполнения и методах оценки должен быть решен на стадии проектирования, и стандарты должны быть заявлены в целях тренинга.
Многие тренеры сводят задачу измерения к проведению заключительного теста. Однако для оптимального использования тренинга тренер должен постоянно производить замеры исполнения, что позволит ученикам регулярно получать обратную связь, а тренеру — своевременно вводить коррекционные стратегии и практические занятия.
Оценка знаний. Любая работа требует от исполнителя обладания некими знаниями, на которые он должен опираться и которые должен так или иначе применять, выполняя работу. На характер применения этих знаний указывают ясно сформулированные цели исполнения, описывающие ожидаемое поведение учеников с помощью таких глаголов, как «определить», «изложить», «перечислить», «описать», «вычислить» и т. п. Иными словами, измерить степень усвоения знания можно с помощью кратких открытых вопросов. Например:
• «Дайте определение термину "валидизация"».
• «Перечислите условия и преимущества бессрочного вклада».
• «Вычислите среднее арифметическое следующих групп данных...»
Такого рода вопросы позволяют получить достаточно однородные ответы, которые легко поддаются оценке и снижают вероятность больших расхождений в оценках тренеров.
Недостаточно четкая формулировка задания подталкивает учеников к пространным ответам. Например:
• «Опишите, как различные особенности проекта влияют на оцен
ку имущества».
В подобных случаях велика вероятность получения разнородных ответов, оставляющих простор для субъективизма со стороны тренеров. В этом случае тренерам поможет лист наблюдений и оценки,
Оценка эффективности тренинга
253
или чек-лист (checklist), содержащий перечень положений, которые могут присутствовать в пространном ответе. В некоторых случаях полезно перечислить только самые важные моменты, которые непременно должны быть освещены в ответе и которые влияют на его оценку. Как правило, тренеры апробируют разные варианты чек-листа и отслеживают их применение, прежде чем прийти к единому мнению.
Таким образом, чем более общий характер носит вопрос и чем более длинным является ответ, тем большую остроту приобретает проблема достоверности и согласованности оценок, и именно поэтому в контексте измерения тренинга неприменимы вопросы, требующие чересчур развернутых ответов.
Наряду с краткими открытыми вопросами достижению большей Объективности служат так называемые объективные тесты. Как вытекает из самого названия, этот метод измерения исключает возможность субъективизма. Существует несколько типов вопросов, или заданий, используемых в подобных тестах.
Вопросы с множественным выбором. Вопросы этого типа состоят из стволовой части и альтернативных ответов. Стволовая часть представлена в виде прямого вопроса или незаконченного утверждения. Варианты ответов включают один правильный или несомненно лучший ответ и три-четыре неверных ответа, которые, впрочем, выглядят вполне правдоподобно и призваны отвлечь внимание отвечающего от правильного варианта. Например:
Стволовая часть Какой из нижеперечисленных городов
является столицей Австралии?
Варианты ответов а. Мельбурн □
б. Сидней □
в. Канберра □
г. Аделаида □
При конструировании вопросов с множественным выбором придерживаются следующих правил.
• Вопросы должны касаться существенных моментов.
• Они должны быть четко сформулированы.
• Они не должны быть перегружены нерелевантными деталями.
Глава 9
• Стволовая часть должна содержать как можно больше информации.
• Варианты ответов должны быть правдоподобными.
• Варианты должны включать только один правильный или несомненно лучший ответ.
• Стволовая часть вопроса не должна содержать отрицания.
• По возможности следует избегать формулировок типа «все нижеперечисленные» или «ни один из нижеперечисленных».
• Во избежание подсказок не следует использовать в качестве ответов:
— фразы из учебника и слишком длинные предложения;
— ключевые слова из стволовой части;
— слова, явно противоположные правильному ответу;
— частично совпадающие ответы;
— разные части речи.
• Распределение правильных ответов должно быть случайным.
• Вопросы не должны быть связаны друг с другом.
Вопросы типа «верно—неверно». Такого рода вопросы представлены в виде утверждения, и задача ученика — ответить, верное оно или нет. Например:
В Соединенных Штатах Америки Верно □
автомобили должны перемещаться Неверно □
по правой стороне дороги.
Каждое утверждение должно охватывать не больше одной идеи. Нельзя считать удачной, например, такую формулировку: «В Соединенных Штатах Америки автомобили должны перемещаться по правой стороне дороги со скоростью, не превышающей 50 миль/час». В данном случае ответ «Верно» на одну часть утверждения автоматически распространяется на вторую. Очевидно, что еще большие сложности возникают, когда одна часть утверждения верна, а другая — нет.
Задания на завершение/исключение. Эти задания требуют от ученика закончить утверждение. Ученик должен либо вписать недостающее слово (или слова), либо исключить те варианты ответов, которые не относятся к делу. Например: