Типы КИМ для студентов (физико-математических направлений) СПбГУ.
(поручение в РК 117-431 от 11.09.2017)
Определение 1. Контрольно-измерительные материалы (КИМ) – это, специально разработанные материалы контроля, позволяющие оценить сформированность компетенций обучающихся, выраженные в количественных и качественных показателях (см презентацию [1],материалы методического семинара в СПбГУ от 22.12.2016).
За основу возьмем одну из трехстадийных моделей оценивания компетенции, представленных на Рис. 1 или Рис. 2 (см. журнал Педагогические измерения [2], стр 29 и стр. 37):
Рис. 1 Трехстадийная модель оценивания компетенций (стр 29 в [2])
Рис. 2 Модель трехстадийного измерителя (стр. 37 в [2])
Определение 2. Тип КИМ - разновидность КИМ, обладающих определенной формальной структурой.
Типы КИМ
1. Закрытый тип – тесты с выбором ответов (для оценки минимальной компетентности);
2. Открытый тип 1 – тесты с конструируемым ответом (для оценки базовой компетентности)
3. Открытый тип 2 – тесты с развернутым ответом (для оценки высокой компетентности). Это могут быть кейсы проблемного характера, имитирующие профессиональную деятельность или структурированные интервью.
Процесс создания теста для дисциплины/дисциплин (Компетенция формируется рядом дисциплин), его научного обоснования, переработки и улучшения можно разбить на ряд этапов (про конструирование педагогических тестов можно посмотреть, например, в пособии [3]):
1. Определение цели тестирования, выбор вида теста и подхода к его созданию.
2. Анализ содержания учебных(ой) дисциплин(ы).
3. Определение структуры теста и стратегии расположения заданий.
4. Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.
5. Создание предтестовых заданий.
6. Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.
7. Экспертиза содержания предтестовых заданий и теста.
8. Экспертиза формы предтестовых заданий.
9. Переработка содержания и формы заданий по результатам экспертизы.
10.Разработка методики апробационного тестирования.
11.Разработка инструкций для студентов и для преподавателей, проводящих апробацию теста.
12.Проведение апробационного тестирования.
13.Сбор эмпирических результатов.
14.Статистическая обработка результатов выполнения теста.
15.Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.
16.Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.
17.Повторение этапа апробации для выполнения очередных шагов по повышению качества теста. Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.
Замечание. На мой взгляд, формулировки компетенций должны начинаться со слов "Способен/готов" (или "Способность/готовность"). Компетенция это качество. Мы её/его формируем у студентов. В формировании компетенции/качества участвую определенные знания, умения, навыки (ЗУНы). После проверки сформированности компетенции КИМами, мы сможем сделать вывод на сколько студент компетентен в данной области, т.е. на сколько у него развито данное качество. Минимальный, базовый или высокий уровень компетентности по каждой компетенции.
На основании оценки каждой компетенции из групп УК, ОПК и ПК, проведя анализ результатов, мы сможем сделать конкретный вывод о нашем выпускнике - На сколько он (выпускник) компетентен в профессиональной области и на сколько у него развиты универсальные компетенции. Например, вывод может быть таким - высокий уровень профессиональной компетентности, при минимальном уровне сформированности универсальных компетенций. Можно сделать более развернутый вывод, опираясь на наименование конкретных компетенций. Данный вывод можно будет записать в дипломе, форма которого, судя по всему, может быть выработана СПбГУ самостоятельно (это только моей предположение/предложение).
Для текущего контроля и промежуточной аттестации по дисциплине могут применяться следующие формы контроля (для студентов физико-математических направлений можно сделать «выборку», но на мой взгляд, лучше оставить «полную» картину). Некоторые из них могут быть как формами контроля, так и формами активных и интерактивных занятий, например, коллоквиум, деловая игра, круглый стол и т.п.
1. Традиционные формы контроля
Формы устного контроля:
· Собеседование - специальная беседа преподавателя со студентом на темы, связанные с изучаемой дисциплиной, рассчитанная на выяснение объема знаний студента по определенному разделу, теме, проблеме и т.п. (Оценочные средства (не КИМ) - Примерный перечень вопросов к собеседованию по темам, разделам дисциплины)
· Коллоквиум (лат. colloquium – разговор, беседа) может служить формой не только проверки, но и повышения знаний студентов, т.е. формой учебных занятий. На коллоквиумах обсуждаются отдельные части, разделы, темы, вопросы изучаемого курса, обычно не включаемые в тематику семинарских и других практических учебных занятий, а также рефераты, проекты и иные работы обучающихся. (Оценочное средство (не КИМ) - Примерный перечень вопросов к коллоквиуму по темам, разделам дисциплины)
· Зачет и экзамен представляют собой формы промежуточной аттестации студента, определяемые учебным планом подготовки по направлению. (Оценочное средство (не КИМ) - Примерный перечень вопросов к экзамену/зачету по темам, разделам дисциплины)
· Доклад, сообщение представляет собой продукт самостоятельной работы обучающегося, представляющий собой публичное выступление по представлению полученных результатов решения определенной учебно-практической, учебно-исследовательской или научной темы. (Оценочное средство (не КИМ) - Примерный перечень тем докладов, сообщений)
Формы письменного контроля:
· Тесты - будут рассмотрены в пункте 2 «инновационные формы контроля» (Оценочные средства (может быть КИМом) - Фонд тестовых заданий)
· Контрольные работы – средство проверки умений применять полученные знания для решения задач определенного типа по теме или разделу. Контрольные работы могут применяться для оценки знаний по базовым и вариативным дисциплинам. Контрольная работа, как правило, состоит из небольшого количества средних по трудности вопросов, задач или заданий, требующих поиска обоснованного ответа. Рекомендуемая частота проведения – не менее одной перед каждой промежуточной аттестацией. (Оценочное средство (не КИМ) - Образцы контрольных заданий по вариантам)
· Эссе - одна из форм письменных работ, применяемая при освоении базовых и вариативных дисциплин и формировании компетенций выпускника. Цель эссе состоит в развитии навыков самостоятельного творческого мышления и письменного изложения собственных умозаключений. (Оценочное средство (может быть КИМом) - Примерный перечень тем эссе)
· Рефераты - форма письменной работы. Цель написания реферата – привитие студенту навыков краткого и лаконичного представления собранных материалов и фактов в соответствии с требованиями, предъявляемыми к научным отчетам, обзорам и статьям. (Оценочное средство (не КИМ) - Примерный перечень тем рефератов)
Примечание (отличие Реферата от Эссе). Реферат – это анализ прочитанной по теме литературы, состоящий из фактов, указанных в источнике, и, занимаясь написанием реферата, нельзя додумывать или искажать информацию из первоисточника своим мнением. В случае же с эссе, высказывается свое мнение, отношение к очерченной теме. В этом случае для пишущего нет каких-то ограничений. Ведь по умолчанию предлагается выразить свое отношение к теме, свое мнение, не боясь, что кто-то подвергнет его сомнению.
· Курсовые работы - более сложный вид самостоятельной письменной работы, направленный на творческое освоение дисциплин (модулей), формирующих преимущественно общепрофессиональные и профессиональные компетенции. (Оценочное средство (может быть КИМом) - Примерный перечень тем курсовых работ)
· Отчеты по практикам - позволяют студенту обобщить знания, умения и навыки, приобретенные за время прохождения базовых и профильных учебных и производственных практик. (Оценочное средство (не КИМ) - Перечень тем практик)
Технические формы контроля (возможная реализация в системе Blakcboard – надо обсудить со специалистом по ВВ – кто?? К сожалению, из материалов СЭДД Дело (РК 117-407 от 29.08.2017 «о подборе кандидатуры») не вижу кого возьмут на эту должность):
· Программы компьютерного тестирования (может быть КИМом)
· Комплексные ситуационные задания (КСЗ) – предназначены для итоговой диагностики качества сформированности компетенций. Например, КСЗ для многоаспектной оценки качества инженерно-графической подготовки объединяют три составляющие, связанные одной профессиональной ситуацией: гетерогенный тест (базовый уровень), расчетно-графические задачи (программный уровень) и многофункциональные задания (творческий уровень). (Оценочные средства (может быть КИМом) – примерный перечень и структура КСЗ)
· Электронный практикум - содержит набор заданий, которые необходимо выполнить студенту. Предъявляемое задание выбирается из базы данных и закрепляется за конкретным студентом. В отличие от тестов, задание, которое предъявляется студенту в рамках практикума, не требует мгновенного выполнения. Системой определяется срок, в течение которого задание должно быть сдано. Результатом выполнения задания должен быть файл, отсылаемый студентом в базу данных.
· Виртуальные лабораторные работы - с помощью специализированных обучающих комплексов позволяют студенту производить эксперименты либо с математической моделью, либо с физической установкой. Выполнение лабораторной работы заканчивается представлением отчета, который может быть проверен автоматически. (Оценочные средства (не КИМ) – темы лабораторных работ)
Итоговая государственная аттестация:
· Итоговый государственный экзамен - в связи с необходимостью объективной оценки степени сформированности как универсальных, так и профессиональных компетенций выпускника, тематика экзаменационных вопросов и заданий должна быть комплексной и соответствовать избранным разделам из различных учебных циклов, формирующих конкретные компетенции. Например, в экзаменационное задание (вопрос) могут входить элементы нескольких дисциплин (модулей) гуманитарного, естественнонаучного и профессионального циклов. Один из вопросов рекомендуется делать комплексным, ситуационным или представляющим задание практического характера. (Оценочные средства (может быть КИМом) – примерный перечень вопросов, заданий)
· Выпускная квалификационная работа - представляет собой самостоятельное логически завершенное исследование, связанное с решением научной или научно-практической задачи. При его выполнении студент должен показать способности и умения, опираясь на полученные знания, решать на современном уровне задачи профессиональной деятельности, грамотно излагать специальную информацию, докладывать и отстаивать свою точку зрения перед аудиторией. Возможна защита в качестве ВКР различных проектов, использование портфолио.
Инновационные формы контроля
· Стандартизированный тест – это тест, производимый в максимально унифицированных условиях, в силу этого позволяющий сопоставить подготовку учащихся различных учебных заведений. Направлен на определение не только ЗУНов, но и компетенции, а потому не является полностью закрытым (не предполагает только выбор правильных вариантов ответа), а включает в себя творческое задание (в тестах по медицине – ситуационная задача, в текстах по русскому языку – анализ текста и т.д.). Стандартизированные тесты с творческим заданием могут проводиться на всех этапах обучения, то есть служить и для промежуточного, и итогового контроля. (Оценочные средства (может быть КИМом) - фонд тестовых заданий)
· Тест действия – в педагогике или при приеме на работу тесты действия распространены как проверка реальных профессиональных умений (напечатать на машинке или на компьютере текст, откорректировать газетную статью, измерить давление пациенту и т.д.). Предназначены, в том числе, для выявления умений выполнять работу с механизмами, материалами, инструментами. Позволяют проверить не только уровень овладения навыком, но и оценить различные качества личности и уровень формирования сопутствующих компетенций. (Оценочные средсвта (может быть КИМом) - фонд тестовых заданий)
· Ситуационные тесты - требуют не произвести реальное действие, а сымитировать его. При их проведении не является необходимым наличие реальных механизмов, полевых производственных условий (реальных пациентов и т.п.). Работа может проводиться как в группе, так и индивидуально. (Оценочные средства (может быть КИМом) - фонд тестовых заданий)
· Деловая и/или ролевая игра – совместная деятельность группы обучающихся и преподавателя под управлением преподавателя с целью решения учебных и профессионально-ориентированных задач путем игрового моделирования реальной проблемной ситуации. Позволяет оценивать умение анализировать и решать типичные профессиональные задачи. (Оценочные средства (не КИМ) – Примерный перечень тем (проблем), концепций и ожидаемых результатов)
· Круглый стол, дискуссия, полемика, диспут, дебаты – позволяет включить обучающихся в процесс обсуждения спорного вопроса, проблемы и оценить их умение аргументировать собственную точку зрения. (Оценочное средство (не КИМ) – Примерный перечень дискуссионных тем для проведения круглого стола, дискуссии, полемики, диспута, дебатов)
· Кейс-метод - название кейс-метода происходит от английского слова «кейс» – папка, чемодан, портфель (можно перевести и как «случай, ситуация»). Под кейсом при этом понимается текст (до 25-30 страниц), который описывает ситуацию, некогда имевшую место в реальности в этом его отличие от иных ситуационных заданий, например деловой игры. Кейсы могут быть представлены студентам в самых различных видах: печатном, видео, аудио, мультимедиа Рассказ «кейса» должен развиваться по канонам классического повествования: иметь экспозицию, завязку, развязку, вызывать чувство сопереживания с главными действующими лицами. Проблема должна быть понятной, связанной с будущей профессиональной деятельностью студентов. Обсуждением проблемы, представленной в кейсе, руководит преподаватель. (Оценочное средство (может быть КИМом) - Примерный перечень заданий для решения кейс-задачи)
· Метод проектов - представляет собой социально значимую задачу, связанную с будущей профессиональной деятельностью, предполагающую достаточно длительный период решения (до семестра) и большой объем работы, которая ведется самостоятельно, но с консультативным руководством преподавателя, с обязательной творческим отчетом (презентацией). Проект может быть индивидуальным и групповым. (Оценочное средство (не КИМ) – Примерный перечень тем групповых и/или индивидуальных проектов)
· Портфолио - под термином портфолио понимается способ фиксирования, накопления и оценки индивидуальных достижений. Сторонники идеи портфолио отмечают, что портфолио может быть чем-то гораздо большим, чем просто средством оценивания или собранием учебных работ студентов. Это – новый подход к обучению, новый способ работы, выражающий современное понимание процесса преподавания, новую культуру учения. (Оценочное средство (не КИМ) – Структура портфолио)
· Модульно-рейтинговая система - это результат совмещения двух принципов. Первый – модульная организация обучения. Учебный модуль – фрагмент программы, оформленный как самостоятельная ее часть и предназначенный в первую очередь для индивидуального обучения. Необходимыми элементами модуля можно считать: 1) его тему; 2) пакет учебных материалов (лекций, хрестоматий, упражнений и т.д.); 3) подробную инструкцию по их выполнению; 4) перечень знаний, умений, навыков, компетенций, которые студент должен продемонстрировать при успешном изучении модуля; 5) форму отчетности, контрольные материалы; 6) указание на межмодульные связи. Второй принцип – рейтинговая система оценки деятельности студента. Изначально предполагалось выставление оценки по унифицированной системе баллов за каждый выполненный студентом модуль и на основании общей суммы баллов определение места студента в групповом рейтинге. Но в наше время обычно в рейтинг включаются и дополнительные баллы – за участие в конференциях, научные публикации, профессиональные достижения при работе студента по специальности. (Оценочное средство (не КИМ) – Структура модульно-рейтинговой системы)