Оценивание системы QuizPACK

Целью оценивания являлось определение объективной и субъективной «полезности» QuizPACK, как средства обучения. Чтобы определить «объективную полезность» мы пытались найти взаимосвязь между показателями работы студентов с системой и оценками их работы в течение курса. Две компоненты оценки за курс были использованы: суммарная оценка за краткие тесты, которые студенты сдавали в классе еженедельно, и результат на экзамене. Нужно отметить, что эти два параметра достаточно различны. Тогда как тесты проверяли знание языка С и его семантики, экзамен в основном оценивал навыки программирования – способность понимать, модифицировать и создавать программы. В дополнение к этим двум параметрам мы должны были учесть начальный опыт студентов. Начальные знания в области программирования на С и программирования вообще у студентов нашего курса (как и в любом вводном курсе) значительно разнятся – от практически отсутствующих до позволяющих писать законченные программы. Естественным было бы ожидать, что оценки студентов на тестах и экзамене будут зависеть не только от работы в течение класса (в том числе и с QuizPACK), но также и от их предыдущих знаний. Для изоляции фактора начального опыта было проведено предварительное (в начале первой лекции) и результирующее (во время экзамена) тестирование студентов. Тесты представляли собой один и тот же набор из 10 вопросов, взятых из QuizPACK, но с разными значениями формирующего параметра. На основании этого тестирования мы получили новый параметр – прирост знаний – как разницу между результатами начального и результирующего тестов.

Для оценивания субъективного мнения студентов о системе по окончании курса мы предложили студентам, которые наработали достаточную статистику взаимодействия с системой, заполнить вопросник относительно различных характеристик QuizPACK. "Достаточным" считалось взять в QuizPACK 10 или более тестов по 6 или более различным темам в течение нескольких сессий, разнесенных на 20 или более дней. Для дополнительной мотивации за участие студентам начислялось небольшое количество добавочных баллов.

Объективное оценивание

Был проведен линейный регрессионный анализ (с использованием пакета SPSS) с целью обнаружить взаимосвязь между работой студентов с QuizPACK, измеряемой независимыми переменными и прогнозируемыми переменными. Данный вид анализа традиционно применяется для изучения причинно-следственных зависимостей между переменными. Как уже было сказано, в качестве прогнозируемых переменных мы выбрали оценку на заключительном экзамене, (измеряемую в %), семестровые результаты еженедельного тестирования (измеряемые в баллах; максимум – 45) а также прирост знаний (измеряемый в баллах). Независимыми переменными стали активность, измеряющая общее количество вопросов QuizPACK, на которые студент пытался дать ответ, и успешность – процентное соотношение правильных ответов, определяемое как число вопросов, на которые был получен правильный ответ к общему числу взятых вопросов. Необходимо отметить, что ответ на каждый параметризуемый вопрос может быть дан студентом несколько раз. Каждая попытка (корректная или нет) учитывается при вычислении активности и успешности. Наиболее часто студенты работали с одним вопросом до тех пор, пока система не просигнализирует о правильном ответе, однако некоторое количество студентов демонстрировали иной паттерн пользователя, продолжая отвечать на вопрос даже после первой удачной попытки, закрепляя успешный результат.

Характеристики Модели

Независимые переменные:

(Константа), Активность, Успешность

ANOVA

Независимые переменные:

(Константа), Активность, Успешность

Таблица 1: Влияние работы с QuizPACK на оценку за тестирование

Результаты регрессионного анализа влияния работы с QuizPACK на результаты, которые студенты показывали на еженедельных тестах, приведены в таблице 1. Как можно увидеть, существует статистически значимая связь между независимой переменной успешность и суммарной оценкой за тестирование (значимость = 0.029, т.е. ниже порогового значения 0.05). Параметр R² равен 0.335, т.е. работа с QuizPACK объясняет около 34% оценки за тестирование. Значимость всей модели также достаточно высока (0.038 < 0.05).

Иные результаты были получены в результате регрессионного анализа влияния работы с QuizPACK на оценку на экзамене. Влияние переменной успешность менее значимо. Параметр R² равен 0.19, т.е. только 19% оценки на экзамене может быть объяснено работой с QuizPACK. Значимость всей модели не высока (0.192 > 0.05). Значимость переменной успешность также не высока, однако мы можем заключить, что она имеет некоторое влияние на зависимую переменную (0.088 хотя и больше, но близко к пороговому значению 0.05).

В обоих случаях мы не обнаружили видимого влияния переменной активность на зависимые переменные. Это означает, что успешная работа студента с QuizPACK положительно влияет на знания семантики языка, измеряемые тестами, а также имеет некоторое влияние на общие навыки программирования, оцениваемые на экзамене. В то же время, показано, что лишь "играя" с QuizPACK, студент не добивается прогресса, для этого необходимы усилия, стремление ответить правильно.

Приведенной выше анализ не претендует на выявление роли QuizPACK полностью. Он не позволяет выделить причину успешности работы студентов с QuizPACK. Естественно, некоторые из них попросту обладали достаточно высоким уровнем начальных знаний. Эти студенты использовали QuizPACK более как средство для самопроверки, зачастую давая правильные ответы с первой попытки. В отличие от них новички должны были работать с QuizPACK более настойчиво, тратя несколько попыток на один вопрос, чтобы добиться одного или более правильных ответов. Для учета этого фактора мы проанализировали влияние QuizPACK на прирост знаний.

Результаты регрессионного анализа влияния работы c QuizPACK на прирост знаний приведены в таблице 2. Как мы можем увидеть, независимая переменная активность имеет статистически значимое (значимость = 0.023) влияние на прирост знаний. Параметр R² (0.309) показывает, что активность работы с QuizPACK объясняет 31% прироста знаний студентов. Значимость всей модели (0.052) находится очень близко от порогового значения (0.05). В то же время переменная успешность не имеет значимого влияния на прирост знаний. Анализ студенческих профилей показал, что низкий прирост знаний был получен двумя группами студентов: студентами с высоким уровнем начальных знаний, получившими хорошие оценки как на предварительном, так и на заключительном тестировании, и студентами, не приложившими достаточно усилий в течение курса не смотря на низкий уровень начальных знаний, и получившими плохие результаты на обоих тестированиях. Обе эти группы работали с QuizPACK меньше чем студенты курса в среднем, однако имели совершенно разные значения успешности. В то же время, те новички, кто работал с QuizPACK достаточно много, в итоге заработали высокий прирост знаний. Это показывает, что QuizPACK может быть использован не только как обычное средство для самооценки, но и как средство обучения.

Характеристики Модели

Независимые переменные:

(Константа), Активность, Успешность

ANOVA

Независимые переменные:

(Константа), Активность, Успешность

Таблица 2: Влияние работы с QuizPACK на прирост знаний

На качественном уровне значение QuizPACK также может быть оценено. Из 46 студентов в нашем классе только 11 проигнорировали QuizPACK (не использовали его вовсе или использовали лишь на вопросах количеством менее 15). Показательно, что шесть из этих одиннадцати в итоге не были аттестованы по курсу, получив "1"или "2". В то же время наименьший итоговый бал среди студентов, использовавших QuizPACK в течение курса на регулярной основе, - "3"; все они закончили курс успешно. Из оставшихся пяти студентов у четверых оценки за первую половину курса гораздо выше оценок за вторую половину. Первая половина курса в основном была посвящена изучению среды для обучению программированию "Karel the Robot" и оценивала более потенциал студентов в области программирования в целом, в то время как во второй половине курса студенты изучали только С и были оцениваемы исходя из их уровня знаний языка С. Единственный студент из тех 11, кто получил хорошие оценки за обе части курса, не смотря на отсутствие работы с QuizPACK, имел очень высокий начальный уровень программирования.

Субъективное оценивание

Из 46 студентов нашего класса 31, кто получил достаточное количество опыта работы с QuizPACK (всего таких студентов было 35), по окончании курса заполнили вопросник отражающий их оценки системы. Дискриминантный анализ, проведенный для оценки качества собранных данных, показал, что данные 95.2% процентов респондентов валидны.

В связи с ограничениями на размер данной статьи ниже мы в основном проанализируем лишь 4 из 12 вопросов, на которые студенты давали ответ. На рисунке 2 изображены суммарные результаты по этим вопросам. Первый из них оценивает общее отношение студентов к системе. Большинство (87.10%) считают, что тесты для самооценки "могут существенно помочь в течение курса", 6.45% ответили, что тесты для самооценки "могут помочь в течение курса", еще 6.45% сказали, что система "иногда полезна". Ни один из студентов не оценил QuizPACK как "бесполезный в течение курса".

Отвечая на второй вопрос, студенты давали свою оценку способности системы генерировать параметризованные вопросы и тем самым давать возможность работать с одним и тем же вопросом несколько раз. Подавляющее большинство (80.65%) респондентов ответили, что данное свойство "очень полезно", 16.13%, ответили, что оно "полезно" и только 3.23% - что оно "может быть полезно, но лишь изредка". Ни один из студентов не ответил, что эта способность системы "бесполезна".

Следующий вопрос оценивал тип и содержание тестового материала. 29.03% студентов посчитали, что тестовый материал "именно такой, чтобы быть наиболее полезным", 64.52% ответили, что тип и содержание тестов "в целом хорошие и полезные", 6.45% - что они "иногда полезны, но могли бы быть гораздо лучше". Не было зафиксировано ни одного ответа "абсолютно бесполезны".

На вопрос об интерфейсе системы мы получили следующие ответы: 45.16% - "очень хороший", 38.71% - "хороший" и 16.13% - "обладает некоторыми недостатками". Вновь ни один из студентов не ответил, что интерфейс QuizPACK "имеет серьезные проблемы".

Как показывают вышеприведенные данные, студенты настроены в отношении QuizPACK очень позитивно. Более 90% ответов на первые три вопроса составляют ответы типа "очень хорошо" и "хорошо". Более того, на первые два вопроса больше 4/5 студентов давали ответы "очень хорошо". Мы оценивали несколько различных систем, используемых в этом классе. Результаты QuizPACK превосходят все остальные. Даже относительно простой интерфейс – получивший, возможно, наименее высокие оценки среди всех остальных свойств системы – был оценен 80% студентов положительно. Мы также считаем интересным тот факт, что ответы, полученные на вопрос о способности системы генерировать параметризуемые тесты, хорошо коррелируют с ответами на вопрос от общем отношении к системе. Ни один из других вопросов не собрал таких данных. Возможным объяснением этому факту может быть то, что крайне позитивное отношение студентов к системе взаимосвязано с возможностью системы генерировать параметризуемые вопросы.

Рисунок 2: Отношение студентов к различным свойствам QuizPACK

Надежность этого оценивания может быть также проверена последовательностью ответов на схожие вопросы. Так, например, студенты были опрошены согласны они или нет со следующим утверждением: "Я посоветую моему другу, если он будет в этом классе, использовать QuizPACK". Следующие данные были получены: 79.97% студентов "полностью поддерживают" данное утверждение, 12.9% "поддерживают" его, 16.13% "не имеют определенного мнения" на этот счет. Ни один из студентов не ответил, что он/она "не согласны" или "полностью не согласны" с этим утверждением. Как мы можем видеть, эти данные очень близки к данным, отражающим общее отношение студентов к системе. Этот факт может косвенно подтверждать валидность субъективного оценивания системы студентами.

Два следующих вопроса выясняли, что студенты думают по поводу использования QuizPACK, как источника для еженедельного внутриклассного тестирования. 67.74% студентов полагают, что "это очень правильная мера", 25.81% считают, что это "правильно", 6.45% ответили, "это имеет некоторый смысл, но отнюдь не идеально". Ни один из студентов не посчитал, что "это совершенно неправильная мера". Относительно использования QuizPACK как средства для подготовки к тестированию в классе, 58.06% думают, что QuizPACK "сильно помог", 32.26% сказали, что он "помог", 9.68%, что он "немного помог", ни одного ответ "не помог" не было получено.

Работа с QuizPACK поощряла студентов к более активному использованию таких средств программирования как "отладчик". Более 51% студентов ответили, что они "использовали отладчик чтобы обнаружить где они ошиблись, давая неправильный ответ", "почти всегда" или "часто", 35.48% сказали, что они использовали его "иногда" и только 12.9% ответили, что они не использовали отладчик при работе с QuizPACK.

В дополнение к общему анализу мы попытались сравнить отношение к системе для разных групп студентов. На данный момент мы завершили сравнение ответов для групп, выделенных по половому признаку, и получили довольно интересные результаты. На рисунке 3 изображены профили ответов, данные студентами и студентками. Мы подсчитали средние значения для ответов на вопросы, оценивающие основные свойства системы, и выразили их в процентах. 100% означает что все студенты в этой группе дали ответ "очень хорошо". Заметно, что график обозначающий ответы женщин проходит выше "мужского" графика для всех вопросов. Разница достаточно существенна и для некоторых вопросов составляет 10%. В частности, график показывает, что все студенты в женской группе выразили стопроцентно-положительное отношение к системе в целом и к ее способности генерировать параметризуемые вопросы. Этот факт не обусловлен тем, что студентки больше/меньше работали с системой или были более/менее успешны. Данные говорят об обратном: среднее количество вопросов, на которые пытались ответить студенты в течение семестра – 187 для женщин и 178 для мужчин. Разница между средним значением успешности – практически нулевая (37.12% правильных ответов для женщин и 37.26% -для мужчин). Возможной объяснением может быть предположение, что исключительно положительное отношение студенток к системе отражает тот факт, что в течение курса QuizPACK был действительно важным средством обучения для них. Важно и то, что в нашем курсе женщины, традиционно показывающие менее высокие результаты по техническим предметам, нежели мужчины, в итоге получили более высокую среднюю итоговую оценку. Интересно также и то, что даже студентки, получившие в итоге "3", "4-" или ниже, тем не менее высказали свое одобрение системы.

Рисунок 3: Профили ответов для студентов и студенток

Заключение

Мы доложили результаты исследования, в котором была сделана попытка оценить роль параметризуемых тестов как средства обучения в контексте курса программирования. Эксперимент показал, что успешность работы студентов с рассматриваемой системой коррелирует с оценкой на экзамене. В то же время объем работы студентов с параметризуемыми тестами статистически-значимо предсказывает прирост знаний в течение курса. Система QuizPACK, с помощью которой студенты проходили тестирование, была ими оценена очень высоко. Наиболее высокую оценку получила возможность системы генерировать параметризуемые вопросы со случайным числовым параметром. Женщины оценивали различные свойства QuizPACK более позитивно чем мужчины. На некоторых вопросов 100% студенток дали самые положительные ответы. Эти результаты свидетельствуют о том, что системы, администрирующие параметризуемые тесты, такие как QuizPACK могут служить исключительным средством обучения в контексте курсов программирования. Очевидно, также, что QuizPACK был особенно полезен для женщин, обычно имеющих более низкую успеваемость в курсах программирования, чем мужчины. Мы планируем провести более подробный анализ с тем чтоб установить, для каких групп студентов QuizPACK наиболее полезен.