Класс был похож на call-центр. Длинные столы были разделены перегородками на отдельные рабочие станции, где студенты сидели за компьютерами. В одной из станций, студент был зарегистрирован в ПО на отдаленном сервере, работающий(-щая) с математическими задачами в собственном темпе. ПО пред(о)ставлял вопросы, она отвечала на них, и компьютер мгновенно оценивал ответ. Когда она отвечала на достаточное количество вопросов правильно, она выходила/перех в следующий раздел. Газо-плазменные мониторы, подключенные к компьютерам, отображали текст и графику однотонным оранжевым свечением.
Это было в 1972 году. компьютерные терминалы были соединены с центральным компьютерным процессором в Университете штата Иллинойс в Урбана-Шампань, который запустил ПО под названием Программируемая Логика для Автоматизированных Преподавательских Операций (PLATO).ПО было разработано в 1960-е годы в качестве эксперимента в области компьютерного обучения, и в 70-х общенациональная сеть позволила тысячам терминалов одновременно подключиться к центральным компьютерным процессорам в Урбана. * Несмотря на успех программы, PLATO был далеко от нового концепта – с самых первых дней работы на компьютере мэйнфреймов, технологи исследовали как использовать компьютеры для уточнения или дополнения преподавателей.
На первый взгляд, этот порыв имеет смысл. Компьютеры исключительно хороши в задачах, которые могут быть закодированы в подпрограммах с четко определенными входами, выходами и целями. Первым PLATO-ориентированным языком программирования был TUTOR, авторский язык, который позволял программистам писать онлайн problem sets. * Проблема написанная в TUTOR имела, как минимум, набор вопрос и ответ. Некоторые наборы ответовв были довольно просты. Например, ответ банка на вопрос "Что такое 3 + 2?" мог быть "5." Но наборы ответов могли также быть более сложным, с помощью принятия нескольких правильных ответов или игнорирования некоторых вводных слов. Например, ответ банка за тот же вопрос также может быть "<это, есть, ответ> (5, пять, FIV)." С этим более сложн ответом, преподаватель будет принимать "5", "пять", "FIV", "это 5", или "ответ FIV", как правильные ответы.
Такое сопоставление с образцом было в центре TUTORa. Студенты набирали символы в ответ на запрос, и TUTOR определял, соответствали ли эти символы принятому ответу в базе. Но TUTOR не имел никакого реального смыслового понимания поставленной проблемы или данного ответа. "Что такое 3 + 2?" это просто произвольная последовательность символов, а "5" это лишь еще 1 произвольн. цифра. TUTOR-у не нуж было оценивать арифметические задачи. Он просто оценить соответствует ли синтаксис ответа студента ли синтаксису ответа базы.
Люди гораздо медленнее, чем компьютеры для такого рода сопоставлений с образцом, как те, кто сортирует домашнюю работу, может засвидетельствовать, и в ответ педагоги разработали целый ряд технологий, чтобы ускорить процесс. Системы Scantron позволяют студентам кодировать ответы в виде пузырьков на формах множественного выбора и инструменты оптического распознавания быстро определяют, заполнены ли пузырьки правильно. В 18 веке в Америке, однокомнатные школы использовали наставительный метод, в котором старшеклассники оценивали (устн) ответы младших. Младшие студенты запоминали разделы учебников и рассказывали эти разделы учащимся старших классов, которые ранее запомнив те же разделы имели книгу перед собой для корректного оценивания. Мониторы зачастую не понимали смысловое значение озвучиваемых слов, но они гарантировали, что синтаксический вход (устн ответ) соответствовал ответу базы (учебник). TUTOR и его потомки очень быстрые и точные версии этих мониторов.
Через 40 лет после PLATO, интерес к компьютерному обучению растет. Новые компании, такие как DreamBox и Knewton, присоединились к более традиционным компаниям, как Achieve3000 Carnegie Learning в снабжении "интеллектуальными преподами" для " приспосабливающегося обучения» или «Персонализированного обучения." В первой четверти 2014 года, свыше полумиллиарда долларов было инвестировано в учебно-технологические стартапы. Не удивительно, что эти умные преподаватели быстро выросли в областях, в которых многие задачи имеют четко определенные правильные ответы, такие как математика и компьютерные науки. В областях, где студенческие выступления имеют больше нюансов, алгоритмы машинного обучения видели более скромный успех.
Возьмем, к примеру, по эссе-классификациЙ. Компьютеры не могут читать смысловое значение студенческих текстов, так автогрейдеры работают, уменьшая работу студента до синтаксиса. Во-первых, люди оценивают небольшой обучающий набор эссе, который затем проходит ч/з процесс подготовки текста. Автогрейдеры удаляют наиболее распространенные слова, как "a," "and," and "the." Порядок слов игнорируется, и слова объединяются в список, выразительно называемый "мешок слов». Компьютеры расчитывают различные отношения между этими словами, такие как частота всех возможных парных комбинаций любых двух слов, и суммируют эти отношения как количественное выражение. Для каждого документа в обучающем наборе, автогрейдер соотносит количественное представление о синтаксисе эссе с оценкой, назначенной человеком, оценка семантического качества.
Последним шагом является сопоставление с шаблоном.Алгоритм просматривает каж эссе, сравнивает синтаксические закономерности в малокомплектной структуре эссе в обучающем наборе, и назначает оценку на основе его сходства с этими синтаксическими моделями. Другими словами, если неоцененный мешок слов имеет те же количественные свойства, как высоко оцененный «мешок слов» из обучающего набора, то ПО дает высокую оценку. Если эти синтаксические структуры больше похожи на низко оцененный эссе, ПО назначает низкую оценку.
В некотором смысле, сортировка по машинному обучению является чудом современных вычислений. В других отношениях, это Клюге, который уменьшает сложную человеческую работу по моделям, которые могут быть алгоритмически подобранными. Эффективность этих самооценивающих систем по-прежнему ограничена и недоверчивое отношение общественности к ним высока, поэтому большинство интеллектуальных обучающих систем не предприняли никаких усилий для анализа студенческой работы. Они придерживаются части учебной программы с самыми ограниченными, структурно определенными ответами, не потому, что они наиболее важны, но потому, что сопоставление с шаблоном легче для программы.
Это представляется странной головоломкой. За сорок лет со времен PLATO, образовательные технологи добились прогресса в обучении части
учебной программы, которая может быть наиболее легко сведена к /процедурам, но мы имели очень мало прогресса в расширении диапазона, который эти программы могут выдавать. В те же 40 лет, почти в любой другой части общества, компьютеры снизили необходимость выполнения задач, которые могут быть сведены к шаблонам. Компьютеры, следовательно, являются лучшими в оценке работоспособности человека в разного рода задачах, в которых люди уже были заменены компьютерами.
Возможно, наиболее касающейся частью этих развитий является то, что наша технология high-stakes тестирования с высокими баллами отражает нашу технологию умных преподавателей. Мы используем машинное обучение в ограниченной форме для сортировки эссе на тестах, но по большей части эти испытания преобладают оценочным методом –множественный выбор и количественный вход в котором компьютеры могут быстро сравнить студенческие ответы с ответом банка. Мы довольно хороши в тестировании тех вещах, которые образованные преподаватели могут преподавать, но мы не так хороши, в тестировании тех вещей, которым рынок труда все чаще воздает должное. В "Танцуя с роботами," отличной работе по совр образованию, Фрэнк Леви и Ричард Мернейн утверждают, что актуальной задачей системы образования является "воспитание гораздо больше молодых людей для работы, кот. компьютеры не могут сделать." Система обучения, которая готовит студентов для эффективного осуществления рутинных задач это обучение студентов для работ, на которых платят минимальную заработную плату –либо для работ, которые просто больше не существуют.