Методы сбора данных при проведении оценки внутрифирменного обучения.

При рассмотрении методов получения данных для проведения оценки внутрифирменного обучения воспользуемся приведенной в первой части структурой оценки.

Первый ее этап - анализ потребностей в обучении, может быть условно разделен на три составляющие: анализ потребности организации в целом, анализ в потребности на уровне рабочего места и анализ потребностей в обучении отдельных сотрудников [6. - C. 73]. Анализ потребностей в обучении на уровне организации начинается с определения проблемы, с которой организация столкнулась. Лежит ли эта проблема в плоскости умений, навыков, знаний и установок сотрудников? Основной метод получения данных на этом этапе - интервью с руководителем (как правило, заказчиком). Дополнительными методами получения данных могут служить наблюдения (если говорить о внешней оценке, то, как правило, невключенное, может быть формализованное и неформализованное, явное и скрытое), анализ документов, опросы. Индикаторами могут служить - высокий процент брака, частота жалоб клиентов, уровень текучести кадров, переход на новые технологии и т.д. При анализе потребностей в обучении на уровне рабочего места выясняется, какие знания, навыки, установки необходимы для выполнения данного вида работ. Методами сбора информации также могут служить интервью, анализ документов и др. В рамках анализа потребностей в обучении отдельных сотрудников необходимо определить, насколько навыки, знания и установки, а также способности конкретных людей соответствуют требованиям рабочего места, какова реальная результативность сотрудников и отчего она зависит. Основными методами получения данных могут служить наблюдение, опросы (коллег, клиентов), анализ документов (личных дел сотрудников), интервью, редко - тестирование (как правило, профессиональных навыков). Идеальная ситуация, когда оценку потребностей в обучении, само обучение и последующие уровни оценки проводятся одним субъектом. Практика же показывает, что, как правило, оценка на этом уровне проводится внутренними силами организации, а само обучение и последующая оценка - привлекаемыми консультантами (тренерами или преподавателями). В этих случаях может возникнуть целый ряд проблем - от непроведения оценки потребностей в обучении вовсе до совершенно неадекватной оценки при очень низком интересе будущих участников к планируемому обучению. Разрешение этих проблем в большей степени зависит от уровня консультантов (тренеров) - как на стадии подготовки к обучению (заключение договора и беседы с руководством, персоналом, навыки диагностики, опыт и т.д.), так и в процессе самого обучения (включение в программу диагностических методик, которые могут "измерять" необходимые для оценки показатели).

В процессе проведения обучения также можно получать данные, которые впоследствии могут повлиять на оценку. Основной метод получения их - наблюдение, как правило, включенное. Используя этот метод, особое внимание должно уделяться критерию объективности информации. Перейдем к следующему уровню оценки - реакция на обучение. Наиболее часто используемый метод получения данных (помимо банальных выводов преподавателей на основе диагностики степени вовлеченности участников в процесс, интереса и восприятия обучения) - групповой анализ. В конце курса участники, как бы выполняя одно из заключительных упражнений, высказывают свои соображения о различных аспектах подходящего к концу тренинга (семинара). Один из существенных недостатков метода - как правило, комментарии участников не всегда становятся достаточно обширными и всеобъемлющими.

Наиболее достоверные и объективные данные можно получить, если разделить группу на несколько подгрупп и каждой из них дать задание проанализировать пройденную образовательную программу. Преподаватели могут сориентировать участников, какие именно разделы образовательной программы (семинара, тренинга) следует анализировать, но делать это необходимо с осторожностью, чтобы не повлиять на степень объективности суждений участников. В малых группах участники более откровенно обсуждают и анализируют мнения друг друга, определяют с какими комментариями и замечаниями они хотели бы выступить. В последующие общегрупповой работе микрогруппы представляют результаты своих обсуждений. Основное преимущество данного метода состоит в том, что преподаватели получают свежие впечатления и соображения, которые можно сразу же обсудить и уточнить данные, получаемые от участников. Но у этого метода существуют и недостатки, которые необходимо учитывать при его использовании. Существует опасность того, что при групповой работе наиболее активное меньшинство окажет чрезмерное влияние на пассивное большинство, и не все смогут выразить свою точку зрения. Разделение на микрогруппы (по моему опыту) позволяет уменьшить степень этой вероятности.

Я применяю множество разновидностей группового анализа - устные групповые опросы по схемам: "Что мне понравилось в программе/что можно улучшить", "Что дал тренинг мне лично, а что - организации в целом", "Сравнение ожиданий от программы с результатами" и т.д.

Другой метод получения данных на этом уровне оценки может использоваться как альтернативно, так и в дополнение групповому анализу. Для измерения реакции на обучение часто используются индивидуальные опросники, которые могут быть как анонимные, так и именные, в них иногда могут включаться вопросы, направляющие участников на размышления о применимости впоследствии полученных знаний, навыков в рабочих ситуациях, а также вопросы о предположениях участников относительно возможных изменений в их поведении в результате обучения в будущем. Однако эти вопросы носят скорее ориентирующий характер, они как бы помогают участникам задуматься об изменениях, которые должны произойти в результате обучения. Основной же измеритель этого этапа - степень удовлетворенности участников.

Следует отметить, что уровень достоверности и надежности получаемых таким образом данных не всегда высок. Причин тому может быть много - от эйфории участников и боязни обидеть преподавателей до неадекватной оценки потребностей в обучении, повлиявшей на реакцию участников. Поэтому желательно через небольшой промежуток времени "измерить" реакцию повторно - собрав данные, через интервью с руководителями, сотрудниками других отделов и т.д. Что говорят участники о программе, что вспоминают и обсуждают и т.д.

Проводить оценку второго уровня - оценку усвоения, на мой взгляд, следует спустя некоторое время после проведения образовательной программы. После обучения участнику необходимо некоторое время, чтобы прийти в себя, осмыслить большое количество информации, переоценить свои установки. Только после этого участник может осуществить первые попытки применения того, чему его обучали, на практике. Основными методами получения данных на данном этапе могут быть следующие:

 тесты, которые, как правило, представляют собой ряд закрытых вопросов, связанных с тематическими блоками программы (проверка знаний), описанием стандартных рабочих ситуаций (проверка умений). Поскольку тестирование проходит лишь сам экс-участник обучения, этот метод желательно сочетать с другими инструментами, которые позволят получить информацию об уровне усвоения знаний, приобретения навыков сотрудника от остальных заинтересованных лиц.

 наблюдение наиболее полезно для получения данных, когда в ходе прошедшего обучения шла целенаправленная работа с установками участников. При этом может использоваться как формализованное наблюдение с фиксацией наличия либо отсутствия каких-то ожидаемых изменений в установке, так и неформализованное - с фиксацией всех особенностей поведения сотрудника. Существенное замечание к применению этого метода - наблюдение должно быть скрытым для получения достоверных данных (сотрудник должен вести себя в естественных условиях, а не "позировать").

 интервью также может быть использовано как метод получения данных об усвоении знаний, навыков, изменении установок.

 анкетирование как довольно дешевый и быстрый способ получения данных также используется на данном уровне оценки. Желательно в анкетирование вовлекать не только экс-участников программы, но их коллег. Вопросы для них в свою очередь, будут отличаться от вопросов, адресованным сотрудникам, прошедшим обучение.

Основной сложностью, с которой можно столкнуться на этом этапе оценки при сборе данных, может быть как сопротивление участников, их загруженность работой и нежелание анализировать прошедшие после обучения изменения. Эффективный подход к преодолению этого препятствия - "поручить" (или проводить его вместе - в зависимости от выбранных методов) сбор данных для оценки руководителю обучившихся.

Некоторые авторы рекомендуют проводить оценку с применением метода контрольных групп. Например, при подготовке проведения программы набирается группа и случайным методом делится пополам. Одна половина группы проходит обучение, вторая - нет. После проведения обучения обе группы тестируются и сравнение результатов показывает, насколько повысился уровень знаний, навыков обучившихся [9. - C. 167]. Однако этот метод позволит нам выявить факт обучения - разницу между уровнем знаний и навыков обучившихся и необучившихся сотрудников. Оценить же уровень устойчивости этих знаний, воздействие их на поведение обученных сотрудников вынудит применять этот метод и далее, что приведет в нашем случае к "оценке ради оценки", что с практической точки зрения при проведении обучающих программ в организациях мне представляется недопустимым. Следующие два уровня оценки - оценки воздействия обучения на поведение сотрудников в рабочих ситуациях и оценки воздействия результатов обучение на эффективность организации в целом с точки зрения методов получения данных достаточно схожи для того, чтобы рассмотреть их вместе. Оба эти уровня имеют место через относительно продолжительный промежуток времени после проведения образовательной программы. А данные, полученные для оценки, должны также свидетельствовать еще и об устойчивости приобретенных и сформированных сотрудниками знаний, умений и установок, а также устойчивости в изменившимся поведении сотрудников в рабочих ситуациях. Основное отличие - на первом из перечисленных здесь уровней для оценки важны, в первую очередь, данные о внутриорганизационных процессах, а на втором - данные более широкого профиля. Здесь важны данные не только об эффекте и прогнозируемых результатах, но и о деятельности организации во всем ее многообразии, включая побочные, неожиданные и даже негативные результаты. Этим объясняется то, что для оценки воздействия обучения на поведение сотрудников данные собираются более формализованно, чем для оценки воздействия обучения на эффективность организации в целом. Основные методы получения данных:

 интервью - как сотрудников организации (как правило, коллег обучившихся и руководства), так и ключевых партнеров, клиентов. Могут быть как индивидуальные, так и групповые, экспертные; фокус-группы. Упор делается на получение данных, свидетельствующих о качественных изменениях.

 наблюдение - как включенное, так и невключенное; как формализованное, так и неформализованное.

 анализ продуктов деятельности на этих этапах как метод получения данных может помочь собрать информацию как об изменениях в поведении участников образовательной программы, так и воздействия обучения на эффективность организации в целом.

 анализ документов, в которых могут содержаться данные о подлежащих оценке изменениях. На последнем этапе оценки к числу документов могут относиться и совсем "внешние" - публикации в прессе, обсуждения на Интернет-форумах и т.д.

К индикаторам, собранным для оценки обучения предъявляются определенные требования. В большей степени, они связаны с тем методом, с помощью которого собирались данные.

Индикаторы, прежде всего, должны удовлетворять требованию валидности, а именно - измерять именно то, что с помощью этого индикатора предполагалось измерять. Второе требование - надежность. Повторное измерение по тому же индикатору должно давать тот же сравнимый результат. Третье требование - нейтральность: вне зависимости от того, кто именно собирает данные и проводит измерение, результат должен получаться одинаковый. Требование практичности означает, что данные собираются в разумный срок, при разумных ресурсных затратах и сами данные относятся прежде всего к тому, что оценивается на том или ином этапе. Требование полноты собранных данных отражает насколько достаточно собранной информации для того, чтобы проводить оценку.

Предложенный Дж. Филипсом пятый уровень оценки: "возврат на вложенный капитал", по моему мнению является самым сложным и трудоемким как с точки зрения сбора необходимых для оценки данных, так и при установлении причинно-следственной связи между обучением конкретных сотрудников и изменением финансового состояния предприятия. С одной стороны, несомненно, изменение общей эффективности организации не может не отразиться на ее прибыли, с другой стороны, результаты самого обучения необходимо изолировать от возможных последствий действия других факторов. Данные, которые подлежат сбору на данном этапе, должны отражать, прежде всего, зависимость изменений прибыли от изменения в поведении сотрудников, вызванное проведенным обучением, а не изменения в показателях прибыли как таковые.

Таким образом, оценка образовательной программы - одна из важнейших составляющих самого процесса внутрифирменного обучения. Эффективное ее проведение позволит определить место корпоративного обучения в развитии организации, повышении ее общей эффективности, и, при необходимости, скорректировать как процесс обучения сотрудников, так и его содержание.

Для проведения эффективной оценки внутрифирменного обучения важно соблюсти не только требования к структуре проведения оценки, ее этапов и сроков, но и к методам проведения оценки, в частности, к методам получения данных, на основе которых такая оценка будет проводиться.

Здесь мы рассмотрели основные методы, с помощью которых можно получать необходимые для проведения оценки внутрифирменного обучения данные на каждом из уровней общего подхода к оценке, возможные сложности в их использовании и некоторые из механизмов их преодоления субъектом проведения оценки, а требования к данным, полученным с использованием этих методов для эффективной оценки обучения.

Безусловно, в большей степени, эффективность использования методов сбора данных зависит от степени мастерства и опытности того, кто эту оценку проводит, однако общие требования к использованию методов получения данных свою актуальность все равно не утрачивают. Необходимо помнить о границах оценки на каждом из уровней, требованиях к собираемым данным и методикам их сбора.

Область оценки внутрифирменного обучения - одна из динамично развивающихся сфер деятельности своременных консультантов, и, возможно, в будущем практика покажет новые подходы к получению данных и структуре оценки в целом, чем представленные подходы в данной работе.