ЭКСПЕРТНОЕ ОЦЕНИВАНИЕ
Экспертное оценивание — процедура получения оценки проблемы на основе мнения экспертов с целью последующего принятия решения (выбора).
Эксперт — компетентное лицо, имеющее специальный опыт в конкретной области и участвующее в исследовании в качестве источника непосредственной информации. Его задачей является выражение своего мнения о качестве объекта или явления по определенной шкале в соответствии с предусмотренными для этого правилами.
Основное содержание метода экспертных оценок заключается в рациональной организации работы одного или нескольких специалистов над поставленной проблемой,регистрацией и последующей обработкой полученных данных (цит. по Горбатов, 2003).
В психологическом исследовании экспертное оценивание может рассматриваться как в качестве самостоятельного метода познания, так и в виде существенного компонента процедур наблюдения, опроса, эксперимента, анализа продуктов деятельности, словом, везде, где имеет место не стандартизированный переход от наблюдаемых признаков к выводам.
Более того, те или иные разновидности экспертизы применяются на любом этапе исследования: в определении его целей и задач, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интерпретации понятийного аппарата, для обоснования адекватности используемого инструментария, в процессе выработки рекомендаций и т.д.
Рассмотрим наиболее существенные особенности экспертизы.
1) Цикличность процедуры, повторяемость ее стадий. Вначале каждый эксперт дает свою оценку и обосновывает ее, затем составляется итоговая сводка, отражающая мнения всех экспертов. Изучив эту информацию, эксперты корректировали свои прежние оценки и комментарии.
2) Отсутствие прямого контакта экспертов друг с другом, что гарантирует минимизацию интерсубъективных влияний общения на качество результатов.
3) Анонимность участников работы, что позволяет принимать во внимание оценки и обоснования экспертов, но не их звания, регалии, общественное положение или научный авторитет.
4) Оперирование аргументацией, а не только количественными оценками, что способствует повышению уровня обдуманности индивидуальных суждений.
5) Участие в работе специальной группы, обеспечивающей обработку и передачу экспертной информации. Имеется в виду так называемая мониторная группа, деятельность которой в экспертном оценивании обычно включает в себя формулирование исследовательской задачи, подбор компетентных специалистов, их инструктаж, разработку оценочных параметров, обеспечение работы экспертов (техническое, математико-статистическую обработку данных, логико-семантическое оформление суждений).
Основной задачей мониторной деятельности является максимальное приближение оценок экспертов к истине. Субъективность метода вовсе не означает его неэффективности. Экспертное оценивание становится средством получения недостоверной информации только в тех случаях, когда плохо подобраны специалисты и некачественно организована их работа.
На ниже приведенной схеме представлена классификация типов экспертиз по П.Б. Шошина (цит. по Горбатов, 2003):
Содержание оценочной деятельности экспертов (этапы экспертизы):
1. Подготовка к экспертизе (изучение порядка и правил оценивания, ознакомление со способами регистрации суждений, актуализация знаний в данной конкретной области).
2. Исследование объекта экспертизы.
3. Возникновение имплицитной оценки - субъективного впечатления, слабо дифференцированного и неустойчивого, еще не получившего выражения средствами внутренней речи, символами или словами.
4. Экспликация оценки – формулирование оценки в уме, а затем и в вербальном или символическом виде.
5. Проверка правильности результата оценивания.
6. Аргументирование оценки.
7. Участие в информационном обмене между экспертами.
Работа экспертов может происходить в условиях большей или меньшей стандартизации. Выражение их суждений в зависимости от особенностей исследования планируется в форме свободного интервью или анкетирования с полузакрытыми (или открытыми вопросами) или же, как стандартизированное интервью.
Статистическая обработка материала.
В практике научных исследований традиционно выделяют следующие типы измерительных шкал (цит. по Бурлачук, 2010; Клайн, 1994; Наследов, 2004):
Номинативные шкалы (шкалы наименований) - это простейшая классификация испытуемых. Переменные, измеренные в этой шкале, могут принимать одно из конечного числа неупорядоченных значений. Каждое из таких значений определяет отдельную категорию и может быть использовано как имя категории.
Пример: мужчина/женщина.
Порядковые шкалы - это упорядоченная номинальная шкала. Упорядочение - единственная математическая операция, применимая к порядковой шкале. Такая шкала очевидно груба, поскольку не учитывает значения разностей между рангами.
Пример, классификация работников на клерков, менеджеров и высшее руководство. Здесь каждая категория находится в позиции выше или ниже по отношению к другой.
Шкалы интервалов. В добавление к упорядоченности дает информацию о расстоянии между значениями. Однако интервальная шкала не имеет определенной нулевой отметки, в разных системах измерения ноль определен по-разному. Во всех точках данной шкалы разность между значениями равны. Эквивалентные интервальные шкалы могут быть линейно преобразованы друг в друга, что позволяет приводить результаты тестирования к общим шкалам и таким образом осуществлять сравнение показателей. Более того, многие статистические процедуры предполагают измерения по шкале интервалов.
Пример, при измерении температуры расстояние между 200С 210С такое же, как между 50С и 60С.Но нельзя сказать, что 80оС в два раза горячее, чем 40оС, поскольку ноль может быть определен в разных системах по-разному.
Шкалы отношений. Данная шкала имеет все те свойства упорядоченности и расстояний, что и интервальная.В дополнение к этому определена точка отсчета (точка нуля).В отличие от интервальной шкалы она не произвольна, а указывает на полное отсутствие измеряемого свойства. Наличие такой точки — проблема для большинства психологических переменных, хотя существуют методы конструирования тестов, позволяющие использовать эту возможность.Так как относительная шкала удовлетворяет всем требованиям системы вещественных чисел, к ней могут применяться любые математические операции. Однако нужно отметить, что существование нулевой точки редко является критичным при статистическом анализе и, зачастую, относительную шкалу не рассматривают как отдельную категорию, пользуясь интервальной шкалой.
Пример: рост, вес, численность населения и т.д.
Определив тип базовой измерительной шкалы, адекватный исследованию, для экспертов разрабатываются конкретные параметры, по которым будут вынесены индивидуальные суждения. Важно, чтобы в последующем, при статистической обработке и логическом сопоставлении результатов экспертизы не осуществлялось неправомерных выходов за пределы возможностей того или иного типа измерения.
После вынесения оценок экспертами исследователь осуществляет обычно следующие операции:
- проверку индивидуальных суждений и обоснований на непротиворечивость составляющих;
- анализ совокупности мнений экспертов с целью установления степени согласованности их между собой;
- выделение групп экспертов с близкими позициями в случае наличия существенных расхождений в оценках;
- выявление причин разброса индивидуальных мнений;
- определение влияния компетентности экспертов на содержание их оценок и обоснований.
Причины нарушения достоверности результатов в ходе экспертного оценивания.
Эффект «ореола» заключается во влиянии сложившихся представлений об объекте оценивания на его оценку.
Эффект «фасада» – зависимость оценки от впечатления, сложившегося в момент оценивания (например, влияние может оказывать внешний вид, пол, манеры поведения и др.).
Ситуационные условия оценивания, такие как: степень усталости эксперта; различия в оборудовании рабочего места и характеристиках условий труда (освещенность, температура помещения и т.д.); фактор чередования различных по качеству ответов или работ;
Эффект контраста отражает зависимость оценки от нескольких предшествующих оценок других объектов (например, хороший ответ часто оценивается выше, чем он заслуживает, если ему предшествовали плохие по качеству ответы, и наоборот).
Эффект фона обозначает влияние на оценку выявленного экспертом к тому времени общего уровня оцениваемых людей.
Большинство из этих факторов не оказывают особого влияния на итоги группового оценивания, осуществляющегося в заочной форме, без непосредственного взаимодействия экспертов между собой. Однако заочная форма экспертизы обычно требует нескольких туров, что увеличивает продолжительность и трудоемкость экспертной процедуры.