Понятие и сущность экспертных методов
Принимать решения можно либо на основе объективных данных (в том числе с помощью оптимизационных методов и вероятностно-статистических моделей), либо на основе мнений специалистов (экспертов).
Экспертные методы – это методы, основанные на использовании экспертов в качестве основных источников информации относительно исследуемого объекта.
Целью экспертного обследования может быть выработка рациональных рекомендаций по формированию или перестройке системы управления исходя из принятых критериев эффективности, рациональных принципов управления, анализа и внедрения наиболее передовых технологий в области организации систем.
Экспертные оценки - количественные, порядковые, балльные или другие оценки процессов или явлений, не поддающихся непосредственному измерению. Они основываются на суждениях специалистов.
Сущность данных методов состоит в проведении экспертами интуитивно-логического анализа проблемы с качественной и (или) количественной оценкой суждений и последующей формальной обработкой результатов.
Ситуации использования экспертных методов:
· при исследовании объектов, функционирование которых не поддается описанию с помощью формальных методов (неструктурированные проблемы);
· в условиях отсутствия полной и достоверной информации;
· в условиях высокой неопределенности поведения внешней среды;
· при прогнозировании ситуации;
· в случаях недостатка времени или средств на проведение исследования;
· при отсутствии необходимых технических средств моделирования;
· в экстремальных ситуациях.
Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, и лишь после этого ее можно рассматривать как решение поставленной задачи.
При анализе и прогнозировании слабоструктурированных систем, которые невозможно однозначно описать и формализованно исследовать, не обойтись без использования экспертов. Именно тут как нигде необходимы их глубокие в данной предметной области знания и одновременно интуиция, основанная на опыте. Большое значение имеет и эрудиция, т.е. широкие межпредметные знания экспертов.
Экспертные методы анализа и прогнозирования могут быть как неформализованными, творческими, поскольку процедуры анализа не имеют четких алгоритмов и часто сам эксперт не может "разложить их по полочкам", так и "мягко формализованными", основанными на гибких алгоритмах.
Разумеется, экспертиза может быть реализована самим аналитиком при наличии достаточных знаний, но часто ответственность задачи или ее специфика требуют использования независимого мнения, а иногда и нескольких, что может быть достигнуто только привлечением сторонних экспертов. Во втором случае возникает необходимость решения следующих проблем:
· отбор квалифицированных экспертов;
· выбор эффективного способа взаимодействия исследовательской группы с экспертами, а при групповой экспертизе - экспертов между собой;
· определение метода обработки и интерпретации информации, полученной от экспертов.
Эксперт как основа экспертного метода исследования
Методы экспертных оценок применяются в случаях, когда задача полностью или частично не поддается формализации и не может быть решена известными математическими методами.
Экспертиза представляет собой исследование сложных специальных вопросов на стадии выработки управленческого решения лицами, обладающими специальными знаниями, опытом с целью получения выводов, мнений, рекомендаций, оценок. В ходе экспертных исследований используются новейшие достижения науки и техники по специальности эксперта.
Задача эксперта состоит в том, чтобы, используя специальные знания в той или иной области, прошлый опыт и интуицию, применить общие законы и частные закономерности для разработки конкретных управленческих решений.
Экспертное заключение оформляется в форме документа, в котором фиксируются ход исследования и его итоги:
· введение содержит данные: кто, где, когда, в связи с чем организует и проводит экспертизу.
· далее фиксируется объект экспертизы, указываются методы, примененные для его исследования, и полученные в результате исследования данные.
· в заключительной части содержатся выводы, рекомендации, практические меры, предлагаемые экспертами. Выводы могут иметь категорическую формулировку ("да", "нет") и вероятностную (предположение).
В роли экспертов, как правило, выступают опытные руководители, специалисты, приглашаемые со стороны, имеющие опыт и специальные знания в узкой области, владеющие методами исследования. Эксперт должен быть способен синтезировать информацию, объединить специальные знания и опыт, методы исследования со знанием особенностей исследуемого объекта и дать объективные квалифицированные рекомендации.
Наиболее эффективно применение методов экспертных оценок в решении следующих задач управления:
1. анализ сложных процессов, систем, явлений, ситуаций, характеризующихся в основном качественными, не формализуемыми характеристиками.
2. прогнозирование тенденций развития производственной системы и взаимодействия с ней внешней среды.
3. определение и ранжирование по заданному критерию наиболее существенных факторов, влияющих на функционирование и развитие системы.
4. повышение эффективности математико-статистических и других формальных методов за счет более точного определения и оценки некоторых качественных аспектов, факторов, не поддающихся формализации.
5. повышение надежности оценки целевых функций, имеющих качественный или количественный характер, путем усреднения мнений высококвалифицированных специалистов.
6. выявление и оценка качественных и количественных критериев, необходимых для выбора управленческого решения.
7. оценка альтернативных вариантов решения и выделение некоторых наиболее предпочтительных вариантов.
Сведение до минимума отрицательного влияния субъективного элемента на качество принимаемых управленческих решений - одна из главных задач оптимизации процессов принятия решений в управлении.
Надежность и достоверность решений, принимаемых на основе суждений группы экспертов, в значительной мере зависят от организации процедуры сбора, анализа и статистической обработки этих суждений.
При традиционном - групповом обсуждении проблем на заседаниях комиссий или советов результирующая оценка получается от всей группы в целом. Однако мнение самых авторитетных и эмоциональные воздействия наиболее "напористых" участников часто оказывают значительное влияние на суждения остальных. Кроме того, члены комиссии, оказавшиеся в меньшинстве, чувствуют себя неуверенно и потому часто присоединяются к мнению большинства.
Поэтому для уменьшения психологического влияния экспертов друг на друга и получения более достоверных оценок прямые дискуссии следует заменять программами согласования индивидуальных мнений. Простейший способ использования группы заключается в том, что каждый эксперт дает оценку независимо от других, а затем эти оценки обрабатываются и обобщаются в одну общую.
Эксперт является основой экспертных методов исследования. Существуют различные определения понятия "эксперт". Экспертом называет человека, являющегося специалистом и (или) имеющего практический опыт, который:
· имеет и дает объективные и полные сведения об особенностях и свойствах внешнего объекта и (или) рекомендации относительно предпочтительных (лучших) вариантов решений, касающихся данного объекта;
· обладает правами, обязанностями и ответственностью за свое экспертное заключение, определенными нормативными документами;
· включен в процесс принятия решений, выполняя специальную функцию, и поставлен перед задачей их научного обоснования;
· высказывает суждения по вопросу из области его специальных знаний и (или) практического опыта, поставленному перед ним некоторым лицом, независимо от внешних влияний и собственной выгоды.
Разберем подробнее отдельные стадии экспертного исследования. Начнем с подбора экспертов: кадры решают все! Каковы эксперты - таково и качество заключения экспертной комиссии.
Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем обсуждать проблему существования различных "партий" среди экспертов и обратим внимание на различные иные стороны процедур подбора экспертов.
В проблеме подбора экспертов можно выделить две составляющие – а) составление списка возможных экспертов и б) выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.
Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика (или таблицы) псевдослучайных чисел.
Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают определенное количество (обычно 5 - 10) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности рабочих групп, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, лиц из этого же "клана". Мнения и аргументы других "кланов" будут упущены. Здесь речь идет о том, что сообщество специалистов реально разбито на группы, названные выше "кланами", и общение идет в основном внутри "кланов". Неформальная структура науки, к которой относятся "кланы", достаточно сложна для изучения. Отметим здесь, что "кланы" обычно образуются на основе крупных формальных центров (вузов, научных институтов, научных школ.
Вопрос об оценке компетентности экспертов не менее сложен. Ясно, что успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.
Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов.
Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают отклонения и в другую сторону, излишне критичное отношение к своим возможностям.
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.
Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный «говорун" может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы.
Необходимо подчеркнуть, что подбор экспертов – одна из основных функций т.н. Рабочей Группы (РГ), и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них по собственным соображениям.
Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе", в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.
Для отбора экспертов необходимо, во-первых, сформулировать критерии отбора (ответить на вопрос "Кто может выступать в качестве эксперта по данной проблеме?"), во-вторых, определить процедуры отбора (ответить на вопрос "Как установить соответствие эксперта необходимым требованиям?"). В качестве основных критериев отбора можно назвать следующие:
1. Уровень компетентности эксперта в данной предметной области, показателями которого в совокупности являются:
· уровень и профиль образования,
· профиль работы (связь с данной предметной областью),
· опыт работы по профилю (общий стаж работы по профилю и стаж работы непосредственно в данной предметной области),
· уровень решаемых проблем (соответствие занимаемой должности характеру и уровню возникшей проблемы),
· количество и качество ранее выполненных экспертиз, например, сбывшиеся прогнозы.
2. Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (незаинтересованность эксперта в принятии определенного решения).
3. Умение работать в команде (это особенно важно для группового экспертного опроса), т.е.:
· коммуникативные навыки,
· способность к совместному творчеству,
· гибкость ума и "незашоренность" взгляда,
· нонконформизм.
При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры:
1. Самооценка экспертов по объективным параметрам.
2. Взаимная оценка экспертов.
3. Оценка экспертов независимыми специалистами.
4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта).
Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз.