Процедура организации экспертиз

В сложных ситуациях выбора ЛПР можетне обла­дать всей необходимой информацией или опытом, что повышает степень риска принятия ошибочною реше­ния. Кроме того, многие проблемы, требующие реше­ния, полностью или частично не поддаются количест­венному анализу,и, следовательно, не дают возможно­сти использовать методы моделирования. В подобных случаях значительный эффект приносят экспертные тех­нологии.

Применение экспертных технологий в процессе при­нятия решений целесообразно, в основном, в следую­щих случаях:

Определение целей. При разработке наиболее важных, стратегических решений оченьважно точно определить и сформулировать цели, к достижению которых стремится ЛПР. Для сложных ситуаций разработан и применяется метод «дерева целей», позволяющий определять иерархическую структуру системы целей.

Экспертный прогноз. При принятии решений довольно часто возникает необходимость определения и оценки тенденции ожидаемого развития ситуации, a также результатов реализации рассматриваемых альтернатив

Разработка сценариев развития ситуации. При разработке решения необходимо выявить основные факторы под влиянием которых находится ситуация, и определить динамику их возможного изменения.

Генерирование альтернатив. В случае возникновения новой, ранее не встречавшейся проблемы, не существует и готовых вариантов ее решения. Их необходимо найти и сформулировать.

Определение рейтингов. В ряде случаев принятие решений основано на сравнительной предпочтительности оцениваемых по специальной методике объектов (рейтинг банков, политиков, спортсменов и т.д.).

Формирование оценочных систем. Для сравнительной оценки альтернативных вариантов решения, а также оценки степени достижения поставленной цели необходима оценочная система, в состав которой входят:

критерии, характеризующие объект оценки;

шкала для измерения каждого критерия;

правила выбора наиболее предпочтительных альтернатив.

Принятие коллективных решений — это открытое обсуждение альтернативных вариантов решения с учетом результатов экспертизы, согласование различных точек зрения, поиск компромисса и т.п.

Сущность экспертных методов принятия решения заключается в получении ответов специалистов на поставленные перед ними вопросы. Полученная от экспертов информация в целях минимизации погрешностей и влияния субъективного фактора обрабатывается при помощи специальных логических и математических процедур и преобразуется в форму, удобную для выбора решения.

Для подготовки и проведения экспертизы формируется организационная группа, обеспечивающая условия для эффективной работы экспертов. Основные задачи этой группы:

постановка проблемы, определение цели и задач экспертизы;

разработка процедуры проведения экспертизы;

отбор, проверка компетентности и формирование группы экспертов;

проведение опроса экспертов и получение их оце­нок;

обработка, формализация и интерпретация полу­ченной информации.

В зависимости от процедуры и способов организации проведения экспертизы среди методов экспертных оценок различают следующие методы группового опроса.

Метод комиссий. Предполагает регулярные собрания экспертов для проведения групповых дискуссий по об­суждаемой проблеме и выработки в ходе таких дискус­сий согласованного решения. Этот метод при умелом использовании способствует созданию творческой об­становки в группе экспертов и разработке альтернатив решения. Однако метод комиссий обладает и недостат­ками, прежде всего это отсутствие анонимности. Оно может приводить к довольно сильным проявлениям конформизма со стороны экспертов, присоединяющихся к мнению более компетентных или авторитетных спе­циалистов даже при наличии противоположной собст­венной точки зрения. Дискуссия часто сводится к поле­мике наиболее авторитетных экспертов. Другой сущест­венный негативный фактор — различная активность экспертов, не всегда связанная с их компетентностью. Кроме того, публичность высказываний может приво­дить к нежеланию некоторых экспертов отказаться от ранее высказанного мнения, даже если оно в процессе Дискуссии изменилось. Поэтому организаторы эксперти­зы должны уделить особое внимание подбору экспертов: привлекать специалистов, обладающих независимостью мнении, устойчивостью к мнению большинства (нон - конформистов), способных не поддаваться «магии авторитета» и, кроме того, способных работать в команде, психологически совместимых.

В настоящее время одним из наиболее распростра­ненных методов коллективной экспертной оценки явля­ется метод «Дельфи».

Метод «Дельфи». Достоинство данного метода состоит в том, что он позволяет обобщать индивидуальные мне­ния отдельных экспертов в согласованное групповое мнение. Метод «Дельфи» характеризуют три специфиче­ские особенности:

анонимность экспертов;

регулируемая обратная связь;

статистическая обработка результатов опроса и формирование группового ответа.

Анонимность экспертов заключается в том, что в хо­де проведения экспертизы участники экспертной группы неизвестны друг другу и их взаимодействие в процессе опроса полностью исключено. Это достигается исполь­зованием специальных анкет, а также другими способа­ми индивидуального опроса, например, в режиме диа­лога с компьютером. Регулируемая обратная связь обеспечивается прове­дением нескольких туров опроса, результаты которых сообщаются экспертам. Статистическая характеристика группового ответа заключается в том, что группа экспертов рекомендует вариант решения, опирающийся на мнение большинст­ва, т.е. такую альтернативу, которую выбрало бы боль­шинство членов группы.

Например, при помощи метода «Дельфи» проводится экспертиза с целью оценки возможных альтернатив ре­шения некоторой сложной проблемы и выбора наиболее предпочтительной. В этом случае опрос проводится в несколько туров (как правило — четыре), на каждом из которых экспертов информируют о результатах преды­дущего и просят обосновать свое мнение, что дает воз­можность уменьшить разброс индивидуальных оценок. Но это не значит, что эксперт должен соглашаться с чьим – то мнением, он может остаться и при своем.

С другой стороны, в результате такой процедуры эксперт может и изменить свою оценку без огласки, не «теряя лица», так как опрос анонимный. В каждом туре опроса эксперт дает свою количественную оценку параметрам сравниваемых альтернатив (например, срок реализации или уровень риска) по заранее разработанной шкале. Получают числовой ряд, который обрабатывают следующим образом. Допустим, в результате получено 17 оценок: n1, n2,…..n17. Всеэти оценки располагают в порядке убывания. Средний член такого ряда — n9 - называется медианой. Медиана делит ряд таким образом, что количество оценок с большим и меньшим значениями признака одинаково. Затем ряд делят на четные равные части — квартили. В средних квартилях, соседних с медианой, собраны наиболее предпочтительные альтернативы, которые и принимаются в расчет. Taким образом, медиана служит характеристикой группового ответа, а диапазон квартилей — показателем разброса индивидуальных оценок.

Метод сценариев. Суть этого метода — написание экспертами сценариев развития анализируемой ситуации с целью определить тенденции возможного развития и сформировать картину состояний, к которым она может прийти под влиянием тех или иных факторов, в числе под воздействием определенных управленческих решений или при их отсутствии. Государственный деятель, принимающий ответственное политическое решение, и бизнесмен, выбирающий стратегию развития фирмы, военачальник, анализирующий ход военной операции, и конструктор, закладывающий основы принципиально нового объекта, при разработке принципиально важных решений, как правило, пытаются предугадать возможный сценарий развития событий, чтобы (принять решение, приводящее к успеху. Поэтому данный метод широко используется для разработки стратегических решений в различных сферах деятельности: политике, военном деле, экономике.

Построение сценариев — творческий процесс, кото­рый не укладывается в рамки какой-либо строгой фор­мальной процедуры. В каждом конкретном случае схема процесса складывается в зависимости от объекта про­гнозирования, наличия информационных технологий и математических моделей, личных качеств членов экс­пертной группы и других факторов. Процесс построения сценариев можно представить как выдвижение исследо­вателями различных альтернативных гипотез развития, рассматриваемой ситуации и последующую проверку каждой из этих альтернатив на системе моделей. Вы­движение альтернатив — сугубо творческий процесс, в котором неформальные знания, опыт, научная интуиция и интеллект эксперта играют ведущую роль. Информа­ция, генерируемая специалистами, получает затем с по­мощью моделей количественную оценку. Реализация этой процедуры связана с проблемой перевода качест­венных понятий в количественные значения параметров системы.

Процесс прогнозирования обычно заканчивается составлением итогового документа, в котором содержатся:

цели и задачи прогноза;

краткое описание объекта прогнозирования, гипотеза о механизме его функционирования и развития, принятая система допущений и ограничений;

подробное описание разработанных сценариев и соответствующих им тенденций развития с указанием возможных в будущем проблемных ситуаций;

рекомендации для принятия решений с подробным описанием возможных последствий реализации каждой из предложенных альтернатив.

Метод суда. Основан на использовании процедуры судебного заседания. При этом одна часть экспертов сторонники обсуждаемой альтернативы решения — ступают в качестве «защиты», приводя всевозможные доводы в ее пользу, другая — противники — в качестве «обвинения», приводя аргументы против, а третья часть экспертов — «суд» — выступают в качестве присяжных вынося окончательное решение.

Экспертные оценки (даже с учетом процедуры согласования и статистической обработки) носят в значительной мере субъективный характер, поэтому при использовании подобных методов возникает весьма важный вопрос: кого считать экспертом и как выбрать «хорошего» эксперта, или, другими словами, как оценить качества эксперта?

 

Оценка качеств эксперта

 

Эксперт — специалист (профессионал), оценки и суждения, которого ЛПР считает полезным учитывать при принятии решений.

Необходимо также отметить, что в настоящее время не существует общепринятой единой методики оценки качеств эксперта, поэтому мнения о профессиональном уровне специалиста нередко существенно расходятся. В реальной практике ЛПР стремится либо сам составить мнение о профессиональном уровне кандидата в экспер­ты, либо доверяет это тем, кому поручена организация экспертизы. Поэтому при отсутствии возможностей и опыта организации и проведения экспертиз имеет смысл обращаться к услугам независимых центров экспертизы, информационно-аналитических центров и т.п., основ­ными задачами которых являются анализ ситуации, оценка объектов экспертизы, подготовка и оценка аль­тернативных вариантов решений.

При оценке качеств эксперта необходимо учитывать его профессиональные знания, опыт деятельности и эф­фективность работы в составе экспертных комиссий. Существует много способов оценки качеств эксперта, каждый из которых может быть удачно использован в конкретном случае. Они подразделяются на три основ­ные группы: априорные, апостериорные, тестовые.

Априорными называются методы оценки качеств экс­перта, при которых не используется информация о ре­зультатах его участия в предшествовавших экспертизах

Апостериорными называются методы оценки качеств эксперта, основанные на информации о результатах его участия в предыдущих экспертизах.

Тестовыми являются методы оценки качеств эксперта предполагающие проведение специального испытания.

Априорные методы оценки эксперта. К этой группе относятся, прежде всего, наиболее распространенные методы самооценивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы:

самооценка по одной из балльных шкал (3-, 5-, 10- или 100-балльной);

самооценка с использованием вербально-числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание;

самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные гpaдации, заранее разработанной шкалы;

самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качества, используя два основных частных критерия
а) характеризующий его знакомство с основными источниками информации в данной области (например, специальные отечественные и зарубежные периодические издания, патентная информация, внутрифирменная информация и т.п.) и

б) характеризующий знакомство с объектом экспертизы (например, знание отраслевой cпeцифики, конкретного предприятия, знакомство с образцами продукции и т.д.). В этом случае комплексная самооценка эксперта рассчитывается по формуле:

 

К_к = (К_И + β Кз)/2,

где

К_к — комплексная самооценка эксперта,

К и — коэффициент информированности (в долях единицы)
Кз — коэффициент знакомства с проблемой;
β — весовой коэффициент.

Точность методов самооценки довольно спорна. С одной стороны, никто лучше самого эксперта не пред­ставляет всю совокупность знаний и опыта, которыми он обладает. С другой стороны, человек больше всего ошибается, оценивая свои собственные возможности.

К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использо­вание которых предполагает, что эксперты оценивают друг друга. Наиболее распространенный из них — метод списка экспертов. Процедура его применения заключает­ся в следующем. Каждый из экспертов составляет спи­сок специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчи­тывают коэффициент компетентности эксперта — от­ношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков.

К числу априорных методов оценки качеств эксперта относится также наиболее распространенный документационный, или анкетный, метод. В нем для оценки оп­ределенных качеств специалиста предлагается пользо­ваться объективными характеристиками, имеющими до­кументальное подтверждение, например, такими, как стаж работы, ученая степень, ученое звание, занимаемая должность, количество публикаций, индекс цитирования и т.п. При этом следует иметь в виду, что, основываясь только на этих объективных факторах, невозможно аде­кватно оценить пригодность и полезность участия экс­перта в работе конкретной экспертной группы.

Апостериорные методы оценки. Эти методы предпо­лагают при оценке качеств эксперта использование ре­зультатов его участия в предшествовавших опросах. С их помощью в определенной степени могут быть выявлены такие качества, как конформизм, конъюнктурность, ком­петентность эксперта.

В частности, для оценки уровня компетентности специалиста может быть применен метод парных сравне­ний. Его суть заключается в том, что эксперту последовательно предъявляются пары сравниваемых объекте оценки, и он выбирает из каждой пары наиболее пpeдпочтительный с его точки зрения объект. После предъявления всех пар у аналитиков имеется информация сравнительных предпочтениях эксперта в отношении оцениваемых объектов. При этом может возникнуть cитуация, когда при непосредственном сравнении первый объект предпочтительнее второго, второй предпочтительнее третьего, но в то же время третий объект оказывается предпочтительнее первого, т.е. возникает очевидное противоречие.

В реальной практике такие противоречия (конечно, более длинных цепочках сравнения) случаются не так уж редко. Естественно, чем меньше противоречий в оценках эксперта, тем более обоснована его компетентность.

Апостериорный метод предполагает также оценку достоверности суждений эксперта. В качестве критерия, позволяющего оценить такую достоверность, используется коэффициент достоверности — относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям.

При использовании данного метода рассчитывают также среднее значение коэффициента достоверности экспертной комиссии и сравнивают с ним индивидуальные коэффициенты экспертов.

Еще одним методом апостериорной оценки являете метод отклонения от результирующей групповой оценки. Этот метод основан на расчете коэффициента отклонения К_о.

К_0i = Doi/ Dmax

где

К_0i — коэффициент отклонения суждений i-го эксперта

D_oi — отклонение индивидуальной оценки i-го эксперта от результирующей оценки;

Dmах — максимально возможное отклонение оценки эксперта от результирующей оценки.

Тестовые методы оценки качеств эксперта. Их суть — выполнение испытуемым экспертом некоторого заранее подготовленного задания. Эти методы достаточно хоро­шо известны, широко используются для определения профессиональной пригодности специалистов в различ­ных областях деятельности. Достоинство этих способов состоит в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для продуктивного участия в работе экспертной комиссии.

Необходимо, однако, помнить, что проведение тес­товых экспериментов требует соблюдения следующих важных правил:

тест должен быть разработан специально под конкретные объекты экспертной оценки;

истинные значения оцениваемых параметров (пра­вильные ответы) должны быть известны аналитической группе, проводящей испытание, но не известны испытуемому эксперту;

должна быть разработана шкала для определения точности оценок, даваемых экспертом;

вероятность случайного угадывания истинной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта, как воспроизводимость экспертных оценок. Для этого прово­дят несколько тестовых экспериментов, приближенных к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для то­го, чтобы испытуемый успел забыть результаты преды­дущего. После чего сравнивают между собой получен­ные оценки.

Более стабильные (воспроизводимые) оценки экспер­та свидетельствуют как о большей его профессиональной компетентности, так и о большей пригодности для участия в экспертной комиссии.

3. Обработка результатов и оценка согласованности мнений экспертов

 

После проведения опроса группы экспертов осуществляется об­работка результатов. Целью обработки является получение обоб­щенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

В связи с тем, что мнения экспертов при ранжировании объек­тов по решаемой проблеме обычно расходятся и, бывает, довольно значительно, возникает необходимость количе­ственной оценки степени их согласия. Получение количественной оценки согласованности мнений экспертов позволяет более обо­снованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованности мне­ний экспертов: дисперсионный и энтропийный коэффициенты конкордации.

Дисперсия – это характеристика случайной величины, обозначаемая через D[x]. Она определяется по формуле:

M – математическое ожидание

– квадрат отклонения случайной величины от своего среднего значения

a – среднее значение случайной величины, точнее её математического ожидания

p – вероятность значения

Это формула для определения дисперсии для дискретной случайной величины. Для непрерывной случайной величины используется следующая формула:

f (x) – плотность вероятности случайной величины

 

 

Рис. 8 - Закон распределения Гаусса

 

Дисперсия показывает, насколько отклоняется («рассеивается») случайная величина от своего среднего значения.

Дисперсионный коэффициент конкордации (Wд) определяется как отношение оценки дисперсии (D) к максимальному значе­нию этой оценки (D_max): Wд = D/Dmax

Энтропия – это характеристика степени неопределенности случайной величины. Она определяется по формуле:

p – вероятность случайной величины

ln – знак натурального логарифма

если p =1, то – это 100% результат, никаких неопределенностей нет.

Если p =1,

p =1,

p =1,

Отсюда следует, что если выше вероятность состояния, тем меньше энтропия и, наоборот, чем меньше вероятное состояние, тем больше энтропия.

Энтропийный коэффициент конкордации или коэффициент со­гласия(Wэ) определяется по формуле:

Wэ = 1 – S/Smax

где S_max - максимальное значение энтропии; S – энтропия.

Для вычисления энтропии одномерной случайной величины Х используется формула:

закон распределения задан следующей таблицей:

X				…
P				…

 

 

В случае двумерной случайной величины энтропия вычисляется по формуле:

n =1

n =2 n =3

 

Таблица 4 - Пример ранжирования объектов экспертами

Объекты – m Эксперты – n	О 1	О 2	О 3	О 4

где – сумма сумм; вероятность 0< p <1.

где p_ij - оценка вероятности j-го ранга, присвоенного i-му объек­ту; n - число объектов; m - число экспертов. Коэффициент согла­сия изменяется от нуля до единицы. При Wэ = 0 расположение объектов по рангам равновероятно, поскольку в этом случае S = S Данный случай может быть обусловлен либо невозможнос­тью ранжировки объектов по сформулированной совокупности по­казателей, либо полной несогласованностью мнений экспертов.

Сравнительные оценки величин дисперсионного и энтро­пийного коэффициентов, изменяющихся от 0 до 1, дают при­мерно одинаковую степень согласованности мнений экспертов при близких ранжировках. Однако если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные, то диспер­сионный коэффициент конкордации будет равен нулю, а энт­ропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделения мнений на две противополож­ные группы.

Основными причинами, снижающими точность экспертных оценок, являются:

Использование некомпетентных экспертов из-за недостаточ­но серьезного отношения к проведению экспертизы; нечеткого понимания целей, характера объекта экспертиз и неполной инфор­мации о нем; наличия ограниченной информации об экспертах и областях их профессиональных знаний и опыта; отсутствия орга­низованных механизмов, обеспечивающих возможность привлечения высококвалифицированных специалистов.

Недостаточная подготовленность экспертизы. Имеют место некачественная формулировка целей экспертизы, низкий органи­зационный уровень ее подготовки и проведения, отсутствие необ­ходимой квалификации рабочей группы, проводящей экспертизу.

Несовершенство используемых технологий.

Недостатки используемых методов обработки экспертной информации. При анализе результатов экспертизы следует обращать внимание на степень согласованность экспертных оценок, получаемых при ее проведении. Согласованность мнений комиссии может отражать тот факт, что либо к проведению экспертизы относились формально, не при­давая особого внимания ее результатам, либо эксперты при выне­сении заключений и оценок проявили высокую степень конфор­мизма. С другой стороны, несогласованность экспертных сужде­ний может означать разное понимание экспертами цели эксперти­зы, а также участие в работе комиссии экспертов с противополож­ными интересами. Анализ согласованности экспертных суждений необходим, так как выявление по результатам оценок коалиций экспертов- «единомышленников» позволяет иногда сделать важные выводы, вскрыть причины несогласованности, повысить надежность оце­нок. К типичным ошибкам экспертных оценок относятся также: преувеличение возможностей экспертных оценок; излишнее увле­чение количественными оценками; конформизм экспертов; некор­ректная интерпретация результатов.

 

Контрольные вопросы и задания

1. В каких случаях используются экспертные технологии в процессе принятия управленческих решений?

2. С помощью, каких методов группового опроса осуществляется процедура организации и проведение экспертизы?

3. Охарактеризуйте группы (способы) оценки качеств эксперта.

4. Каким образом происходит оценка согласованности мнений экспертов?

5. Какие существуют причины, снижающие точность экспертных оценок?