Методы коллективных экспертных оценок основаны на принципах коллективного мнения экспертов о перспективах развития объекта прогнозирования

Содержание

 

1. Характеристика экспертных процедур

2. Этапы проведения экспертизы, их содержание

3. Экспертная оценка уровня странового риска. Индекс БЕРИ

Характеристика экспертных процедур

 

В теме 5 были рассмотрены наиболее применяемые в практической деятельности общие методы оценки риска, позволяющие количественно оценить риск некоторого управленческого решения любой сферы деятельности предпринимателей. Вместе с тем существуют ситуации, когда по различным причинам, в основном в связи с отсутствием достоверной информации, использование подобных методов не представляется возможным. В таких случаях широко применяются методы, использующие результаты опыта и интуиции, то есть эвристические методы, или методы экспертных оценок.

Особенностью эвристических методов и моделей является отсутствие строгих математических доказательств оптимальности получаемых решений. Общей направленностью этих процедур является использование человека как «измерительного прибора» для получения количественных оценок процессов и суждений, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению.

Наиболее часто эвристические методы используются при разработке каких-либо новых направлений, новых концепций развития, а также, политических, социальных, экономических, макроэкономических прогнозах. Одной из сфер применения этих методов является качественный анализ и количественная оценка экономического риска. В основе применения этих методов лежит гипотеза о наличии у экспертов умения с достаточной степенью достоверности оценить важность и значение исследуемой проблемы перспективность развития определенного направления исследований, время свершения того или иного события, целесообразность выбора одного из альтернативных путей развития объекта прогноза и т. д.

Применяемые в прогнозировании методы экспертных оценок разделяют на индивидуальные и коллективные.

Методы индивидуальных оценок предполагают использование мнения, знания и интуиции одного специалиста—эксперта

Основными целями использования индивидуальных экспертных оценок являются:

- прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем. Применительно к анализу и оценке риска — это выявление источников и причин риска, прогнозирование действий конкурентов, установление всех возможных рисков, оценка вероятности наступления рисковых событий, назначение коэффициента относительной важности (значимости) последствия и ранжирование рисков, выявление путей снижения риска и многое другое;

- анализ и обобщение результатов, представленных другими экспертами;

- составление сценариев действий;

- выдача заключений на работу других специалистов и организаций (рецензии, отзывы, экспертизы и т. п.).

Достоинством индивидуальной экспертизы является оперативность получения информации для принятия решений и относительно небольшие затраты. В качестве недостатка следует выделить высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок.

Методы коллективных экспертных оценок основаны на принципах коллективного мнения экспертов о перспективах развития объекта прогнозирования

Они снижают недостатки методов индивидуальной экспертизы и решения, принятые на их основе, связаны с большей вероятностью осуществления.

Выделяют три типа групповых процедур:

- открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;

- свободное высказывание без обсуждения и голосования;

- закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса.

Первый тип групповых процедур хотя и используется в практике проведения экспертизы, но не всегда обеспечивает ее эффективность, то есть получение достоверных оценок. Это связано прежде всего с тем, что заключение группы экспертов находится под сильным влиянием авторитарных и «напористых» участников экспертизы. В результате этого группе может быть навязано мнение одного эксперта.

Второй тип данных процедур предусматривает отсутствие любой критики, препятствующей формулировке идей, а также свободную интерпретацию идей в рамках поставленной проблемы. Такой метод обсуждения получил название метода коллективной генерации идей или, по американской терминологии, — метода «мозговой атаки».

Метод «мозговой атаки» ориентирован на открытие новых идей и достижение согласия в группе экспертов на основе интуитивного мышления. Участники коллективной генерации идей высказывают свои мнения относительно вариантов решения проблемы. Высказывается как можно больше идей, желательно нетривиальных. Оценка и обсуждение идей производится в конце всей процедуры. Суть метода «мозговой атаки» можно представить в виде схемы (рис. 6.1)

С помощью этого метода можно успешно решать ряд задач по управлению риском, а именно:

- выявление источников и причин риска, установление всех возможных видов рисков;

- выбор направлений и путей снижения риска;

- формирование полного набора и качественной оценки вариантов, в которых используются различные способы снижения риска или их комбинации и др.

К недостаткам использования данного метода относится значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.

Третий тип экспертных процедур позволяет в значительной мере. Устранить указанные недостатки первого и второго типов групповых оценок. Примером методов данного типа экспертизы служит метод «Дельфи», название которого произошло от греческих дельфийских оракулов.

Метод «Дельфи» состоит в проведении опроса экспертов в несколько туров, что позволяет использовать обратную связь путем ознакомления экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов. Поэтапный опрос продолжают до тех пор, пока не достигается максимальное сближение точек зрения. Суть метода «Дельфи» можно представить в виде схемы (рис. 6.2)

Метод «Дельфи» наиболее целесообразен при количественных оценках отдельных рисков и риска всего проекта в целом, то есть при определении вероятности наступления рисковых событий, оценке величины потерь, вероятности попадания потерь в определенную зону риска и т. п.

Одним из широко используемых методов экспертизы также является метод «сценариев». Метод «сценариев» позволяет упорядочить информацию о взаимосвязи решаемой проблемы с другими проблемами и о возможных путях развития. Суть метода состоит в том, что группа высококвалифицированных специалистов составляет план сценаристов котором намечает отрасли науки, техники, экономики, политики, которые должны быть учтены при формулировании и решении проблемы. Разные разделы сценария пишут разные группы специалистов или отдельные специалисты. В этих разделах сценария стараются отобразить возможный ход во времени, начиная с существующего состояния или некоторого события в будущем.

Рис. 1. Структура метода «мозговой атака»

2. Этапы проведения экспертизы, их содержание

 

Общая схема экспертных опросов включает в себя следующие этапы:

- формирование целей и вопросов экспертизы;

- формирование правил проведения опроса или характера взаимоотношения экспертов;

- формирование группы экспертов;

- выбор способа оценки степени компетентности экспертов;

- формирование правил обработки мнений экспертов;

- вычисление экспертных обобщенных оценок и определение степени согласованности экспертов;

Рассмотрим некоторые из этих этапов подробней.

Рис.2. Этапы метода «Дельфи»

Большое значение имеет четкое определение целей (цели) экспертизы. Наличие четко сформулированных задач и ясно понятых потребностей является обязательным условием обеспечения надежного результата экспертизы.

Выбор целей и характер процедуры экспертизы в значительной степени определяется существом проблемы, предполагаемыми конечными результатами и возможными способами их представления. Уровень принятия решений (государственный, отраслевой, предприятия) определяет широту диапазона, количество альтернатив и степень формализации процедуры. Кроме того, на выбор целей и процедуры экспертизы влияют надежность и полнота имеющихся данных, а также вид требуемой информации. поэтому при формулировании целей экспертизы прежде всего необходимо четко установить признак, по которому надлежит проводить оценку, а также условия использования экспертных оценок. если целей несколько, то оценки по разным шкалам нужно постараться свести к единой шкале, например, за счет установления цели более высокого уровня.

Структурно-организационный набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Хотя форма и содержание вопросов определяются спецификой объекта и прогнозирования, можно установить общие требования к ним:

- вопросы должны быть сформулированы в общепринятых терминах, без смысловой неопределенности;

- все вопросы должны логически соответствовать

объекта;

- вопросы должны обеспечивать единственное толкование По форме вопросы могут быть открытыми и закрытыми, прямыми и косвенными.

Существует три основные группы вопросов используемых при проведении коллективной экспертной оценки.

1. Вопросы, предполагающие ответы в виде количественной оценки: о времени, вероятности свершения события, об оценке относительного влияния факторов. При определении шкалы значений количественных характеристик целесообразно пользоваться неравномерной шкалой. Выбор конкретного масштаба неравномерности определяется характером зависимости ошибки прогноза от периода упреждения.

2. Вопросы, требующие содержательного ответа в свернутой форме: дизъюнктивные, конъюнктивные, импликативные.

3. Вопросы, требующие содержательного ответа в развернутой форме: в виде перечня сведений об объекте и аргументов, подтверждающих или опровергающих тезис, содержащийся в вопросе. Эти вопросы формируются в два этапа. На первом этапе экспертам предлагается сформулировать наиболее перспективные и наименее разработанные проблемы. На втором из названных проблем выбираются вопросы, принципиально разрешимые и имеющие непосредственное отношение к объекту исследования.

При формировании группы экспертов основным является определение ее качественного и количественного составов. Отбор экспертов начинается с определения вопросов, которые охватывают решение данной проблемы, а затем составляется список компетентных лиц, способных решить ее.

Для получения качественного результата экспертизы к, ее участникам предъявляется ряд требований, основными из которых являются:

- высокий уровень общей эрудиции;

- глубокие специальные знания в оцениваемой области;

- способность к адекватному отображению тенденции развития исследуемого объекта;

- наличие психологической установки на будущее; -чисто научный интерес к поставленному вопросу при отсутствии практической заинтересованности в этой области;

- наличие производственного и (или) исследовательского опыта рассматриваемой области.

Для того чтобы подобрать качественную группу экспертов, необходимо также оценить их компетентность.

Существуют несколько методов оценки компетентности экспертов:

- оценка компетентности организаторами с учетом участия эксперта в различных экспертизах;

- тестирование;

- метод самооценки;

- метод взаимной оценки компетентности экспертами.

Одним из методов оценки компетентности экспертов является их тестирование. Для этого разрабатывается специальный тест-анкета, отвечая на вопросы которого эксперт должен показать знание объекта исследования, аналитические способности. Следует отметить, что разработка тест-анкеты — сложная и трудоемкая процедура, поэтому этот метод оценки компетентности оправдан только в случаях привлечения для экспертизы большого (>30) числа экспертов.

В некоторых случаях можно предложить экспертам провести самооценку компетентности по некоторой шкале, например от 2 до 5. При самооценке эксперт определяет степень своей осведомленности в исследуемом вопросе также на основании анкеты. Обработка данных дает возможность получить количественную оценку компетентности потенциального эксперта по следующей формуле:

 

Где Vj — вес градации в баллах, подчеркнутой экспертом по j-той характеристике в анкете;

Vj max – максимальный вес в баллах (предел шкалы) j-той характеристики;

n — общее количество характеристик компетентности в

λ — вес ячейки, подчеркнутой экспертом в шкале самой! в баллах;

Р — предел шкалы самооценки эксперта в баллах.

 

В тех случаях, когда эксперты знакомы с деятельностью и знают уровень компетентности друг друга, можно использовать метод взаимной оценки компетентности. Для этого каждого і – эксперта (і =1,2,,m) просят оценить компетентность других экспертов l =1,2,..., m (l ≠ i) по некоторой шкале, например, от 1 дo 5. Взаимные оценки компетентности представляются в виде квадратной матрицы ||b_li||, столбцом i которой являются оценки, данные i-тым экспертом всем другим экспертам Диагональные элементы в ||b_li||, принимаются одинаковыми для всех и равными любому неотрицательному числу (обычно нулю). Вектор коэффициентов компетентности экспертов К={К¹\К²,....,К^m} определяется решением векторного уравнения

 

 

где Кi, — максимальное действительное собственное число матрицы ||b_li||. То есть решение является собственным вектором матрицы ||b_li||.

По данным взаимной оценки компетентности экспертов можно выявить конфронтацию между экспертами, коалиции экспертов. Конфронтация обязательно исказит действительную компетентность экспертов, и в этих случаях метод взаимной оцени компетентности использовать нецелесообразно.

Перечисленные методы оценки компетентности являются «внешними» по отношению к проводимой экспертизе, т. е. результат оценки компетентности К={К¹\К²,....,К^m} являются входной информацией для обработки результатов экспертного опроса в данной экспертизе.

Установить оптимальную численность группы экспертов довольно трудно. Однако разработан ряд формальных подходов к решению этой проблемы. Один из них основан на установлении максимальной и минимальной границ численности групп исходя и двух условий: высокой средней компетентности групп экспертов и стабилизации средней оценки прогнозируемой характеристике.

Первое условие используется для определения максимальной численности группы экспертов n_max:

 

 

где Ki — компетентность i-того эксперта;

С — константа;

K_max — максимально возможная компетентность по используемой шкале.

 

Это условие предполагает, что если имеется группа экспертов, компетентность которых максимальна, то среднее значение их оценок можно считать истинным. Для определения константы используется практика голосования, т. е. группа считается избранной, если за нее подано 2/3 голосов присутствующих. Исходя из этого, принимаем, что С =2/3. Таким образом, максимальная численность экспертной группы устанавливается на основании неравенства:

 

 

Далее определяется минимальная численность экспертной группы n_min посредством использования условия стабилизации средней оценки прогнозируемой характеристики, которое формулируется так: включение или исключение эксперта из группы незначительно влияет на среднюю оценку прогнозируемой величины:

 

 

где B— средняя оценка прогнозируемой величины (в баллах), данная экспертной группой;

B’ — средняя оценка (тоже в баллах), данная экспертной группой, из которой исключен (или в которую включен) один эксперт;

Bmax— максимально возможная оценка прогнозируемой величины в принятой балльной шкале оценок;

E— заданная средняя ошибка вследствие включения (исключения) эксперта.

 

Величина средней оценки наиболее чувствительна к оценке эксперта, обладающего наибольшей компетентностью и поставившего наибольший балл при В<В_max и минимальный при В >= Bmax/2. Поэтому для проверки выполнения условия предлагается исключить из группы одного эксперта.

Таким образом, по представленным формулам можно получить оценочные значения максимального и минимального числа экспертов в группе. Окончательная численность экспертной группы формируется на основании последовательного исключен малокомпетентных экспертов с учетом условия (К_мах-К)< η, η — заданная граница допустимого отклонения компетентное і-того эксперта от максимальной. Одновременно в группу мог включаться новые эксперты. Численность группы устанавливаться в пределах n_MIN<n<n_MAX.

Кроме рассмотренных процедур, в методах коллективных: экспертных оценок используется подробный статистический анализ экспертных заключений, в результате которого определяются качественные характеристики группы экспертов. В соответствии этими характеристиками в процессе проведения экспертизы качественный и количественный составы экспертной группы корректироваться.

При статистической обработке результатов экспертных нок в виде количественных анкетных данных определяются статистические оценки характеристик и их доверительные границы статистические оценки согласованности мнений экспертов пример, среднее значение прогнозируемой величины определяются по формуле:

 

 

где Bi — значение прогнозируемой величины, данное i-тым:

n — число экспертов в группе.

Кроме того, определяется дисперсия

 

и приближенное значение доверительного интервала

 

 

где t — параметр, определяемый по таблицам Стьюдента, данного уровня доверительной вероятности и числа степеней свободы K=n-2.

 

Доверительные границы для значения прогнозируемой величины вычисляются по формулам:

 

A_B =B+J — для верхней границы,

A_H =B-J — для нижней.

 

Коэффициент вариации оценок, данных экспертами

 

 

где – среднеквадратичное отклонение.

 

При обработке результатов экспертных оценок по относительной важности объектов (например, при определении рейтинга коммерческих банков) среднее значение, дисперсия и коэффициент вариации вычисляются для каждого оцениваемого объекта. Кроме того, вычисляется коэффициент конкордации, показывающий степень согласованности мнений экспертов по важности каждого из оцениваемых объектов, и коэффициенты парной ранговой корреляции, определяющие степень согласованности мнений экспертов.

Для этого производится ранжирование оценок важности, данных экспертами. Каждая оценка, данная i-тым экспертом, выражается числом натурального ряда таким образом, что 1 присваивается максимальной оценке, а n — минимальной. Если все оценки различны, то соответствующие числа натурального ряда есть ранги оценок i-того эксперта. Если среди оценок, данных i-тым экспертом, появляются одинаковые, то этим оценкам назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда.

Сумма рангов, назначенных экспертами объекту j=1,2,... m (m — число исследуемых объектов), определяется по формуле:

 

 

где Rij ранг оценки, данной i-тым экспертом j-тому объекту.