Определение согласованности мнений экспертов

Групповая оценка может считаться достаточно надежной лишь при условии хорошей согласованности ответов опрашиваемых спе­циалистов. Поэтому статистическая обработка информации, полу­ченной от экспертов, должна включать в себя оценку степени со­гласованности мнений.

Оценки, полученные от экспертов, могут рассматриваться как случайная переменная, распределение которой отражает мнения экспертов о вероятности того или иного исхода события (фактора). Поэтому для анализа разброса и согласованности оценок экспертов применяются обобщенные статистические характеристики — сред­ние и меры разброса (средняя квадратичная ошибка о, вариацион­ный размах min-max, коэффициент вариации У=ср.квадр.откл./ среднее арифм. в процентах и т. п.).

Для оценки меры сходства мнений каждой пары экспертов мо­гут быть использованы самые разные методы: коэффициенты ас­социации, с помощью которых учитывается число совпадающих и несовпадающих ответов, коэффициенты противоречивости мне­ний экспертов, коэффициенты ранговой корреляции Кендалла и Спирмена. Все эти меры можно использовать либо для сравнения

мнений двух экспертов, либо для анализа связи между рядами оце­нок по двум признакам.

Коэффициент парной корреляции рангов Спирмена:

В практике экспертных оценок, однако, часто приходится со­поставлять много признаков. В таких случаях попарное сравне­ние комбинации факторов может оказаться трудоемким, поэтому были разработаны специальные критерии, позволяющие относи­тельно просто оценить согласованность мнений всех экспертов по ряду факторов.

Согласованность мнений по п факторам оценивается с помощью коэффициента конкордации W, то есть общего коэффициента ранговой корреляции для группы, состоящей из ш экспертов.

Наиболее просто он вычисляется при строгом ранжировании:

Если оценки хотя бы у одного эксперта повторяются, коэффици­ент конкордации вычисляется по более сложной формуле:

Величина W меняется в пределах от 0 до 1. При W_k = О согласо­ванность экспертов отсутствует, и для получения достоверных дан­ных нужно либо изменить состав экспертной группы, либо иначе сформулировать вопросы в анкете, а затем повторить всю проце­дуру. Если W_k = 1 согласованность мнений экспертов полная (чего на практике не может быть), и это не свидетельствует об объектив­ности оценок.

Обычно принимается, что при W_k > 0.5 оценки согласованы в достаточной мере.

Рассмотрим это на примере, приведенном в табл. 10.8. Для рас­чета W сначала находится сумма оценок (рангов) по каждому фак­тору, полученная от всех экспертов, затем их средняя арифмети­ческая, отклонения суммарной оценки фактора от средней и сумма их квадратов.

Доказано, что величина S, когда все эксперты р оценки, имеет максимальное значение, равное

Согласованность мнений экспертов высока.

После этого можно определять нормированные ранги факторов, чтобы упорядочить их для выбора наиболее предпочтительных.

Для этого на основе оценок экспертов г_ц (i=l...m, j=l...n), где m — число параметров, an — количество экспертов, вычислим от­носительные ранги факторов:

и на основе их значений определяем наиболее предпочтительный вариант решения.