Оценивание согласованности ранжировок
Экспертные ранжировки объектов могут совпадать или не совпадать. Согласованность (взаимосвязь) мнений группы экспертов при ранжировании объектов по степени выраженности некоторого свойства количественно характеризуется, например, дисперсионным коэффициентами конкордации. Применение количественной оценки согласованности ранжировок позволяет выявлять причины расхождения мнений экспертов.
Результаты ранжирования n объектов группой из m экспертов представляются в форме матрицы рангов 
размерностью m ´ n, где 
— ранг, присваиваемый экспертом i объекту j. Сумма рангов каждого объекта, вычисляемая по формуле
, (1)
является случайной величиной, рассеяние которой характеризуется выборочной дисперсией:
, (2)
где 
— среднее арифметическое сумм рангов:
. (3)
Дисперсионный коэффициент конкордации определяется как отношение дисперсии к максимальной дисперсии:
, (4)
где 
.
Увеличение коэффициента конкордации от 0 до 1 соответствует повышению согласованности мнений экспертов. Небольшое значение коэффициента конкордации свидетельствует о слабой согласованности мнений экспертов и является обычно следствием отсутствия общности мнений или наличия групп экспертов с согласованными мнениями внутри групп, но противоположными мнениями между группами.
Можно показать, что при отсутствии связанных рангов (отсутствии эквивалентных объектов) коэффициент конкордации вычисляется по формуле
, (5)
где S — сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов:
. (6)
Оценка истинного значения коэффициента конкордации при наличии связанных рангов (наличии эквивалентных объектов) вычисляется по формуле
, (7)
где Ti — показатель равных (связанных) рангов оценок:
, (8)
где Hi — число групп равных рангов объектов в ранжировке эксперта i; hk — число равных рангов в группе k. Если совпадающих рангов нет, то Hi =0, hk =0 и, следовательно, Ti =0, то формулы (5) и (7) совпадают.
Ранжирование объектов выполняется, например, по результатам экспертного оценивания объектов в баллах (таблица 1). Оценки каждого эксперта ранжируются по убыванию и обозначаются числами натурального ряда 1, 2, 3,…, n таким образом, что число 1 присваивается максимальной оценке, а число n — минимальной. Если среди объектов есть эквивалентные, то им назначаются одинаковые ранги, равные среднему арифметическому соответствующих чисел натурального ряда.
Таблица 1 — Пример ранжирования объектов
| Эксперты, m = | Оценки | Объекты, n =10 | Hi | 
| |||||||||
| Оценки и ранги объектов | |||||||||||||
| Баллы | 4 | 4 | 3 | 1 | 2 | 4 | 4 | 5 | 2 | 2 | |||
| Числа | 2 | 3 | 6 | 10 | 7 | 4 | 5 | 1 | 8 | 9 | |||
| Ранги | 3,5 | 3,5 | 6 | 10 | 8 | 3,5 | 3,5 | 1 | 8 | 8 | 2 | 84 | |
| Баллы | |||||||||||||
| Числа | |||||||||||||
| Ранги | |||||||||||||
| ∙∙∙ | ∙∙∙ | ∙∙∙ | ∙∙∙ | ∙∙∙ | ∙∙∙ | ∙∙∙ | ∙∙∙ | ∙∙∙ | ∙∙∙ | ∙∙∙ | ∙∙∙ | ∙∙∙ | ∙∙∙ |
| m | Баллы | ||||||||||||
| Числа | |||||||||||||
| Ранги | |||||||||||||
Сумма рангов, 
|  =
| ||||||||||||
| |||||||||||||
| |||||||||||||
| |||||||||||||
| |||||||||||||
|
Ранги каждого объекта суммируются, вычисляется среднее арифметическое сумм рангов всех объектов, отклонение 
и квадрат отклонения 
суммы рангов каждого объекта от среднего арифметического сумм рангов всех объектов. Вычисляется число групп равных рангов каждого объекта Hi и показатель равных рангов по формуле (8).
Например, в ранжировке первого эксперта имеется 2 группы равных рангов (H 1=2). В группе рангов 3,5 содержится 4 равных ранга (h 1=4), а в группе рангов 8 содержится 3 равных ранга (h 2=3). Показатель равных рангов составляет 
=60+24=84. Вычисляется коэффициент конкордации (таблица 2).
Таблица 2 — Пример вычисления коэффициента конкордации ранжировок со связанными рангами
| Эксперты, m =5 | Объекты, n =6 | Результаты расчётов | |||||||
| Hi |
| ||||||||
| Ранги объектов | |||||||||
| 2,5 | 2,5 | ||||||||
| 1,5 | 1,5 | 4,5 | 4,5 | ||||||
| 2,5 | 2,5 | 4,5 | 4,5 | ||||||
| 5,5 | 5,5 | ||||||||
| Результаты расчётов |  =60
| ||||||||
| 7,5 | 9,5 | 23,5 | 29,5 | |||||
|
| 17,5 | ||||||||
|
| -10 | -8 | 4,5 | 4,5 | |||||
|
| 20,25 | 20,25 | |||||||
|
| 384,5 | ||||||||
|
|  =  =0,932
|
Задание
Вычислить в Excel коэффициент конкордации при экспертном ранжировании пропорций на лабораторном занятии № 3. Исходные данные (ранжировки) создавать в текстовом формате и импортировать в Excel. Сделать выводы о согласованности мнений экспертов и возможности её улучшения.
Содержание отчёта
Отчёт в электронном виде должен содержать титульный лист, исходные ранжировки в текстовом формате, программу импортирования в Excel, результаты вычислений коэффициента конкордации в Excel, выводы о согласованности мнений экспертов.
Профессор В. П. Фандеев