Цель работы
В своей практической деятельности мы постоянно сталкиваемся с необходимостью принимать решения, заглядывая в будущее, т.е. прогнозируя. Прогнозирование стало обыденным делом, как в малом, так и в большом. Точность прогноза - это самая важная характеристика процесса прогнозирования. Те явления и процессы, которые имеют устойчивую предысторию, прогнозируются с большей точностью, а те процессы, которые страдают сильной изменчивостью во времени и пространстве предсказываются труднее.
Существуют разные методы повышения достоверности прогнозирования и один из них - метод экспертных оценок. Первые работы в данной области стали широко известны с 40-х годов нашего века, и особо следует отметить публикацию сотрудников РЭНД Корпорэйшн (США) Д.Гордона и О.Хелмера, которые исследовали метод экспертных оценок, получивший название "Дельфы". Этот метод довольно широко использовался для прогнозирования социальных и научных проблем, как в США, так и в других странах. Основная идея этого метода состоит в многоэтапности экспертной процедуры [1,2].
В условиях переходной экономики метод экспертных оценок для целей прогнозирования становится доминирующим.
В задачи данной работы входит:
1) постановка задачи;
2) формирование группы экспертов;
3) проведение экспертизы;
4) обработка результатов экспертизы.
Теоретические основы метода экспертных оценок
1.2.1 Групповые экспертные оценки.
Достоверное решение задач прогнозирования и оценки качества под силу только квалифицированному специалисту. Увеличение достоверности достигается привлечением группы специалистов, называемых экспертной группой. Для уменьшения субъективных факторов в оценке будущего разработаны специальные методы по организации и проведению экспертизы, обработки и принятия решения.
|
|
Экспертные методы используются:
1) в случае невозможности формализации задачи;
2) в условиях отсутствия представительной и достоверной статистики;
3) в случае большой неопределенности условий принятия решений, например, рыночной среде;
4) в случае, когда ощущается дефицит времени и средств, для привлечения других методов;
5) отсутствия необходимого технического обеспечения, например, вычислительной техники;
6) в экстремальных случаях.
В данной методической работе рассматривается методика использования экспертных оценок для задач первого класса.
1.2.2 Формирование группы экспертов.
Качество экспертизы оценивается достоверностью и затратами на ее проведение. Достоверность может быть определена только на основе практического внедрения результатов экспертизы. Затраты зависят от числа привлекаемых экспертов. С одной стороны, чем больше экспертов, тем точнее результат, но при этом увеличиваются расходы на экспертизу и растут организационные проблемы. Рекомендуется выбирать число экспертов в пределах 6-10 человек [2]. Качественный состав группы экспертов определяется компетентностью, креативностью, конформизмом, аналитичностью и широтой мышления, коллективизмом, самокритичностью, личной заинтересованностью в результатах экспертизы [3].
Компетентность - это степень квалификации эксперта в определенной области. Наиболее часто компетентность эксперта оценивается путем взаимной оценки самих экспертов.
|
|
Креативность - это способность решать творческие задачи, которая оценивается только по результатам прошлой деятельности эксперта.
Конформизм - подверженность влиянию авторитетов. Особенно заметно он проявляется в процессе открытых дискуссий.
Аналитичность и широта мышления - это способность выхода за рамки сложившихся представлений.
Самокритичность - проявляется при самооценке своей компетентности.
Организацией всего комплекса мероприятий по проведению экспертизы, в том числе и подбор экспертов, возлагается на группу управления. Процедура подбора экспертов включает три этапа: определение количества экспертов; определение состава группы; получение согласия экспертов на участие в экспертизе.
Подвергая содержательному анализу решаемую проблему, первоначально определяют перечень областей знаний, по которым необходимо привлечь экспертов. Для каждой области знаний определяется минимальное и максимальное количество экспертов с целью обеспечения необходимой достоверности экспертизы и минимально-возможными затратами.
После этого этапа составляется предварительный список экспертов с учетом географии их местонахождения.
Третьим этапом направляются письма экспертам с изложением цели и задач экспертизы.
1.2.3 Опрос экспертов.
В экспертизе возможны следующие виды опроса: анкетирование, дискуссия, интервьюирование, метод мозгового штурма.
Анкетирование состоит в передаче экспертам анкет в очной или заочной форме. В анкете эксперту предлагается оценить в баллах оцениваемые варианты, как правило, в табличной форме или проранжировать эти варианты. К анкетам-вопросникам необходимо приложить пояснения.
|
|
Интервью проводится в форме беседы вопрос-ответ. Достоинством интервью является живой контакт, а недостатком - влияние на интервьюируемого и отсутствие достаточного времени на подготовку ответа.
Дискуссия проводится для решения задач имеющих качественную оценку. Результат дискуссии в значительной мере зависит от уровня компетенции самого ведущего в исследуемой проблеме.
Мозговой штурм нацелен на генерирование новых идей и оценку предложенных идей. Главным требованием мозгового штурма является недопустимость любой критики предложенных идей.
1.2.4 Обработка экспертных оценок.
В результате проведения опроса, группа управления экспертизой располагает следующей информацией: оценки в баллах, проставленные экспертами по каждому варианту; взаимооценки компетентности экспертов в баллах, причем, чем выше балл, тем выше ранг оценки и соответственно компетентность эксперта. Количество экспертов в группе в общем случае обозначим буквой m, а количество оцениваемых вариантов обозначим n. Варианты подлежащие оцениванию, обозначим как В1,В2,…..Вn. Оценку в баллах i-м экспертом j-го варианта в общем случае будем обозначать Xij, где i номер эксперта, а j номер варианта. Оценки в баллах всех вариантов сведем в таблицу 1.
Таблица 1 Оценки вариантов в баллах
| Номер эксперта | Вариант 1 В1 | Вариант 2 В2 | …. | Вариант n Вn | Сумма баллов |
| Х11 | Х12 | ……….. | Х1n | S1 | |
| Х21 | Х22 | ……….. | Х2n | S2 | |
| …. | . | ….. | ….. | …. | |
| m | Хm1 | Хm2 | ….. | Хmn | Sm |
В таблице 1 Хij-оценка в баллах i-м экспертом j-го варианта. Когда количество вариантов меньше десяти, то можно использовать привычную для нас десятибалльную систему, в противном случае можно использовать любую другую, например, 20-ти бальную. Перед экспертами можно заранее поставить условие, чтобы оценки были для каждого варианта уникальны, т.е. не повторялись.
Чтобы учесть уровень компетентности эксперта, проводят их взаимное оценивание, для чего каждому эксперту предлагается анкета с фамилиями экспертов, в которой он выставляет балл компетентности, но каждому эксперту. В таблице 2 приведены взаимные оценки компетентности экспертов, включая самого себя.
Таблица 2 Взаимооценки компетентности экспертов в баллах
| Номер эксперта | Номер эксперта | |||
| ……………… | м | |||
| Y11 | Y12 | Y1m | ||
| ………. | … | …………. | ……. | |
| m | Ym1 | Ym2 | ……… | Ymm |
| Среднеарифмети-ческое (Кi) | К1 | К2 | ……. | Кm |
В таблице 2 Yij-оценка в баллах i - м экспертом компетентность j - го эксперта.
В задачи статистической обработки входят:
- вычисление средних оценок компетентности экспертов в таблице 2 коэффициенты Кi являются средними оценками компетентности экспертов;
- проверка согласованности оценок экспертов;
- вычисление коллективной оценки варианта ("веса") без учета компетентности экспертов;
- вычисление коллективной оценки ("веса") варианта с учетом компетентности экспертов.
1.2.5 Проверка согласованности оценок экспертов.
Групповая экспертная оценка может считаться достоверной, если ответы экспертов согласованы. Существуют два способа проверки согласованности [3]:
- с помощью коэффициента ранговой корреляции Спирмена;
- с помощью коэффициента конкордации Кендэла.
Рассмотрим первый способ.
Значение коэффициента ранговой корреляции Спирмена находится в диапазоне
-1< r < +1.
Прежде чем приступать к его вычислению, необходимо таблицу бальных оценок (таблица 1) перевести в ранги. При переводе следуют правилу - присваивать максимальной оценке в баллах в строке оценок каждого эксперта максимальный ранг. Чем выше ранг, тем ниже его численное значение. Значит самый максимальный ранг это 1,затем следует 2,3,4 и т.д. В общем виде таблица рангов будет иметь следующей вид.
Таблица 3 Ранговые оценки вариантов
| Номер эксперта | Номер варианта | Сумма рангов | |||
| В1 | В2 | ……………….. | Вn | ||
| Z11 | Z12 | … | Z1т | S1 | |
| Z21 | Z22 | …………….. | Z2т | S2 | |
| ….. | ……. | ……. | …………. | . | …….. |
| m | Zm1 | Zm2 | ………………… | Zmn | Sm |
В таблице 3 Zij-ранг оценки i-м экспертом j-го варианта, а Si-сумма рангов i-й строки.
1) Вычисляем квадраты отклонений в ранговых оценках первого и второго экспертов по всем оцениваемым вариантам
dj=(Z1j-Z2j)2
Находим сумму квадратов отклонений
Sвыб = ∑dj2 = 
2) Коэффициент корреляции Спирмена вычисленный по опытным данным таблицы 2.2 находится по формуле
, (1)
где n- число вариантов;
Sвыб - фактическая сумма квадратов;
Sмакс - максимально-возможное значение суммы
квадратов отклонений.
Максимально возможное отклонение в оценках двух экспертов было бы в том случае, если ранги у двух экспертов были бы взаимно противоположны (у одного нарастали, а у другого убывали).
Так как вычисленное значение коэффициента корреляции является случайной величиной, то возникает необходимость проверки его на значимость по критерию Стьюдента [3] при уровне значимости a и числе степеней свободы К = n-2.Уровень значимости чаще всего на практике принимают равным 0.05. При известных a и К из таблицы критерия Стьюдента [3] находят критическую точку t (a,К) и вычисляют нижнюю границу rкрит по формуле
rкрит = t (a,К) 
(2)
Если rвыб <= rкрит, то гипотеза о ранговой корреляционной связи не значима.
Вычисляя коэффициенты корреляции для всех по парных сочетаний экспертов (1,2;1,3;1,4………1,m, затем 2,3;2,4;…..2,m и т.д.) строят корреляционную матрицу ранговых связей, из которой будет видно, насколько совпадают мнения экспертов. После этого анонимно знакомят экспертов с результатами экспертизы и те эксперты, у которых мнения выделяются, т.е. не совпадают с остальными, могут изменить свои оценки во втором туре экспертизы.
Для окончательного подведения итогов экспертизы необходимо вычислить коллективное мнение экспертов с учетом их компетентности или без учета.
Коллективное мнение экспертов без учета компетентности вычисляется по формуле
А1 = 
(3)
Коллективное мнение экспертов с учетом их компетентности вычисляется из следующего выражения:
А2= 
(4)
Практический пример
1.3.1 Постановка задачи.
С помощью вышеприведённой методики оценим перспективность некоторых видов бизнес-проектов.
Оцениваются следующие виды бизнеса:
1) торговля хозяйственными товарами- (В1);
2) торговля промышленными товарами - (В2);
3) поставка строительных материалов - (В3);
4) сборка и продажа компьютерной техники - (В4);
5) разработка и поставка программных продуктов - (В5);
6) продажа продуктов питания- (В6);
7) утилизация бытовых отходов - (В7).
1.3.2 Проведение экспертизы.
Первым этапом экспертизы необходимо оценить компетентность экспертов. Это можно реализовать путем их взаимной оценки. Данные взаимооценки приводятся в таблице 4.
По данным таблицы мы видим, что наиболее компетентным является пятый эксперт, далее - шестой, второй, первый, третий и четвёртый.
Таблица 4 Взаимная групповая оценка компетентности шести экспертов
| Эксперты | Номер оцениваемого эксперта | |||||
| Первый эксперт | ||||||
| Второй эксперт | ||||||
| Третий эксперт | ||||||
| Четвёртый эксперт | ||||||
| Пятый эксперт | ||||||
| Шестой эксперт | ||||||
| Среднее арифметическое | 2,7 | 4,7 | 2,1 | 1,7 | 5,3 | 5,1 |
Далее производим оценку значимости вариантов для каждого вида планирования по десятибалльной системе. Результаты приводятся в таблице 5. Переводим оценки, выданные в баллах, в ранги, при этом ранг 1 присваивается варианту, получившему наибольший балл. Результаты расчётов приводятся в таблице 6.
Таблица 5 Матрица значимости вариантов в десятибалльной системе
| Номер эксперта | Варианты (или разделы бизнес-плана) | Сумма баллов | ||||||
| В1 | В2 | В3 | В4 | В5 | В6 | В7 | ||
Следующим этапом проведем проверку согласованности показаний двух экспертов с помощью коэффициента ранговой корреляции Спирмена. Проверку согласованности покажем на примере показаний первых двух экспертов, оценки которых приведены в таблице 6.
Вычисляем сумму квадратов отклонений ранговых оценок 1-го и 2-го экспертов.
Sвыб1,2 =S (Z1j-Z2j)2 = (5-7)2+(3-1)2+(6-4)2+(2-6)2+(4-2)2+(7-5)2+(1-3)2=40
j=1
Таблица 6 Перевод оценок вариантов из десятибалльной системы в систему, выраженную в рангах
| Номер эксперта | Разделы бизнес-плана | Cумма рангов | |||||||||||||||||||
| В1 | В2 | В3 | В4 | В5 | В6 | В7 | |||||||||||||||
Вычисляем опытное (выборочное) значение коэффициента ранговой корреляции Спирмена по формуле (1)
rвыб1,2=1-6*Sфакт/(n3-n)=1-6*40/336=1-0.71=0.29
В таком порядке попарно сравнивается согласованность показаний двух экспертов: первого со вторым, первого с третьим, первого с четвертым, пятым и шестым, затем, второго с третьим и второго с четвертым и т.д. Вычисленные коэффициенты корреляции Спирмена согласованности оценок всех экспертов представлены в таблице 7.Из таблицы 7 видно, что коэффициент ранговой корреляции Спирмена третьего и четвертого экспертов в большинстве имеют отрицательное значение, т.е. эти эксперт имеет противоположное мнение по отношению к остальной группе. Необходимо анонимно ознакомить третьего и четвертого экспертов с результатами первого тура опроса и приступить ко второму туру.
В случае необходимости можно оценить и значимость коэффициентов корреляции по методике, которая изложена во втором разделе.
Теперь определяем коллективное мнение или «вес» вариантов без учёта компетентности экспертов по формуле 3. При этом, в числителе формулы (3) суммируются не абсолютные оценки в баллах из таблицы 5,а относительные оценки, которые находятся путем деления десятибалльной абсолютной оценки таблицы 5 на сумму всех оценок в соответствующей строке данной таблицы.
Таблица 7 Матрица коэффициентов ранговой корреляции Спирмена
| Номер эксперта | Номер эксперта | |||||
| 0.43 | 0.82 | -0.53 | 0.75 | 0.7 | ||
| 0.42 | -.018 | -0.14 | 0.57 | -0.21 | ||
| -0.82 | -0.18 | 0.28 | -0.28 | -.43 | ||
| -0.53 | -0.14 | 0.28 | -0.53 | -0.42 | ||
| 0.75 | 0.57 | -0.28 | -0.53 | 0.43 | ||
| 0.7 | -0.21 | -0.43 | -0.42 | 0.43 |
В качестве примера покажем процедуру вычисления «веса» первого варианта
4/34 + 1/29+3/35 + 2/35 + 3/35 +7/43
А1 = —————————————————— = 0,09
Аналогично вычисляются остальные относительные «веса» вариантов.
Коллективное мнение или «вес» j-того варианта, вычисленный с учётом компетентности экспертов, определяется по формуле 4.
2,7*4/34 + 4,7*1/29 + 2,1*5/35 + 1,7*2/35 + 5,3*3/35 + 5,1*7/43
А2 = –––––––––––––––––––––––––––––––––––––––––---–––––––– = 0,1
2,7 + 4,7 + 2,1 + 1,7 + 5,3 +5,1
Полностью результаты расчётов приводятся в сводной таблице 8.
Таблица 8 Относительные оценки значимости семи вариантов
| Номер эксперта | "Вес" эксперта | Варианты | ||||||||||||||||
| В1 | В2 | В3 | В4 | В5 | В6 | В7 | ||||||||||||
| 2,7 | 4/34 | 6/34 | 2/34 | 7/34 | 5/34 | 1/34 | 9/34 | |||||||||||
| 4,7 | 1/29 | 8/29 | 4/29 | 2/29 | 6/29 | 3/29 | 5/29 | |||||||||||
| 2,1 | 5/35 | 4/35 | 3/35 | 6/35 | 7/35 | 1/35 | 8/35 | |||||||||||
| 1,7 | 2/35 | 3/35 | 5/35 | 8/35 | 4/35 | 6/35 | 7/35 | |||||||||||
| 5,3 | 3/35 | 7/35 | 8/35 | 1/35 | 10/35 | 3/35 | 2/35 | |||||||||||
| 5,1 | 7/43 | 5/43 | 6/43 | 4/43 | 8/43 | 10/43 | 3/43 | |||||||||||
| «Вес» j-того варианта без учёта компетентности | 0,1 | 0,161 | 0,132 | 0,133 | 0,19 | 0,118 | 0,165 | |||||||||||
| Номер эксперта | "Вес" эксперта | Варианты | ||||||||||||||||
| "Вес" j-того варианта, с учётом компетентности | 0,1 | 0,187 | 0,146 | 0,104 | 0,205 | 0,121 | 0,139 | |||||||||||
| Ранжированный ряд | ||||||||||||||||||
Как видно из табл.8, учёт компетентности экспертов обусловил некоторое перераспределение «весов» отдельных вариантов.
Из результатов экспертизы видно, что первый ранг присвоен варианту В1- разработка и поставка программных продуктов, второй ранг присвоен торговле промышленными товарами затем поставке строительных материалов и т.д.
В соответствии с полученными приоритетами развития бизнеса (рангами) можно планировать объемы расходов в бизнес-планах по каждому варианту.
Варианты заданий
Варианты заданий выбираются из таблицы 9 по номеру последних цифр зачетной книжки студента и регистрируются у преподавателя.
Таблица 9 Варианты заданий к контрольным и самостоятельным работам
| Номер последней цифры в зачетной книжке | Количество экспертов | Количество вариантов |
В соответствии с количеством вариантов по заданию необходимо выбрать вид деятельности, в которой студент использует экспертные оценки и конкретное название вариантов.
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Китаев Н.Н. Групповые экспертные оценки. - М.: Знание,1975.- 321 с.
2. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. - М.: Экономика,1978. – 230 с.
3. Морозова О.В., Романова Е.В., Корнев В.А. Моделирование бизнес-процессов сложных организационно-технических систем: Монография: Морозова О.В., Романова Е.В., Корнев В.А. - М.: Изд-во МЭСИ,2015.-244 с.