Лабораторная работа №1
Тема: Составление групповых оценок по методу непосредственной оценки
Цель работы:
- изучить условия применения метода непосредственной оценки;
- реализовать метод непосредственной оценки в среде MS Excel;
- разработать структуру программной системы для получения экспертных оценок с помощью различных методов;
- выполнить программную реализацию метода непосредственной оценки и проверить адекватность полученных результатов.
Порядок выполнения работы
1. Изучить теоретические сведения о сути метода непосредственной оценки.
2. Выбрать предметную область для выполнения работы.
3. Выполнить словесную формулировку задачи составления групповых оценок в выбранной предметной области.
4. В среде MS Excel сформировать таблицы исходных данных:
1). таблицу коэффициентов весов показателей объектов для каждого эксперта;
2). таблицу коэффициентов компетентности экспертов;
3). таблицы оценок объектов экспертами по каждому показателю.
5. Выполнить:
1). расчет средних значений коэффициентов весов показателей объектов;
2). расчет средних значений оценок объектов по каждому показателю;
3). расчет среднего значения оценки для каждого объекта;
4). расчет коэффициентов компетентности экспертов по каждому показателю;
5). новые средние коэффициенты компетентности экспертов;
6). расчет нового среднего значение оценки для каждого объекта с учетов новых коэффициентов компетентности экспертов.
6. Проанализировать полученные решения и выбрать наилучший объект. Объяснить результаты. Продемонстрировать ход работы преподавателю.
7. Выполнить программную реализацию метода согласно индивидуальному заданию.
8. Проверить адекватность работы программы. Продемонстрировать преподавателю работоспособность разработанного программного обеспечения.
9. Оформить отчет по лабораторной работе.
10. Защитить лабораторную работу.
Содержание отчета
1. Тема работы.
2. Цель работы.
3. Индивидуальное задание.
4. Описание хода выполнения работы.
5. Интерпретация полученных результатов.
6. Выводы.
Выполнение лабораторной работы оценивается из 10 баллов:
1) реализация критериев в MS Excel 3 балла;
2) программная реализация метода 4 балла;
3) оформление отчета 1 балл;
4) защита лабораторной работы 2 балла.
Индивидуальные задания
- Исследовать применения метода непосредственной оценки, выполнив необходимые вычисления в MS Excel.
- Выполнить программную реализацию критериев согласно индивидуальным заданиям (табл. 1).
Таблица 1
| № п/п | Кол-во экспертов | Кол-во объектов | Кол-во показа-телей | № п/п | Кол-во экспертов | Кол-во объектов | Кол-во показа-телей | |
Краткие теоретические сведения
Метод экспертных оценок
Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.
При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т.п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т.п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений.
Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.
В настоящее время метод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам.
Все множество плохо формализуемых проблем условно можно разделить на два класса:
1) проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:
а) эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации;
б) групповое мнение экспертов близко к истинному решению проблемы.
Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.
2) проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.
Типовые задачи, решаемые методом экспертных оценок:
1) составление перечня возможных событий в различных областях за определенный промежуток времени;
2) определение наиболее вероятных интервалов времени свершения совокупности событий;
3) определение целей и задач управления с упорядочением их по степени важности;
4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения;
5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;
6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.
Для решения перечисленных типовых задач применяются различные разновидности метода экспертных оценок. К основным видам относятся:
- анкетирование и интервьюирование;
- мозговой штурм;
- дискуссия;
- совещание;
- оперативная игра;
- сценарий.
Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.
Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.
При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.
Обработка экспертных оценок
В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:
1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;
2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;
3) определение относительных весов объектов;
4) определение согласованности мнений экспертов;
5) определение зависимостей между ранжировками;
6) оценка надежности результатов обработки.
Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.
Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.