- История метода.
- Специфика метода экспертных оценок и возможности применения.
- Виды экспертного оценивания.
- Основные процедуры исследования методом экспертных оценок.
- История метода.
Метод экспертных оценок как самостоятельный научный инструмент для решения неформализуемых проблем начал развиваться с конца 40-х годов ХХ столетия. Разработка данного метода как научного инструмента для решения задач долгосрочного прогнозирования впервые была осуществлена сотрудниками РЭНД Корпорейшн (США) Д. Гордоном и О. Хелмером. Ими была разработана одна из первых разновидностей метода экспертных оценок, известной под названием «Дельфы». В 1963 году в США на основе этого метода проводилось прогнозирование развития широкого круга социальных проблем на ближайшие десятилетия. В результате 4-х этапной экспертизы, проведенной 82 высоко квалифицированными специалистами, был построен прогноз научных достижений человечества на период до 2000 года.
В 1964 году фирмой Хониуэлл (США) была разработана методика «Паттерн», целью которой являлось обоснование направления деятельности фирмы в стратегической перспективе. Эта методика в дальнейшем использовалась для стратегического планирования и управления научными исследованиями и разработками крупных программ в общегосударственном масштабе.
В 1965 году в США осуществляется еще один тип экспертного проекта «Форекаст», который предусматривал разработку долгосрочного прогноза развития систем и средств вооруженной борьбы и планирования оперативной военной деятельности. К разработке этого проекта привлекалось огромное число экспертов (ученые и инженеры), 26
Университетов и колледжей, 70 корпораций, 10 некоммерческих организаций. Экспертная процедура проводилась в 7 этапов:
|
1) Оценка состояния науки и техники и прогноз ее развития на 10 лет;
2) Оценка политических целей США, влияющих на разработку проекта;
3) Определение научно-технического потенциала и его развития на 10 лет у вероятного противника;
4) Оценка возможности использования научно-технических достижений, признанных реальными в будущем;
5) Анализ и оценка предыдущих этапов;
6) Анализ вариантов использования прогнозируемых научно-технических достижений;
7) Выбор наиболее перспективных вариантов систем оружия с т.з. стратегических и тактических критериев.
- Специфика метода экспертных оценок и возможности применения.
Метод экспертных оценок, с т.з. вовлекаемых ресурсов, требует тщательного выбора системы измерения объектов, доступа к специализированным банкам данных, отбора специалистов-профессионалов, и самое главное – наличия специализированных программ обработки данных экспертизы. Без этого анкетные бланки, на которых написано «Анкета эксперта» и результаты простого подсчета частоты ответов, обычно являются ни чем иным как срезом общественного мнения определенной профессиональной или социальной группы.
Экспертиза хорошо зарекомендовала себя в социологических исслеованиях самого разного проблемного профиля. Прежде всего, в иссследовании проблем управления и научного прогнозирования, где скапливается большое число неформализуемых социально-экономических, социокультурных, технологических и иных проблем.
|
При этом все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых предполагается наличие достаточного информационного потенциала, позволяющего успешно решать эти проблемы. Основные трудности в решении проблем этого класса при экспертной оценке заключаются в реализации наличного информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов.
Ко второму классу относятся проблемы, в отношении которых информационный потенциал имеющихся знаний недостаточен для уверенности в справедливости экспертной оценки. В связи с этим для проблем второго класса в основном должен применяться качественный анализ обработки результатов экспертизы.
В наше время возможная область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:
1. Составление перечня возможных событий в различных областях за определенный промежуток времени;
2. Определение наиболее вероятных интервалов времени свершения совокупности событий;
3. Определение целей и задач управления с упорядочением их по степени важности;
4. Определение альтернативных вариантов решения задачи с оценкой их предпочтения;
5. Альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;
6. Альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности и т.п.
- Виды экспертного оценивания.
|
Для решения перечисленных типовых задач применяются различные разновидности метода эксперного оценивания. К основным их видам относятся: анкетирование и интервьюирование, мозговой штурм, дискуссия, совещание, оперативная и деловая игры, сценарный метод, метод «Дельфы». Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.
Кратко рассмотрим каждый из названных методов. Итак, анкетирование и сценарный метод предполагают индивидуальную работу эксперта. Интервьюирование может проводиться как индивидуально, так и с группой экспертов. Остальные виды предполагают коллективное участие экспертов в работе. Независимо от индивидуального или группового участия экспертов в работе, принципиальным моментом является формирование выборки экспертов, как источников информации повышенной надежности. На этой основе получаются более значимые и новые в научном плане результаты, чем это бывает при использовании других методов исследования.
- Основные процедуры исследования методом экспертных оценок.
Основными процедурами исследования являются: подбор экспертов, организация процедур экспертизы, проведение опроса экспертов, обработка результатов опроса, представление результатов. Каждая из них, в свою очередь, может содержать ряд отдельных этапов.
Формирование группы экспертов как правило происходит методом «снежного кома». Для этого, в первую очередь, формируется предварительный список ведущих специалистовв данной области. Каждому из них предлагается назвать 10 специалистов, наиболее сведущих в изучаемом вопросе. Получив ответы, убедились, что в круг экспертов попали новые лица. Эти новые лица, в свою очередь, могут назвать еще по десять экспертов. Доля повторно названных экспертов увеличилась, но появились и несколько новых, еще не названных никем. Итак процедура повторяется до тех пор, пока в ответах перестают появляться новые фамилии и перечень закрывается. Мы получили полный список экспертов, сформированный самими экспертами. Можно прервать процедуру отбора и раньше, когда, например, накопится 90-95% повторений. Ошибка выборки в этом случае будет несущественна для дальнейших оценок.
Далее, составив коллектив экспертов, нужно предусмотреть учет неравноценности мнений его членов, поскольку существует объективная проблема разного уровня знаний и опыта специалиста, попавшего в список. Каковы здесь могут быть критерии авторитетности экспертов? Прежде всего, это частота перекрестных упоминаний одних специалистов другими (так называемый индекс цитирования). Для этого составляется таблица по типу социометрической, в вертикальные столбцы которой помещаются фамилии (или номера) тех экспертов, «кто назвал», а в горизонтальные строки – тех, «кого назвали». (таблица3). В результате получаются «весовые коэффициенты» авторитетности экспертов. Данный метод целесообразен для формирования любыхэкспертных, ученыхи научных комиссий.
Традиционное формирование группы экспертов заключается в том, чтобы в нее были включены лица, способные провести экспертизу с учетом самых разнообразных сторон оцениваемо го объекта. Проводя, например, экспертизу внешнего вида нового товара, необходимо включать в группу дизайнеров и инженеров в равной пропорции. Опасностью при подборе экспертов следует считать завышение доли какой-либо подгруппы экспертов, заведомо единой (или близкой) в своем мнении. По этой причине нежелательно включать в экспертную группу людей, авторитет которых резко отличается от «среднего» авторитета членов группы. Если авторитет одного из членов группы очень высок – прочие эксперты будут склоняться к его мнению, а если он крайне низко – возникнут противоречия. Устранить такое влияние можно с помощью анонимной экспертизы, но это весьма сложно сделать.
Таким образом, классически процесс формирования группы экспертов осуществляется в такой последовательности:
1) Уяснение и формализация решаемой проблемы (постановка задач);
2) Определение круга областей деятельности, связанных с проблемой;
3) Определение долевого состава экспертов по каждой области деятельности;
4) Определение количества экспертов в подгруппах;
5) Составление предварительного списка экспертов с учетом их местонахождения;
6) Анализ качеств экспертов и уточнение списка экспертов в группе;
7) Получение согласия экспертов на участие в работе;
8) Составление окончательного списка экспертной группы.
Далее надежность экспертизы зависит от следующего этапа – опроса экспертов. В современной экспертизе используются различные методики опроса – от заочного почтового до групповой дискуссии. Для правильного выбора метода опроса следует знать о достоинствах и недостатках каждого из них. Например, при заочном почтовом опросе эксперты не знают об оценках коллег, что способствует выработке самостоятельного мнения. Недостаток в том, что в этом случае обоснование экспертных мнений существенно слабее, чем в групповой дискуссии. При групповой дискуссии обоснование экспертных оценок становится более аргументированным, хотя возникает опасность, что мнение каждого эксперта не является независимым.
Одновременно с процессом формирования группы экспертов группа управления реализует план организации экспертизы. При этом решаются следующие вопросы: место и время проведения; методики проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.
Следующим этапом стратегического плана исследования является организация и проведение обработки данных опроса. Наиболее распространенные и надежные методы упорядочения мнений экспертов – это метод ранжирования, балльные оценки, последовательные сравнения, парные сравнения и т.п.
Разработанный в настоящее время математический аппарат в программах обработки данных дает возможность получать интервальные шкалы предпочтимости при обработке экспертной информации, полученной методами парных сравнений и последовательных интервалов.
Одна из основных проблем математического обеспечения экспертизы – это достижение устойчивости группового выбора. Чем нормативнее требуемый результат, например, чем категоричнее требуемая рекомендация, тем большее значение имеет анализ устойчивости группового экспертного суждения. Проверка на устойчивость проводится, как правило, путем исключения из экспертной группы некоторого числа случайно отобранных экспертов (крайние оценки) и выработки группового суждения без учета мнений этих экспертов. Однако если исключение одного эксперта влияет на содержание последующего этапа группового суждения, то устойчивость такого суждения следует признать неудовлетворительной.