Метод экспертных оценок
1. Определение метода экспертных оценок.
Метод экспертных оценок, называемый также экспертным опросом, в общем виде представляет собой опрос специалистов, компетентных в какой-либо, нужной исследователю области. Опрос таких лиц называется экспертным, а установленные в его ходе суждения респондентов о свойствах изучаемого явления - экспертными оценками.
Экспертная оценка — компетентное мнение, мнение эксперта по какой-либо из проблем, находящихся в сфере его компетенции.
Основные отличия экспертного опроса от массового состоят в следующем:
- количество респондентов в массовом опросе значительно больше, чем в экспертном;
- экспертный опрос не является анонимным;
- экспертный опрос отличается более сложным инструментарием;
- труд экспертов, в отличие от труда респондентов всегда оплачивается.
2. Отбор экспертов.
При определении конкретного состава экспертов надлежит руководствоваться не только и не столько компетентностью экспертов, сколько валидностью их заключений. Как свидетельствует опыт, нередки случаи, когда компетентность эксперта не дает адекватной валидности. Это объясняется многими обстоятельствами, в разной мере зависимыми от исследователя, организующего экспертный опрос и проводящего экспертизу.
Ряд этих обстоятельств имеет психологическое свойство. Эксперт с задатками лидера стремится к доминированию своих оценок, настаивая на них даже тогда, когда внутренне сомневается в их истинности. Человек конформистского склада ведет себя прямо противоположным образом, а конфликтогенный - склонен к оспариванию даже тех мнений других людей, с которыми по существу согласен. Большинству людей присуще смещать свои оценки в сторону нейтральной середины, а часть экспертов может быть заинтересована в преднамеренном искажении информации. Все это должно учитываться исследователем. '
Проведение отбора экспертов, как правило, осуществляется методом самооценки и определением коэффициента компетентности. Кандидатам раздаются карточки с тремя позициями оценки: К1 - высокая оценка- 1балл; К2 - средняя оценка - 0,5 балла; КЗ - низкая оценка - 0 баллов.
С их помощью, кандидаты оценивают свой уровень теоретических знаний, практический опыт и уровень прогностической компетентности. После ответов кандидатов, вычисляют коэффициент компетентности каждого по формуле К= (К1+К2+КЗ)/3 (образец карточки прилагается).
Слабость данного метода состоит в возможной неадекватности оценки.
Для подкрепления метода самооценки используют метод коллективной (взаимной) оценки. Однако следует заметить, что данный метод может применяться только в том случае, если эксперты знают друг друга в качестве специалистов. При использовании этого метода кандидатам предлагается список их «конкурентов» и ставится вопрос: «Кого бы Вы выбрали в качестве эксперта из предложенного списка?». Кроме того, в вопросе задается параметр выбора (Укажите ровно 25 человек).
На основании полученных данных строится таблица взаимных оценок. В случае, если результатов первой таблицы недостаточно для определения экспертов, необходимо построить уточненную таблицу взаимных оценок, (материал прилагается).
На основании метода самооценки и/или метода взаимной оценки отбирается нужное количество экспертов-респондентов, которым и предлагаются анкеты.
3. Интеграция экспертных оценок.
Интеграция экспертных оценок есть по сути дела совокупность приемов перевода количественного анализа этих оценок в качественный. Поэтому он, с одной стороны, невозможен без предварительного выявления количественных признаков мнений экспертов, с другой - принципиально отличен от их традиционно количественной интерпретации.
Интегрирование (согласование, комплексирование) экспертных оценок необходимо тогда, когда нужно:
1) выработать научно обоснованное управленческое решение;
2) сформулировать миниконцепцию, объясняющую новые явления и процессы, происходящие в изучаемом микросоциуме, и дающую основание для последующего теоретизирования.
Реализация интегрирования предполагает выполнение ряда исследовательских операций в следующей последовательности:
1. Установление мнений экспертов по исследуемой проблеме в заочной форме, то есть путем анкетирования, заполнения экспертами специальных документов (карт, бланков), изучение монитором (исследователем) докладных записок и иных материалов экспертного характера.
2. Шкалирование выявленных мнений экспертов, т.е. сопоставление показателей их отношения к предмету экспертизы либо по ранговой, либо по номинальной, либо метрической шкалам, или по некоторой совокупности этих шкал.
3. Согласование мнений экспертов по технике Делъфи, предусматривающей трех-шестикратное повторение заочных опросов экспертов и соответствующее число шкалирования их оценок. На каждом новом этапе опроса (интеграции) монитор информирует экспертов о результатах предыдущего опроса, сообщает им о мнении большинства и просит аргументировать свое мнение, т.е. его совпадение или расхождение с тем, которое претендует на господствующую роль. При этом на каждом этапе эксперту предлагается определить место своего мнения в заранее подготовленной шкале. Каждый этап завершается статистической обработкой полученных от экспертов шкал, исчислением средних арифметических показателей, медианы и квартилей, определением показателей разброса мнений, выявлением крайних мнений, т.е. особо отклоняющихся от оценок большинства. Типичных выразителей крайних мнений и господствующей оценки приглашают для участия в последующих процедурах интегрирования экспертных оценок.
4. Очное выяснение отношений экспертов к предмету экспертизы и разным вариантам решения обсуждаемой проблемы в групповой дискуссии. Она может проводиться как методами фокус-группы и «проблемного колеса», так и на основе иных способов активизации творческого мышления в группе - «мозговой штурм, синектика, ИПИД и т.п.
5. Ранжирование предложенных экспертами вариантов решения исследуемой проблемы, их упорядочивание по трем, как минимум, основаниям:
1) степени популярности, т.е. представленности в коллективном мнении экспертов;
2) мере реализуемости, возможности практического выполнения;
3) последствиям их реализации для тех социальных систем (и подсистем), в которых сложилась исследуемая проблема.
Эта исследовательская операция делается после и по итогам очного сопоставления мнений экспертов. Когда в исследовании применяются не одна, а несколько форм групповых дискуссий, возникает необходимость нескольких туров ранжирования, переплетения этой исследовательской операции с предыдущей. Данное ранжирование необходимо для выработки оптимального решения проблемы и последующего этапа интеграции оценок экспертов.
6. Синтезирование экспертных оценок в форме мини-теории, т.е. непротиворечивого научно доказательного объяснения изученного явления, его причин и тенденций изменения, возможностей влияния на него со стороны различных субъектов социальной жизни. Эта операция требует от исследователя солидной теоретической подготовки (ибо разработка мини-теории предполагает знание теорий более высокого уровня), аналитических навыков и научной достоверности. Она призвана обобщить все оценки экспертов, отразить не только достигнутый уровень их согласия, но и мнения, выпадающие из общей их картины.
Разработка такой мини-концепции необходима в двух отношениях:
во-первых, в качестве одного из «кирпичиков», из которых строятся социологические теории «среднего», а затем и «большего» уровней;
во-вторых, для завершения процедуры интегрирования экспертных оценок.
7. Комплексирование экспертных оценок - последняя исследовательская операция по интеграции мнений экспертов. Ее конечный результат -комплексная программа решения изученной проблемы (или несколько вариантов такой программы). Она должна логично вытекать из выше охарактеризованной мини-теории и содержать перечень мер, реализация которых обеспечит решение исследовательского вопроса.
Предлагаемые меры дифференцируются:
- на стратегические (важные и долговременные) и тактические (детализирующие первые);
- по времени исполнения (первоочередные, второочередные и т.п.);
- по затратам разнообразных ресурсов;
- по ожидаемому эффекту от этих затрат;
- по адресатам (организациям, персонам), могущим реализовать рекомендации;
- по другим основаниям, зависящим от характера проблемы и способов ее решения.
Как правило, экспертный опрос нацелен на уточнение гипотез, разработку прогноза и пополнение интерпретации определенных социальных явлений и процессов. В таких опросах доминируют открытые формулировки, а закрытые вопросы предназначены лишь для оценки уровня уверенности, меры согласия или несогласия с уже высказанными позициями других специалистов.
Выявление экспертных оценок необходимо при анализе наиболее существенных аспектов исследуемой проблемы, особенно в ситуациях дискуссионности их трактовок или фактического отсутствия определенности в их осмыслении наукой. В таких случаях метод экспертных оценок выступает в роли основного метода исследования, программа его проведения отражается в общей программе исследования. Если же данный метод играет вспомогательную роль, добавляя информацию к полученной иными методами, то исследователи обязаны составить особую (самостоятельную) программу его реализации. Главными ее компонентами будут формулировки, четко фиксирующие: а) проблемную ситуацию; б) терминологию экспертных оценок (путем операционализации общих понятий); в) гипотезы, выносимые на экспертизу; г) комплекс требований, на основе которых будет производиться подбор экспертов (критерии их компетентности); д) индикаторы, позволяющие измерять суждения экспертов; е) инструментарий этих замеров и первичной обработки данных; ж) правила проведения и сценарий экспертизы, т.е. процедуры согласования и интегрирования оценок экспертов.
Литература
1. Григорьев С.И., Растов Ю.Е. Основы современной социологии, М., 2002.
2. Учебный социологический словарь/Под редакцией С.А.Кравченко. М., 1999.
3. Ядов В.А. Стратегия социологического исследования, М.,2001.
Метод организации сложных экспертиз
Рассмотренные выше недостатки экспертных оценок привели к необходимости создания методов, повышающих объективность получения оценок путем расчленения большой первоначальной неопределенности проблемы, предлагаемой эксперту для оценки, на более мелкие, лучше поддающиеся осмыслению.
В качестве простейшего из этих методов может быть использован способ усложненной экспертной процедуры, предложенный в методике ПАТТЕРН. В этой методике выделяются группы критериев оценки и рекомендуется ввести весовые коэффициенты критериев. Введение критериев позволяет организовать опрос экспертов более дифференцированно, а весовые коэффициенты повышают объективность результирующих оценок.
Развитием этого метода является введение коэффициентов компетентности экспертов и различные методы совершенствования обработки оценок, даваемых разными экспертами по различным критериям.
В качестве второго метода организации сложных экспертиз можно отметить метод решающих матриц, идея которого была предложена Поспеловым как средство стратифицированного представления проблемы с большой неопределенностью (разделение на проблемы и пошаговое получение оценок). Например, оценка влияния фундаментальных научно- исследовательских работ на проектирование сложного объекта. При этом непосредственно экспертами оцениваются только веса направлений работ (подпроблем), которые затем нормируются на каждом из уровней (строк матрицы). Таким образом, каждая строка характеризует относительный вклад каждой подпроблемы в реализацию всей проблемы, а внутри подпроблемы – каждого направления, …
В результате при использовании метода решающих матриц оценка относительной важности сложной альтернативы сводится к последовательности оценок более частных альтернатив, что обеспечивает их большую достоверность при прочих равных условиях. Иными словами, большая неопределенность, имевшая место в начале решения задачи, как бы разделена на более “мелкие”, лучше поддающиеся оценке, в соответствии с одной из основных идей системного анализа.
Метод решающих матриц применялся для реализации крупных дорогостоящих проектов (космос, оборона, фундаментальные НИР, …), при создании, реконструкции, конверсии предприятий и научно-исследовательских организаций, инвестируемых государством, т. е. в ситуациях, для которых повышаются требования к тщательности анализа факторов, влияющих на принятие решений.
Методы организации сложных экспертиз разрабатывают для повышения объективности получения оценок путем использования основной идеи системного анализа — расчленения большой первоначальной неопределенности проблемы на более обозримые, лучше поддающиеся осмыслению.
Эти методы можно разделить па несколько групп: методы, основанные на усложненной экспертной процедуре, предложенной в методике ПАТТЕРН (параграф 7.2); метод парных (попарных) сравнений Т. Саати (параграф 7.3); метод решающих матриц Г. С. Поспелова и его модификации (параграф 7.5); модели (методы) организации сложных экспертиз, основанные на использовании информационного подхода (параграф 7.6). В их числе — модели оценки нововведений, сравнительного анализа проектов и хода их внедрения, методы анализа ситуаций в статике и динамике, в том числе рыночных. Существуют также комплексные модели, объединяющие несколько методов.
Методы экспертных оценок
Экспертными оценками называют группу методов, используемых для оценивания сложных систем на качественном уровне. Термин "эксперт" происходит от латинского слова expert (опытный).
При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. Поэтому важно при организации экспертных опросов вводить определенные правила и использовать соответствующие методы получения и обработки экспертных оценок.
Алгоритм организации экспертных опросов и обработки оценок
Изучению особенностей и возможностей применения экспертных оценок посвящено много работ.
В них рассматриваются (рис. 7.1):
• проблемы формирования экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности;
• формы экспертного опроса (разного рода анкетирования, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, мозговая атака, деловые игры и т.п.);
• подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, парных сравнений и др.);
• методы обработки экспертных оценок;
• способы определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, вероятности для заданного диапазона изменений оценок, ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т.п.) и методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса.
Рис. 7.1
С обзором форм и методов получения и обработки экспертных оценок можно познакомиться, например, в [15], [18] и др.
В частности, Б. Г. Литвак на основе обобщения и исследования видов шкал измерений и отношений рассматривает особенности мер близости разного рода (на неметризованных и векторных отношениях, структурные, Евклидовы); характеризует принципы и методы, основанные на выборе различных способов упорядочения и отношений предпочтения (в том числе методы ранжирования и гиперупорядочения, методы парных сравнений Черчмена — Акоффа, Терстоуна, метод "смешанной альтернативы" Неймана -Моргенштерна, принцип отбрасывания альтернатив Эрроу, алгоритмы отыскания медианы Кемени, метризованные ранжирования, алгоритмы выбора по принципу Парето, методы определения предпочтений на множествах многомерных альтернатив и т.п.).
Целесообразность применения того или иного метода определяется характером анализируемой проблемы, используемой информации.
Если оправданы лишь качественные оценки объектов по тем или иным качественным признакам, то используются методы ранжирования, парного и множественного сравнения. Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать тот или иной метод, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и Неймана — Моргенштерна.
Методы экспертных оценок обладают различными качествами, но приводят в общем случае к близким результатам. Практика применения этих методов показала, что наиболее эффективно комплексное применение различных методов для решения одной и той же задачи. Сравнительный анализ результатов повышает обоснованность сделанных выводов. При этом следует учитывать, что методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким — метод последовательного сравнения (Черчмена — Акоффа). Метод парного сравнения без дополнительной обработки не дает полного упорядочения объектов.
При проведении социологических измерений, которые можно рассматривать как разновидность экспертных оценок (особенно в случае организации выборочного социологического исследования), используют обычно качественные шкалы разного рода, которым ставятся в соответствие количественные оценки степени значимости ("очень важно", "важно", "скорее важно, чем нет" и т.д.) или оценивается введенный в вопросе качественный признак (в форме "полностью согласен", "согласен", "не согласен", "категорически не согласен" или "да", "скорее да, чем нет", "скорее нет, чем да", "нет" и т.д.).
При этом могут применяться соответствующие методы обработки результатов. Например, при использовании шкалы Р. Лайкерта, в которой задаваемые группе лиц вопросы должны оцениваться по пятибалльной шкале (5 -"полностью согласен", 4 — "согласен", 3 — "нейтрален", 2 — "не согласен", 1 — "полностью не согласен"), при обработке рекомендуется применять метод суммарных оценок. Шкалограммный анализ Л. Гуттмана сводится к построению шкал порядкового уровня измерения, представляющих собой одноместные шкалы, формируемые на основе первоначально используемой иерархизированной шкалы путем исключения вопросов или факторов, посторонних по отношению к измеряемой характеристике. При применении метода "семантического" дифференциала (СД), разработанного Ч. Осгудом для измерения смысла понятий и слов и дифференциации эмоциональной стороны значения оцениваемого понятия, в качестве промежуточных методов обработки применяются графические, помогающие определить профиль распределения установок.
Методы сложных экспертиз компьютерных систем
Теоретические положения системного анализа определенное время рассматривались только как некая философия инженера и поэтому при решении задач создания искусственных систем иногда не учитывались. Однако развитие техники привело к тому, что без системного анализа, одним из результатов которого являются концептуальные модели, исследование функционирования систем становится невозможным.
Первоначально компьютер отождествлялся с центральным процессором, основной и понятной характеристикой которого было быстродействие, измеряемое числом команд в единицу времени. Поэтому традиционные методики оценки (benchmarks) отражают только возможности центрального процессора. В основе такой оценки лежит понятие производительности. При этом выделяют так называемое "чистое" процессорное время - период работы собственно процессора при выполнении внутренних операций и время ответа, включающее выполнение операций ввода-вывода, работу ОС и т.д.
Есть два показателя производительности процессоров по "чистому" времени:
1) показатель производительности процессоров на операциях с данными целочисленного типа (integer) MIPS (Million Instruction Per Second - миллион машинных команд в секунду) - отношение числа команд в программе к времени ее выполнения;
2) показатель производительности процессоров на операциях с данными вещественного типа (float point) MFLOPS (миллион арифметических операций над числами с плавающей точкой в секунду).
С понятием MIPS связывалась ранее и другая метрика, основанная на производительности вычислительной системы DEC VAX 11/780. Еще одно определение MIPS используется пользователями и производителями техники IBM, когда за норму выбирается одна из моделей RS/6000. При этом 1 MIPS IBM = 1.6 MIPS DEC.
При всей кажущейся простоте критерия оценки (чем больше MIPS (MFLOPS), тем быстрее выполняется программа) его использование затруднено вследствие нескольких причин:
Процессоры разной архитектуры (особенно RISC) имеют различный набор команд. Так, совмещенная операция умножения и сложения векторов в процессоре POWER 2 существенно сокращает число операций. Кроме того, можно выделить "быстрые" (например, сложение, вычитание) и "медленные" (например, деление) операции, а в результате рейтинг MFLOPS для разных программ окажется разным.
Применение математических сопроцессоров и оптимизирующих компиляторов увеличивает производительность системы, однако рейтинг MIPS может уменьшиться, так как время выполнения команд для операций над данными с плавающей точкой значительно больше и за единицу времени может быть выполнено меньшее число команд, нежели при выполнении соответствующих этим командам подпрограмм.
Научные приложения в основном связаны с интенсивными вычислениями над вещественными числами с плавающей точкой, коммерческие и офисные – с целочисленной арифметикой и обработкой транзакций баз данных. Графические приложения критичны и к вычислительным мощностям, и к параметрам графической подсистемы.
Ещё более сложные проблемы появляются при необходимости оценок многопроцессорных систем, в частности SMP (Symmetric MultiProcessing – симметричная мультипроцессорная обработка) к МРР(Massively Parallel Processing - обработка с массовым параллелизмом). В целом показатели MFLOPS и MIPS зависят от архитектуры процессора и типа выполняемой программы. Такое положение привело к разработке и использованию ряда тестов, ориентированных на оценку вычислительных систем с учетом специфики их предполагаемого использования. Поэтому оценка процессоров с разной архитектурой основана на создании тестовой смеси из типовых операторов, влияющих на их производительность.