4.3.1 Общий план групповой экспертизы
Групповая экспертиза заключается в последовательном проведении серии экспертных операций.
Экспертная операция – это организационно выделенный этап работы с группой экспертов, в ходе которого достигается законченное преобразование информации, относящейся к решаемой задаче, из одной формы в другую.
В квалиметрии различают следующие экспертные операции:
· ориентировка;
· генерация;
· назначение оценок;
· коммуникация (обмен информацией между экспертами).
Типичный план групповой экспертизы
| Ориентировка |
| Генерация |
| Статистическая обработка |
| Назначение оценок |
| Статистическая обработка |
| Окончательные результаты |
| Коммуникация |
| итерация |
Пример: Оценивание эстетических свойств товаров в институте технической эстетики.
Экспертиза начинается с анализа представленных материалов, который выполняет ведущий эксперт. Он подбирает данные о мировом рынке оцениваемого товара, выбирает 2-3 эталона для сравнения, составляет предварительный перечень эстетических показателей качества, т.е. готовит ориентирующую информацию.
| Исполнитель | Операция |
| 1 Ведущий эксперт | Подготовка ориентирующей информации |
| 2 Эксперты индивидуально | Дополнение и корректировка списка эстетических свойств и показателей |
| 3 Рабочая группа | Обобщение предоставленных экспертами данных, подготовка материалов для обсуждения |
| 4 Группа экспертов | Обсуждение результатов, определение согласованной части назначенных оценок |
| 5 Рабочая группа | Обработка оценок, выявление рассогласованных оценок и спорных вопросов |
| 6 Группа экспертов | Обсуждение спорных вопросов, повторное назначение оценок по остаточным показателям |
| 7 Ведущий эксперт | Утверждение полученных результатов либо их корректировка и возвращение на обсуждение |
После ориентировки эксперты индивидуально дополняют и корректируют материалы, представленные ведущим экспертом (операция генерации).
После статистической обработки и назначения оценок рабочая группа вновь выполняет статистическую обработку, выявляя рассогласованные оценки и формулирования нерешенных вопросов. После повторного заседания экспертной группы и достижения согласия ведущий эксперт утверждает результаты либо не согласуются с ними и назначает новое обсуждение.
Повторное осуществление операций обсуждения и назначения оценок называется итерацией.
Благодаря проводимым итерациям создается возможность объединить знания и способности многих специалистов и прийти к согласованному решению.
Ориентировка
Ориентировка состоит в снабжении экспертов информацией по анализируемой проблеме, полученной от заказчика экспертизы.
Как правило, ориентировку проводят один раз – в начале экспертизы.
Операция имеет следующие назначения:
1) уточняется сформулированная заказчиком генеральная цель экспертизы;
2) проверяется принципиальная правильность намеченного пути достижения цели;
3) у экспертов создается определенная ориентация в отношении проблемы и принципам подхода к ее решению.
Формы ориентировки:
1) Краткий доклад по проблеме, сделанный организатором или представителем заказчика
Основное достоинство: простота, поскольку не требуется подготовки информации в письменном виде, распространяемой среди экспертов.
Недостатки:
§ Эксперты могут прослушать, забыть основные положения доклада
§ Эксперты не могут в ходе доклада всесторонне осмыслить задачу и предложить продуманные формулировки цели и способы работы.
2) Ознакомление всех экспертов с печатными материалами о проблеме экспертизы.
Недостатки:
§ Крайне трудно подобрать, обработать и представить в удобной форме весь необходимый объем информации, имеющий отношение к проблеме экспертизы. Весьма возможно, что именно важные для оценивания источники не войдут в состав ориентирующей информации, что решающим образом отразится на работе экспертов.
§ При обработке разнохарактерной информации велика возможность одностороннего субъективного подбора данных. Если представить информацию в необработанном виде, то эксперты могут ее вообще проигнорировать. Рекомендуется вручать экспертам не сами документы, а их аннотированный список, чтобы эксперт мог сам выбрать необходимую ему информацию.
3) Выполнение экспертами определенных домашних заданий (составление докладных записок по проблеме экспертизы, заполнение определенных анкет в ходе которых эксперт вынужден обращаться к специальной литературе).
Недостаток: некоторые эксперты из-за нежелания заниматься самоподготовкой откажутся от участия в экспертизе.
4) Проведение деловой игры
Можно обеспечить освоение всеми экспертами ориентирующей информацией в форме, не приводящей к значительной усталости экспертов. Такой формой является деловая игра. Подготовка деловой игры требует большой работы рабочей группы и занимает значительное время. Способ применяют при неоднократной экспертизе одного и того же назначения.
Генерация
Генерация – это опрос экспертов, предназначенный для получения от них возможно большего числа предложений, идей, факторов, гипотез и других новых сведений, относящихся к предмету экспертизы.
Способы генерации подразделяются на 2 большие группы:
1) Способы, связанные с индивидуальной работой с экспертами
· Анкетные виды опроса
· Создание экспертами докладных записок
· Морфологический анализ
2) Способы, осуществляемые на заседании в составе экспертной группы, когда эксперты активно взаимодействуют друг с другом.
· Мозговая атака и ее разновидности
Способ генерации выбирают в зависимости от характера задачи и ситуации оценивания качества. Если стоит задача оценивания качества представленного объекта, то экспертам нужно дать возможность тщательного обдумывания, лучше применить один из способов индивидуального опроса экспертов.
В задачах прогнозного характера генерацию лучше осуществить, чередуя способы группового и индивидуального опроса.
Решение изобретательских задач рационально проводить с помощью мозговой атаки и ее разновидности.
1º Морфологический анализ
Способ предназначен для выявления и анализа всех возможных вариантов осуществления некоторого мероприятия, либо всех вариантов сочетания показателей в оцениваемых объектах.
Сущность способа состоит в построении многомерной схемы, в которой перечислены основные показатели оцениваемых объектов и их градации (значения). Если удаётся перебрать все возможные сочетания градаций и каждому сочетанию поставить в соответствие определённое заключение, то квалиметрическая задача будет решена.
Достоинство: Способ позволяет надежно определить небольшое число вариантов, в рамках которых имеет смысл осуществлять дальнейший анализ.
Недостатки:
1) Морфологическая схема будет тем полнее, чем больше она содержит показателей и чем больше вариантов предусмотрено для каждого показателя.
При этом рост числа показателей катастрофически увеличивает объём работы.
2) Отсутствие уверенности в том, что при построении морфологической схемы учтены все возможные факторы и все варианты. Можно упустить один из важных вариантов.
2º Мозговая атака
Мозговая атака и ее разновидности (мозговой штурм, осада, атака разносом) имеют общую организационную черту. Это представляют собой проведение управляемой дискуссии небольшой группой экспертов. Для проведения мозговой атаки создается экспертная группа (6-25 чел), которая проводит одно или ряд заседаний продолжительностью не более 45 мин. Перед началом заседания проводят практическую ориентировку (2-3 мин), в которой напоминают исходные данные и выделяют единственную задачу предстоящей генерации.
Во время мозговой атаки организатор должен замечать новые предложения любого рода и способствовать их развитию. Нельзя выражать сомнения, скептицизм или объявлять предложение эксперта бесполезным, неверным или не относящимся к делу. Организатор также должен исключить критику предложения эксперта со стороны других экспертов. Разрешены только высказывания новых идей и выступления в развитие предыдущего предложения. Во время мозговой атаки должно быть получено как можно большее число новых предложений. Слишком тщательное обсуждение каждого предложения ведет к снижению продуктивности работы.
Мозговую атаку ведут два сопредседателя: специалист по проблеме экспертизы и специалист по процедуре мозговой атаки.
Весь ход заседания записывают. Основное управление ведет процедурный председатель. Он следит за тем, чтобы все эксперты выступали достаточно активно, не критиковали друг друга и не углублялись в анализ частных вопросов.
Председатель-специалист следит за тем, чтобы каждое высказывание аргументировалось в понятиях для экспертов терминов. Председатель-специалист выступать не имеет права. Он может только предложить тому или иному эксперту развить мысль, которая ему показалась неясной.
Способ отнесения оценки
Практика проведения мозговых атак показала, что многие полезные идеи не получают развития в последующих выступлениях и затухают. Это происходит из-за того, что эксперты обращают внимание на слабые места в выступлениях. В целях борьбы с этим недостатком используют способ отнесенной оценки. Его сущность состоит в разделении во времени процесса генерации и процесса практического анализа полученных данных.
После генерации делают перерыв, рабочая группа прослушивает запись и выделяет предложения подлежащие развитию и критическому анализу, затем происходит обсуждение этих предложений, назначение оценок и подготовка решений.
3º Мозговой штурм и мозговая осада.
Мозговой штурм – это усовершенствованный вариант мозговой атаки. Он состоит в том, чтобы разделить процессы генерации и развития и анализа предложений не только во времени, но и по группам экспертов. Одна группа экспертов, получив задачу, только выдвигает предложения, другая осуществляет их развитие и критический анализ.
В группу генерации входят 6-10 человек различных специальностей.
Регламент выступления 1 минута. Общая продолжительность генерации 20-40 мин. В группе анализа нужно тщательно прорабатывать все идеи, даже те, которые кажутся явно ошибочными. Если проводить мозговой штурм так, чтобы каждую идею обязательно доводить до логического завершения, то эффективность штурма повышается. В этом случае сильно возрастают затраты времени и штурм приходится вести в течение многих дней. Такой вариант штурма называют мозговой осадой.
4º Атака разносом.
Методика может быть приведена для обнаружения недочетов, недоделок и ошибочных заключений в разработке близкой к завершению.
В заседании принимают участие до 25 чел., которым заранее раздаются копии рабочего документа. Все эксперты выступают по очереди. Задача каждого эксперта – обнаружить как можно большее число недостатков работы. О достоинствах работы и о путях ликвидации ее недостатков эксперты говорить не должны. Каждому эксперту отводится на выступление 1-3 мин. Атака разносом является сильнодействующим средством негативного анализа. Авторам подготовленного документа лучше не присутствовать на заседании, чтобы не связывать инициативу экспертов и во избежание душевных травм. Организация атаки разносом не отличается от обычной мозговой атаки. Ведут заседание два сопредседателя, ход заседания записывается; продолжительность не более 45 мин.
Смягчённой модификацией атаки разносом, является атака с использованием «адвокатов дьявола». Этот способ применяют в тех случаях, когда по условиям работы с подготовленным документом может полностью ознакомится только 2-3 чел. Их задача состоит в том, чтобы в течение 10-12 мин. сделать краткий обзор документа, доказывая его методическую неработоспособность и ошибочность. Остальные эксперты выступают после «адвокатов дьявола» с краткими замечаниями негативного характера. Высказывания о положительных результатах работы и дискуссия с «адвокатами дьявола» запрещены.
Коммуникация.