Более подробно рассмотрим отдельные этапы экспертного исследования. Как показывает опыт, с точки зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса:
1. Принятие решения о необходимости проведения экспертного опроса и формулировка лицом, принимающим решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем.
2. Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому эксперту (вместе с ЛПР или его представителем). Он сам - высококвалифицированный эксперт и признаваемый другими экспертами формальный и неформальный руководитель экспертной комиссии. Дело секретаря - ведение документации экспертного опроса, решение организационных задач.
3. Разработка Рабочей группой (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется Рабочая Группа. В ней выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти позиции были утверждены ЛПР.
4. Разработка аналитической группой РГ подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, применение иных методов статистики объектов нечисловой природы и других разделов прикладной статистики. Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает опыт, информация используется не более чем на 1-2%.
5. Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования.
6. Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК). Возможно, часть намеченных РГ экспертов не может войти в экспертную комиссию (болезнь, отпуск, командировка и др.) или отказывается по тем или иным причинам (занятость, условия контракта и др.). ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.
7. Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.
8. Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.
9. При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.
10. Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.
11. Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа экспертной комиссии, подготовка и утверждение научного и финансового отчетов РГ о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.
Методы пoлyчeния индивидyaльнoгo мнeния члeнoв экcпepтнoй гpyппы ocнoвaны нa пpeдвapитeльнoм пoлyчeнии инфopмaции oт экcпepтoв, oпpaшивaeмыx нeзaвиcимo дpyг oт дpyгa c пocлeдyющeй oбpaбoткoй пoлyчeнныx дaнныx.
Основным принципом методов коллективных экспертных оценок является выявление коллективного мнения экспертов о перспективах развития объекта прогнозирования.
Организация взаимодействия экспертов с исследователями зависит от выбранного метода сбора экспертной информации. Методы экспертизы в этом контексте могут быть классифицированы следующим образом:
· индивидуальные методы экспертизы,
· групповые методы экспертизы.
Экспертные методы, относящиеся к первой группе, предполагают индивидуальную работу исследователей с каждым из привлеченных экспертов. При этом может быть задействован и один эксперт, если его квалификации достаточно для снятия информационной неопределенности по проблеме, однако обычно привлекают несколько экспертов для повышения надежности экспертизы.
Индивидуальность заключается в том, что эксперты не собираются вместе, не знакомятся с оценками других экспертов, разных экспертов могут опрашивать относительно разных аспектов одной проблемы, также могут быть различны и процедуры опроса разных экспертов. Чаще всего при индивидуальном экспертном опросе используются следующие методы:
1. Стандартизированный экспертный опрос. Данный метод требует от исследовательской команды предварительного четкого структурирования проблемы и определения перечня всех вопросов, на которые должны быть получены однозначные ответы. Для реализации опроса разрабатывается стандартизированная анкета с вопросами закрытого типа (с предложением вариантов ответа). Анкетирование может проводиться как при личной беседе интервьюера с экспертом, так и путем "самозаполнения". В этом случае присутствие интервьюера необязательно, анкета может быть отправлена по обычной или электронной почте, однако требуется заключение предварительной договоренности с экспертом об опросе. Метод предполагает высокую квалификацию специалистов-исследователей на этапе постановки задачи и планирования исследования, однако весьма прост в части организации и проведения опроса, а также в части обработки полученной информации. Требования к анкетам (структура, формулировка вопросов и вариантов ответов) достаточно стандартны и аналогичны требованиям, предъявляемым к опросам неэкспертного уровня. Одно из основных требований - использование общепринятого профессионального языка, однозначность трактовки используемых терминов.
2. Нестандартизированный экспертный опрос. Метод представляет собой личное интервью с экспертом по определенной проблеме. Степень формализации интервью может быть различной. Низкий уровень формализации опроса - неформальная беседа, для которой определяется только тема, а далее эксперт сам решает, как ее освещать (интервьюер при этом задает уточняющие или наводящие вопросы). Высокий уровень формализации предполагает разработку четко структурированного опросника с вопросами открытого типа. Данный метод по сравнению с предыдущим более сложен как на этапе проведения опроса (требует высокой квалификации интервьюера), так и на этапе интерпретации полученной информации и требует высокой квалификации исследователя.
3. Метод "индивидуального блокнота". Метод представляет собой заочную работу эксперта без непосредственного общения с исследователями. Эксперт получает блокнот, на первой странице которого описана проблема, и затем в течение оговоренного периода времени (определяемого сложностью проблемы и срочностью ее решения) заносит в этот блокнот все свои мысли, идеи, замечания, касающиеся поставленной задачи, после чего сдает блокнот исследователям. Существенную сложность представляет последующая обработка информации и ее интерпретация. Метод требует значительного вовлечения эксперта и, следовательно, предполагает высокий уровень оплаты его труда.
В отличие от индивидуальных групповые методы предполагают коллективную работу экспертов (очную или заочную), они требуют согласования мнений всех экспертов и разработку общего экспертного вывода на основе консенсуса. Групповые методы предпочтительнее с точки зрения повышения надежности экспертизы, однако, они весьма сложны по подготовке и проведению. Требуются высококвалифицированные специалисты для разработки процедуры группового взаимодействия. Далеко не всегда удается собрать в одно время и в одном месте необходимое количество экспертов, отвечающих нужным требованиям.
Групповые методы формирования экспертизы в зависимости от характера и направленности обсуждения подразделяют на аналитические и креативные. Аналитические методы нацелены преимущественно на исследование характеристик изучаемого объекта. Креативные имеют своей целью коллективную генерацию идей или выработку решения проблемы. Соответствующим образом классифицируют и экспертные группы:
· обсуждающие группы (основная цель работы аналитическая),
· созидательные группы (основная цель креативная).
При выработке экспертизы возможно использование как одного из названных методов, так и различных их сочетаний, что имеет смысл, если обсуждаемая проблема слишком сложна. Например, возможно следующее сочетание экспертных процедур:
1. Коллективный блокнот - ознакомление экспертов с проблемой, индивидуальное размышление над проблемой и подготовка экспертов к групповому обсуждению.
2. Групповое обсуждение (фокусирование, мозговой штурм и т.п.) - совместное изучение проблемы, выдвижение и рассмотрение гипотез, выбор наиболее приемлемой гипотезы.
3. Опрос по методу Дельфи - оценивание явления в рамках выбранной гипотезы.
Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, систематизирована, оценена с точки зрения качества, подвергнута анализу и целенаправленной интерпретации, и лишь после этого ее можно рассматривать как решение поставленной задачи. Оценка качества собранной экспертной информации производится, исходя из традиционных требований, предъявляемых к информации. Это актуальность, полнота и достоверность. Качество экспертной информации в принципе можно повысить, если использовать групповые экспертные опросы в несколько туров (особенно с обоснованием мнений), которые позволяют постепенно сблизить оценки экспертов, уточнить и дополнить мнения. Считается, что достоверность экспертных оценок тем выше, чем меньше разброс мнений, что может быть определено путем вычисления среднеквадратичного отклонения. Можно определить достоверность оценок косвенно, исходя из устойчивости мнений экспертов. Если оценки экспертов резко меняются от одного тура к другому, то достоверность таких оценок невелика.
Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:
· правило большинства - выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);
· правило авторитета - выбирается то решение, к которому склоняются самые авторитетные эксперты (в этом случае каждому эксперту должен быть приписан "вес", учитывающий его уровень компетентности);
· правило средней оценки - мнения экспертов приводятся к некому общему знаменателю. Для количественных оценок это сделать достаточно просто: определяется либо простая, либо взвешенная средняя оценка, для качественной информации такое согласование более сложно. При согласовании количественных оценок также может использоваться отбрасывание наименьшей и наибольшей оценок и усреднение оставшихся.
В целом надежность сформированной экспертизы определяется двумя основными факторами:
Во-первых, квалификацией экспертов, их способностью к решению задач данного уровня сложности.
Во-вторых, квалификацией исследовательской команды, ее способностью отобрать компетентных экспертов, "извлечь" и аккумулировать экспертные знания о проблеме.
Основныe этaпы пpoцecca экcпepтнoгo oцeнивaния могут быть представлены схемой:
| ||||
| ||||
| ||||
| ||||
| ||||
| ||||
|
| ||
|
Индивидуальные методы
Индивидуальные экспертные методы используют при прогнозировании в относительно узких областях науки и практики.
Индивидуальные методы основаны на использовании мнений экспертов, не зависимых друг от друга. К индивидуальным экспертным оценкам относят: сценарии, метод "интервью", аналитические докладные записки.
1. Метод интервью предполагает беседу организатора прогнозной деятельности с экспертом-прогнозистом о будущем состоянии предприятия и его среды. Этот метод требует от эксперта умения быстро, фактически экспромтом, давать качественные советы на поставленные вопросы.
2. Метод аналитических докладных записок (аналитических экспертных оценок в форме докладной записки) предполагает, что эксперт-прогнозист выполняет самостоятельно аналитическую работу с оценкой состояния и путей развития, излагая свои соображения письменно. При этом для выявления важности проблем и решений используют метод предпочтения, метод рангов.
3. Метод составления сценариев - наиболее популярный за последние десятилетия метод экспертных оценок. Данный прогноз обычно включает в себя несколько сценариев. В большинстве случаев это три сценария: оптимистический, пессимистический и средний - наиболее вероятный, ожидаемый.
Составление сценария, как правило, включат в себя несколько этапов:
1) структурирование и формулировка вопроса. Вопрос, выбранный для анализа, должен быть определен настолько точно, насколько это возможно.
2) определение и группировка сфер влияния. Для осуществления данного этапа необходимо выделить критические среды бизнеса и оценить их влияние на будущее предприятия.
3) установление показателей будущего развития критически важных факторов среды предприятия. После того как основные сферы влияния обозначены, необходимо определить их возможное состояние в будущем исходя из намеченных предприятием целей. Показатели будущего состояния не должны быть чрезмерно благополучными, амбициозными.
4) формирование и отбор согласующихся наборов предположений. Если на предыдущем этапе предприятие определило будущее состояние среды и ее влияние на предприятие исходя из собственных целей, то на данном этапе возможное развитие сфер влияния определяется исходя из их сегодняшнего состояния и всевозможных изменений.
5) сопоставление намеченных показателей будущего состояния сфер влияния с предположениями об их развитии.
6) введение в анализ разрушительных событий. Разрушительное событие - это внезапно случившийся инцидент, который не был ранее спрогнозирован и который может изменить направление тенденции.
7) установление последствий. На этом этапе сопоставляются стратегические проблемы предприятия (например, возможность роста за счет более широкого освоения рынка) и выбранные варианты развития среды. Определяется характер и степень воздействия тех или иных вариантов развития на стратегические области действий предприятия;
8) принятие мер. В узком смысле этот этап уже не относится к анализу, но он естественно вытекает из предыдущих этапов.
В целом сценарий подчинен стратегической функции предприятия и разрабатывается в процессе долгосрочного планирования. Широкий временной охват предполагает усиление неопределенности среды бизнеса и поэтому для сценария, как правило, характерны некоторая недостоверность и повышенное количество ошибок. Поскольку определение количественных параметров будущего затруднено (так, трудно определить величину продаж предприятия через 5 лет), при составлении сценариев чаще всего используются качественные методы и интервальные прогнозы показателей. В то же время сценарий предполагает комплексный подход для его разработки: помимо качественных могут использоваться и количественные методы - экономико-математические, моделирование, анализ перекрестного влияния, корреляционный анализ и др.