Выявление экспертных оценок
Экспертом признается респондент, компетентный в проблемах, непосредственно связанных с предметом исследования. Опрос таких лиц называется экспертным, а установленные в его ходе суждения респондентов о свойствах изучаемого явления – экспертными оценками.
Выявление экспертных оценок необходимо при анализе наиболее существенных аспектов исследуемой проблемы, особенно в ситуациях дискуссионности их трактовок или фактического отсутствия определенности в их осмыслении наукой. В таких случаях он выступает в роли основного метода исследования, программа его проведения отражается в общей программе исследования. Если же данный метод играет вспомогательную роль, добавляя информацию к полученной иными методами, то исследователи обязаны составить особую (самостоятельную) программу его реализации. Главными ее компонентами будут формулировки, четко фиксирующие: а) проблемную (дискуссионную, нерешенную наукой) ситуацию, б) терминологию экспертных оценок (путем операционализации общих понятий), в) гипотезы, выносимые на экспертизу, г) комплекс требований, на основе которых будет производиться подбор экспертов (критерии их компетентности), д) индикаторы, позволяющие измерять суждения экспертов, е) инструментарий этих замеров и первичной обработки данных, ж) правила проведения и сценарий экспертизы, т.е. процедуры согласования и интегрирования оценок экспертов. Последний компонент нуждается в пояснении. Речь идет не о тех общих правилах, которые используются социологами при количественном анализе данных исследования, не о приемах математического и статистического анализа информации. При определении конкретного состава экспертов надлежит руководствоваться не только и не столько компетентностью экспертов, сколько валидностью их заключений. Как свидетельствует опыт, нередки случаи, когда компетентность эксперта не дает адекватной валидности. Это объясняется многими обстоятельствами, в разной мере зависимыми от монитора, т.е. исследователя, организующего экспертный опрос и проводящего экспертизу. Ряд этих обстоятельств имеет психологическое свойство. Эксперт с задатками лидера стремится к доминированию своих оценок, настаивая на них даже тогда, когда внутренне сомневается в их истинности. Человек конформистского склада ведет себя прямо противоположным образом, а конфликтогенный – склонен к оспариванию даже тех мнений других людей, с которыми по существу согласен. Большинству людей присуще смещать свои оценки в стороны нейтральной середины, а часть экспертов заинтересована в преднамеренном искажении информации. Все это, конечно, должно учитываться монитором. Но еще более важно иметь в виду то, что расхождение между компетентностью и валидностью экспертных оценок – неизбежное следствие нарушения следующих правил организации и проведения экспертизы:
|
|
1. Понятийная строгость, однозначность используемых категорий, подготовка в сложных случаях специальных словарей, растолковывающих значение некоторых понятий, использование им всеми экспертами в ходе экспертизы.
2. Четкое определение цели всех аспектов экспертизы и каждого из них в отдельности, их соответствие исследовательским задачам и гипотезам.
|
|
3. Тщательный подбор экспертов на основе продуманно сконструированной модели идеального эксперта и критериев, вытекающих из этой модели.
4. Соблюдение правила оптимума численности экспертов, т.е. учет того, что ограничение состава экспертов ведет к росту веса оценки каждого эксперта, и расширение их состава затрудняет интегрирование экспертных оценок, (то и другое увеличивает риск принятия монитором ошибочных выводов).
5. Апробация всего инструментария как экспертного опроса, так и последующих процедур сопоставления и согласования оценок экспертов.
6. Информационная изоляция экспертов друг от друга на первом этапе (туре) экспертного опроса.
7. Налаживание теснейшего творческого взаимодействия экспертов на последующих этапах экспертизы (после установления меры валидности полученных оценок).
8. Безупречное знание монитором и практическое применение им конкретных методик интенсивного группового взаимодействия экспертов на завершающем этапе экспертизы.
Интеграция экспертных оценок
Интеграция экспертных оценок есть, по сути дела, совокупность приемов перевода количественного анализа этих оценок в качественный. Поэтому он, с одной стороны, невозможен без предварительного выявления количественных признаков мнений экспертов, с другой – принципиально отличен от их традиционно количественной интерпретации, а с третьей – свидетельствует о надуманности и некорректности утверждений, согласно которым качественная методология лучше (или хуже) количественной. Реально лучшим оказываются исследовательские методы, в наибольшей степени соответствующие задачам исследования.
|
|
Интегрирование (согласование, комплексирование) экспертных оценок необходимо тогда, когда нужно: 1) выработать научно обоснованное управленческое решение; 2) сформулировать миниконцепцию, объясняющую новые явления и процессы, происходящие в изучаемом микросоциуме, и дающую основание для последующего теоретизирования. Как уже отмечалось, без этого невозможно в полной мере реализовать эвристические и практико-ориентированные возможности фокус-группы, БОУ и "проблемного колеса". Иначе говоря, интеграция оценок экспертов, являясь вполне самостоятельным способом качественного анализа информации, вплетается в другие качественные методики и в этом смысле выступает их составной частью.
Реализация характеризуемого метода предполагает выполнение ряда исследовательских операций в следующей последовательности:
1. Установление мнений экспертов по исследуемой проблеме в заочной форме, т.е. путем анкетирования, заполнения экспертами специальных документов (карт, бланков), изучение монитором докладных записок и иных материалов экспертного характера.
2. Шкалирование выявленных мнений экспертов, т.е. сопоставление показателей их отношения к предмету экспертизы либо по ранговой, либо номинальной, либо метрической шкалам, или по некоторой совокупности этих шкал.
3. Согласование мнений экспертов по технике Дельфи, предусматривающей трех-шестикратное повторение заочных опросов экспертов и соответствующее число шкалирований их оценок. На каждом новом этапе опроса (интеграции) монитор информирует экспертов о результатах предыдущего опроса, сообщает им о мнении большинства и просит аргументировать свое мнение, т.е. его совпадение или расхождение с тем, которое претендует на господствующую роль. При этом на каждом этапе эксперту предлагается определить место своего мнения в заранее подготовленной шкале. Каждый этап завершается статистической обработкой полученных от экспертов шкал, исчислением средних арифметических показателей, медианы и квартелей, определением показателей разброса мнений, выявлением крайних мнений, т.е. особо отклоняющихся от оценок большинства. Типичных выразителей крайних мнений и господствующей оценки приглашают для участия в последующих процедурах интегрирования экспертных оценок.
4. Очное выяснение отношений экспертов к предмету экспертизы и разным вариантам решения обсуждаемой проблемы в групповой дискуссии. Последняя может проводиться не только по вышеизложенным методам (фокус-группы, БОУ, "проблемного колеса"), но и на основе иных способов активизации творческого мышления в группе ("мозговой штурм", синектика, ИПИД и т.п.).
Методика "мозгового штурма" предполагает устранение субординационных границ между участниками дискуссии, запрет критики любых идей, прозвучавших из уст экспертов, поощрение свободного выражения любых мнений и комбинирования идей друг друга, выдвижение необычных, даже несбыточных положений, снижение уровня самокритичности участников дискуссии, расковывание творческого мышления участников дискуссии. Благодаря этому удается выяснить оригинальные подходы к изучаемой проблеме, разнообразие ее возможных решений, определить наиболее оптимальный вариант, сблизить мнения экспертов, добиться их определенного консенсуса в понимании обсуждаемой проблемы.
Синектическая методика дискутирования и согласования мнений экспертов применяется тогда, когда обсуждаемая проблема характеризуется особой трудностью решения, а эксперты – повышенной компетентностью. Она позволяет выявить наибольшее число оригинальных идей и детально проанализировать каждую из них. Ценность этой методики проявляется и в другом. Участникам "синектической группы" ставятся задачи: 1) четко высказывать свое понимание проблемы; 2) внимательно выслушать мнения других; 3) поставить себя в положение тех участников дискуссии, которые выражают противоположную точку зрения, и постараться понять, почему их мнение таково, какое есть (т.е. проявить эмпатию); 4) скорректировать свою позицию с учетом резонности позиций других. Если эти условия выполняются, то на пути интегрирования оценок экспертов делается значительный шаг вперед.
Эту задачу можно решить и с помощью ИПИД – специальной методики проведения дискуссии, делающей акцент на "индуцировании психоинтеллектуальной деятельности". Ее следует применять не для выявления разных позиций дискутеров, а в условиях, когда эти позиции уже установлены другими методами. Цель ИПИД – выработка единого понимания проблемы, обеспечение единства действий участников дискуссии по решению обсужденного вопроса. Для этого используются разнообразные техники выработки консенсуса, как те, которые применяются в "синектической группе" (проявления эмпатии), так и многие другие. Речь идет, прежде всего, о "Стоп-технике", "Да-технике", "Чем-тем-технике", "формуле неконфликтного общения", "пароля для друзей" и т.п.
Ранжирование предложенных экспертами вариантов решения исследуемой проблемы, их упорядочение по трем, как минимум, основаниям:
1. степени популярности, т.е. представленности в коллективном мнении экспертов;
2. мере реализуемости, возможности практического выполнения;
3. последствиям их реализации для тех социальных систем (и подсистем), в которых сложилась исследуемая проблема.
Эта исследовательская операция делается после и по итогам очного сопоставления мнений экспертов. Когда в исследовании применяются не одна, а несколько форм групповых дискуссий, возникает необходимость нескольких туров ранжирования, переплетения этой исследовательской операции с предыдущей. Данное ранжирование необходимо для выработки оптимального решения проблемы и последующего этапа интеграции оценок экспертов.
Синтезирование экспертных оценок в форме минитеории, т.е. непротиворечивого научно доказательного объяснения изученного явления, его причин и тенденций изменения, возможностей влияния на него со стороны различных субъектов социальной жизни. Эта операция требует от исследователя солидной теоретической подготовки (ибо разработка мини теории предполагает знание теорий более высокого уровня), аналитических навыков и научной достоверности. Она призвана обобщить все оценки экспертов, отразить не только достигнутый уровень их согласия, но и мнения, выпадающие из общей их картины. Разработка такой мини концепции необходима в двух отношениях: во-первых, в качестве "кирпичика", из которых строятся социологические теории "среднего", а затем и "большего" уровней; во-вторых, – для завершения процедуры интегрирования экспертных оценок.
4. Комплексирование экспертных оценок – последняя исследовательская операция по интеграции мнений экспертов. Ее конечный результат – комплексная программа решения изученной проблемы (или нескольких вариантов такой программы). Она должна логично вытекать из выше охарактеризованной мини теории и содержать перечень мер, реализация которых обеспечит решение исследованного вопроса. Предлагаемые меры дифференцируются:
o на стратегические (важные и долговременные) и тактические (детализирующие первые);
o по времени исполнения (первоочередные, второочередные и т.п.);
o по затратам разнообразных ресурсов;
o по ожидаемому эффекту от этих затрат;
o по адресатам (организациям, персонам), могущим реализовать рекомендации;
o по другим основаниям, зависящим от характера проблемы и способов ее решения.
Все сказанное можно выразить в виде следующей схемы:
|
| Последовательность операций интегрирования экспертных оценок |