ЛЕКЦИЯ 3. СПЕЦИФИЧЕСКИЕ МЕТОДЫИССЛЕДОВАНИЯ СИТУАЦИЙ
Методы исследования (анализа) документов и экспертных оценок.
Методы тестирования, коллективного анализа, деловых игр.
Система диверсифицированных методов исследований. Различия и взаимосвязь.
Специфические методы исследования отражают специфику объекта исследования, его предмет и задачи. К специфическим методам исследования ситуаций относятся: а) методы исследования (анализа) документов; б) экспертные методы; в) методы проведения модельного эксперимента, г) социологических исследований, д) методы тестирования, е) коллективного анализа, ж) социометрических оценок, з) деловых и инновационных игр, и) методы имитационного моделирования и др.
Рисунок 1 – Специфические методы исследования управленческих ситуаций
Методы исследования (анализа) документов и экспертных оценок.
Один из критериев выбора методов исследования – степень определенности ситуации или проблемы. При этом определенность проблемы характеризуют ее истоки, структура, содержание, типологическая принадлежность, сфера действительности, зрелость, возможность относительного отграничения от других проблем (признаки целостности).
Существуют минимальная, частичная и максимальная определенность проблемы. Каждая из них предполагает свой набор методов исследования.
а) Методы исследования (анализа) документов .Цeль – иccлeдoвaние кaчecтвeнныx и кoличecтвeнныx xapaктepиcтик инфopмaции, функционирующей в cиcтeмe yпpaвлeния. Наряду с инфopмaциoнными пoтoками и мaccивами дaнныx объeктaми иccлeдoвaния являютcя мeтoды и cpeдcтвa иx пepeдaчи, пpeдcтaвлeния, oбpaбoтки, xpaнeния.
Инфopмaциoнному aнaлизу подвергаютcя cлeдyющиe пoкaзaтeли:
- нaпpaвлeниe инфopмaциoнныx пoтoкoв;
- oбъeм и cкopocть пepeдaчи инфopмaции;
- xapaктepиcтики мeтoдoв ее oбpaбoтки и возможные oшибки, coвepшaeмыe пpи этoм;
- дocтoвepнocть пepeдaвaeмыx cooбщeний;
- кaчecтвeнный cocтaв инфopмaции.
Пpoцeдypa инфopмaциoннoгo aнaлизa включaeт:
- дeкoмпoзицию инфopмaциoннoй пoдcиcтeмы cиcтeмы yпpaвлeния;
- oпpeдeлeниe нaпpaвлeний инфopмaциoнныx пoтoкoв и иx xapaктepиcтик;
- oцeнкy, эффeктивнocти фyнкциoниpoвaния инфopмaциoннoй пoдcиcтeмы;
- пpинятиe peшeния o нeoбxoдимocти coвepшeнcтвoвaния инфopмaциoннoй пoдcиcтeмы.
Методы экспертных оценок.
Э кспертные оценки – это суждения высококвалифицированных специалистов, представленные в виде качественных или количественных оценок исследуемого объекта, используемых при принятии решений.
Использование экспертных оценок, их обоснование основывается на том, что искомая характеристика исследуемого объекта является случайной величиной, закон распределения которой отражает индивидуальная оценка эксперта о ее значимости и достоверности. Предполагается, что истинное значение искомой характеристики находится в диапазоне оценок, полученных от группы экспертов, и коллективное мнение можно считать достоверным.
В настоящее время методы выявления экспертных знаний разработаны недостаточно полно и глубоко. Проводимые научные исследования и методические рекомендации, как правило, утверждают, что экспертные знания должны быть полные, непротиворечивые, структурированные и т.д., но практически нигде не говорится о том, какими методами и алгоритмами можно этого добиться.
Таким образом, основной целью организации и проведения экспертиз является повышение профессионального уровня принимаемых решений посредством использования технологий экспертного оценивания, специально разработанных для этих задач и проверенных на практике.
Экспертизы бывают индивидуальные и коллективные, однотуровые и много туровые, анонимные и открытые, с обменом информацией между специалистами и без.
Тип используемых процедур экспертизы зависит от задачи оценивания.
К наиболее употребительным процедурам экспертных измерений относятся:
• ранжирование;
• парное сравнивание;
• множественные сравнения;
• непосредственная оценка;
• метод Черчмена-Акоффа;
• метод Терстоуна;
• метод фон Неймана-Моргенштерна.
Целесообразность применения того или иного метода во многом определяется характером анализируемой информации. Если оправданы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения.
Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать какой-либо метод численной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и фон Неймана-Моргенштерна.
Условия для получения качественной экспертной информации:
• экспертная комиссия должна состоять из специалистов-профессионалов, знакомых с объектом исследования и имеющих опыт экспертной работы;
• аналитическая группа должна профессионально владеть технологией организации экспертиз, методами обучения и анализа полученной от экспертов информации;
• экспертная информация должна быть достоверной;
• обработка и анализ информации должны быть корректны.
Часто при проведении экспертизы оценка объекта или явления производится по заранее определенному набору параметров (фактов, критериев).
Например, при прогнозировании объемов жилищного строительства в конкретном городе учитываются различного рода факторы, характеризующие не только потребность в жилье, но и прочие социальные явления, которые влияют на потребность в жилье.
В качестве таких факторов могут быть выделены:
• демографические сведения о численности населения, его составе по возрасту, полу, образованию и пр.;
• данные о миграции, как внутренней, так и внешней;
• учет сезонных приростов населения;
• урбанизацию, характерной чертой которой является увеличение доли населения, проживающего в сельской местности, но работающего в городах;
• изменение жилищного законодательства, на основе которого могут измениться формы приобретения жилья;
• кроме того, существуют и многие другие социальные причины.
Такое разнообразие необходимой информации затрудняет получить абсолютно точный прогноз в данной области. Тем не менее, составление прогнозов всегда целесообразно. «Даже плохой прогноз лучше хорошей неопределенности».
Различные характеристики вносят в общую оценку такого показателя, как потребность в жилье, неодинаковую значимость. Для определения значимости каждой характеристики ставится задача определения ее ранга. Ниже рассмотрим методы экспертного оценивания при решении поставленной задачи.
Пусть экспертам, принадлежащим к разным школам, предлагают проранжировать п возможных факторов, определив для них ранги (порядковые номера 1, 2, 3,..., п) в зависимости от размеров вносимых ими вкладов. Степень согласованности итогов ранжирования двух экспертов оценивается с помощью коэффициента ранговой корреляции Спирмена. Обозначим через {хi} и {уi} ранги, которые установили два эксперта, тогда коэффициент корреляции Спирмена R будет определяться формулой
Естественно, что максимальным значением степени согласованности экспертов является +1 (достигается, когда ранги обоих экспертов совпадают), а минимальным значением является –1 (соответствует случаю, когда мнения экспертов противоположны).
Нередко возникают трудности при попытке проведения четкого разграничения разных объектов оценивания. Тогда вводят «связанные ранги», когда те объекты оценивания, которые эксперт затрудняется выделить один от другого, получают одинаковый дробный номер. Так, если эксперт не может разграничить по значимости третью и четвертую характеристики, то им обеим присваивается одинаковый дробный номер 3,5.
Больший интерес на практике представляют не коэффициенты ранговой корреляции, характеризующие согласованность мнений разных экспертов, а коэффициент конкордации, который определяет согласованность мнений всей группы экспертов.
Поясним смысл этого понятия на примере табл. 1.2.1, в которую занесены ранги, проставленные т экспертами для характеристик исследуемого объекта (явления). В нижней строке таблицы суммируются ранги всех экспертов для каждой характеристики. Среднее значение этих сумм обозначим через L.
Статистические методы выявления степени согласованности мнений экспертов, принадлежащих к различным научным школам, можно с успехом использовать в процессе построения различных систем управления производством, в том числе и для выбора методов антикризисного управления.
К проблемам, затрудняющим процесс выработки и принятия правильного решения, следует отнести возможное наличие противоречивой экспертной информации, а также не соответствующей действительности информации вследствие конформизма или конъюнктурности эксперта.
Остановимся более подробно на одной из центральных проблем при формировании экспертной комиссии – определении уровня профессионализма эксперта, следовательно, и качества получаемой экспертной информации.
Существуют априорные методы оценки эксперта, в которых не используется информация о результатах его участия в предшествовавших экспертизах, апостериорные, в которых учитывается подобная информация, и тестовые, предполагающие проведение специального тестового эксперимента.
Примером априорного метода оценки эксперта является дифференциальный метод самооценки. В нем оценка идет по двум группам критериев: характеризующим знакомство эксперта с основными источниками информации в области проведения экспертизы (например, с отечественной, зарубежной литературой, патентной и другой информацией) и характеризующим знакомство эксперта с объектами экспертизы. В этом случае самооценка эксперта может быть определена по формуле
С помощью апостериорных методов, учитывающих информацию о результатах участия эксперта в предшествующих экспертизах, могут получить оценку и такие факты, как степень конъюнктурности эксперта, степень его конформизма, воспроизводимость оценок и т.д.
Так, например, в основе оценки компетентности эксперта методом парных сравнений лежит использование избыточности получаемой информации. Эксперту последовательно предъявляются пары сравниваемых объектов, и он указывает, какой из них, с его точки зрения, предпочтительнее. После предъявления всех пар объектов у аналитика оказывается, как правило, дублированная информация о предпочтениях эксперта. Если при непосредственном сравнении первый объект предпочтительнее второго, а второй объект предпочтительнее третьего, но в то же время третий объект предпочтительнее первого, то возникает очевидное противоречие. Бывают и более длинные цепочки сравнений, приводящие к противоречию. Естественно, чем меньше противоречий в суждениях эксперта, тем он считается более компетентным.
Если обозначить через d число противоречий, то при четном числе сравниваемых объектов п коэффициент компетентности
Если противоречия в оценках эксперта отсутствуют, то Y = 1, т.е. значение коэффициента компетентности максимально.
Тестовые методы интересны тем, что их широко используют при определении профессиональной пригодности специалистов в различных областях деятельности.
При проведении тестовых экспериментов необходимо обеспечить следующие условия:
1) тест должен быть разработан для конкретных объектов экспертной оценки;
2) результаты тестовых оценок эксперта должны соответствовать истинным их значениям, известным аналитической группе, но не известным эксперту;
3) должна быть разработана шкала, позволяющая определить степень точности оценок, даваемых экспертом; могут устанавливаться допустимые пределы отклонений оценок экспертов от истинных;
4) вероятность случайного угадывания экспертной оценки в тестовом эксперименте должна быть достаточно мала.
При проведении экспертиз приходится сталкиваться и с такими специфическими проблемами экспертного оценивания, как повышение степени объективности экспертных оценок.
Необходимо правильно понимать реальные возможности использования метода экспертного оценивания. Далеко не все существующие проблемы могут быть решены с помощью экспертных оценок.
С другой стороны, отказ от использования экспертных оценок приводит на практике к большому числу неверно принятых решений, которые отражаются на судьбе отдельного предприятия, региона или страны в целом. Основные причины, приводящие к таким результатам – недостаточная обоснованность предлагаемых решений, отсутствие должной компетентности принимающих их лиц. В этом нет ничего удивительного, так как ответственное лицо не может одинаково профессионально знать все проблемы, по которым ему приходится принимать решение в силу занимаемой должности и общественного положения. Да и время, отпущенное на решение, нередко оказывается ограниченным.
Следует отметить, что использование классического частотного метода оценки вероятности часто затрудняется в связи с возможной нерепрезентативностью выборки. В настоящее время разрабатываются методы определения вероятности экспертной оценки на базе теории нечетких множеств Заде и на представлении об оценке как вероятности достижения цели или степени подтверждения гипотезы.
Один из наиболее используемых экспертных методов является метод исследования сильных и слабых сторон системы, возможностей и угроз ее функционирования – метод SWOT-анализа. Он отвечает на следующие вопросы:
– используются ли внутренние сильные стороны организации в своей стратегии? Если организация не имеет отличительных преимуществ, то какие потенциально сильные стороны могут ими стать?
– какие слабости организации являются ее уязвимыми местами, не дающими возможность использования определенных благоприятных обстоятельств? Какие из них требуют корректировки или полного устранения?
– какие благоприятные возможности могут дать организации реальные шансы на успех? (с указанием способов их реализации);
– какие угрозы вызывают наибольшее беспокойство, и какие стратегические действия необходимо предпринять для защиты от них?