Итак, в других параграфах пособия, а именно 1.8 – 1.11, описаны отдельные методы научных исследований (безусловно, не все), которые довольно часто используются в диссертационных работах по экономике. Следующий параграф посвящен экспертным методам.
1.8. Экспертные оценки в научных исследованиях
В экономических исследованиях довольно часто применяется метод экспертных оценок (МЭО), который представляет собой получение информации путем проведения экспертных опросов.Продуктивность данного метода объясняется тем, что в качестве элемента осмысления исследуемого явления выступает целостное мировоззрение эксперта, что более полно использует эвристический потенциал человека. Сам процесс интеграции разрозненных данных в целостную картину социально-экономического явления может осуществляться многослойно: на начальном этапе, на уровне индивидуальной оценки эксперта, впоследствии в процессе общения и выработки единой концепции явления. Эффективность экспертных методов значительно возрастает за счет рефлексивных процедур, осуществляемых в процессе исследования, когда один эксперт, знакомясь с мнениями других, корректирует свою позицию, либо находит дополнительную аргументацию в ее защиту. Сила экспертных методов не в расширении информационной базы исследования, а в правильной организации процесса оценивания и общения экспертов, в ходе которого происходит не только количественное уточнение, но и качественное обогащение представлений о процессе за счет генерации новых идей.
Экспертные методы относятся к достаточно экономичным и универсальным методам, так как могут быть использованы на разных стадиях исследования, начиная от сбора данных до их интерпретации.
Экспертные оценки можно получить путем непосредственного контакта организаторов опроса с экспертами или заочно на основе индивидуального или коллективного опроса в письменном или устном изложении. Каждый из этих методов имеет свои преимущества и недостатки, и для решения каждой задачи специально назначается организаторами определенный метод.
Важным этапом экспертного опроса является разработка анкет (вопросников) и подготовка инструментария, необходимого для проведения экспертного метода. Разработке анкет следует уделить особое внимание. Они содержат перечень вопросов, позволяющих оценить анализируемый объект, явление и т.д. и тем самым достичь конечной цели.
Форма и содержание вопросов должны соответствовать следующим требованиям:
§ должна использоваться общепринятая терминология формулировки вопросов;
§ в формулировках не должно содержаться смысловой неопределенности;
§ вопросы должны обеспечивать единственное толкование;
§ последовательность вопросов должна соответствовать структуре объекта анализа исследуемого предмета, явления.
Это означает, что исследователь-организатор экспертного опроса, подготавливающий анкету, должен быть хорошо знаком с изучаемой проблемой и объектом анализа, а также с методами составления анкет.
К экспертным оценкам предъявляются требования достоверности и экономичности. Достоверность является функцией количества экспертов, их уровня квалификации и деловых качеств. Поэтому одной из основных задач при подборе экспертов является определение минимально допустимого их количества в условиях ограниченности затрат на получение результатов надлежащей достоверности.
Определение минимально допустимого количества экспертов представляет собой задачу высокой сложности и особой актуальности. Но в последнее время предложен ряд подходов, позволяющих с приемлемой точностью решать эту задачу. Основными из них являются неформализованный и формализованный.
При использовании неформализованного подхода к формированию экспертной группы вначале определяется примерное число будущих экспертов. Малочисленность группы не позволяет обеспечить достаточную статистическую достоверность их выборочной оценки. Кроме того, при небольшом числе представителей экспертной группы на общую групповую оценку существенное влияние оказывают индивидуальные оценки экспертов. Многочисленная группа так же имеет свои недостатки. В ней бывает трудно выявить согласованное мнение экспертов, возрастает взаимозависимость высказываемых мнений, возникают организационные трудности проведения экспертного исследования, увеличиваются затраты времени и денежных средств на проведение оценки качества. Для выхода из этого противоречия можно использовать так называемый метод «снежного кома». Первоначальный список потенциальных экспертов составляют организаторы экспертного опроса. Затем каждый из числа отобранных лиц рекомендует специалистов, способных дать заключение по каждому вопросу проводимого исследования. Получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Последние в свою очередь дают рекомендации о включении в данный список других экспертов. Процесс составления экспертной группы осуществляется путем проведения некоторого числа последовательных итераций. Расширение списка останавливается после стабилизации совокупности рекомендуемых экспертов, на итерации, на которой список потенциальных экспертов перестает пополняться новыми специалистами, то есть когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. При отборе экспертов нужно руководствоваться определенными требованиями (см. отступление 1.17).
|
Формализованный подход к формированию экспертной группы и определению численности и состава ее участников основан на расчете минимальной и максимальной границ численности экспертов, включаемых в состав группы. Формализованный подход позволяет избежать определенных ошибок субъективизма, которые могут иметь место при применении неформализованного подхода. Его применение требует выполнения определенных условий.
 |
Первое условие используется для того, чтобы определить максимальную численность экспертной группы
где с – константа; kmax – максимально возможная компетентность по используемой шкале компетентности; ki – компетентность i -го эксперта.
Условие максимальной численности экспертов предполагает, что при наличии специалистов, обладающих наибольшей компетентностью, среднее значение их оценок можно считать «истинным». Константа определяется путем простого голосования. Группа считается избранной при 2/3 голосов присутствующих, отданных за ее избрание. Исходя из этого константа с принимается также равной 2/3.
 |
Таким образом, максимальная граница численности экспертной группы:
Коэффициент компетентности складывается из следующих параметров: результаты тестирования, отношение к экспертизе, информированность по данному вопросу, включающая в себя знакомство с отечественными и зарубежными источниками, практический и теоретический опыт, а также интуицию.
После этого определяется минимальная граница численности экспертной группы с учетом второго условия – стабилизации средней. Оно отражает факт незначительного влияния состава экспертной группы, а именно, включения и исключения из нее какого-либо специалиста, на среднее значение оценки выполнения требований или формализованном виде:
где 
– средняя оценка прогнозируемого показателя в баллах, данная экспертной группой; 
– средняя оценка, данная экспертной группой с измененным составом (при включении или исключении из нее какого-либо одного эксперта); 
– максимально возможная оценка выполнения требований по принятой шкале оценок; 
– заданная величина изменения средней ошибки при включении или исключении из группы одного эксперта.
Величина средней ошибки имеет наибольшую чувствительность к оценке самого компетентного эксперта, который поставил наибольший балл при 
и наименьший при 
.
Следовательно, для проверки выполнения неравенства условия стабилизации средней, из группы следует исключить одного эксперта. В зависимости от допустимой величины средней ошибки минимальное число экспертов в группе можно определить по формуле:
Окончательно же группа формируется путем последовательного исключения малокомпетентных экспертов при соблюдении условия:
где 
– задаваемая величина границ допустимого отклонения компетентности i -го эксперта от максимальной величины.
Одновременно в группу могут быть включены новые потенциальные эксперты. Таким образом, численность группы устанавливается в пределах:
Для применения формализованного метода учитывают два условия: высокую среднюю компетентность групп экспертов и стабилизацию средней оценки выполнения требования организатора исследования.
Значимым вопросом при использовании МЭО на практике является оценка уровня квалификации и деловых качеств экспертов. Такая оценка необходима для учета значимости мнения каждого эксперта и их влияния на общий результат.
Для определения компетентности потенциальных экспертов и их соответствия перечисленным требованиям используется субъективный и объективный подходы. При первом осуществляется самооценка будущего эксперта, при втором – его опыт и результаты прошлой деятельности изучаются специалистом или их группой.
Оценка уровня квалификации и деловых качеств специалистов с учетом прошлого опыта может иметь место в том случае, если они регулярно привлекаются в качестве экспертов. Однако необходимость экспертной оценки возникает периодически, и, кроме того, не представляется возможным иметь постоянный состав экспертов.
Самооценка экспертами своего уровня квалификации и деловых качеств является менее отработанным приемом и требует от организаторов проведения самой тщательной подготовки, наличия большого опыта и высокой квалификации. Кроме того, эксперты могут сознательно занижать или, наоборот, завышать оценку уровня квалификации и деловых качеств, что в целом искажает результат экспертной оценки.
Наиболее доступной и достоверной среди существующих является методика определения уровня квалификации и деловых качеств экспертов с помощью специальных опросных анкет. При этом в анкетах отдельных групп экспертов-практиков и исследователей вводятся характеристики, каждая из которых имеет определенные градации. Перечень как характеристик, так и их градаций уточняется, а затем значимость последних ранжируется экспертами. Ранжирование градации характеристик, оценивающих уровень квалификации и деловые качества экспертов, осуществляется по баллам от 0 до 10 включительно (не обязательно только целыми). Причем в рамках одной характеристики различные градации могут иметь одинаковые веса.
На основе средних балльных оценок градации рассчитываются поправочные коэффициенты (Кn и Kи), значения которых умножаются на ответ каждого отдельного эксперта в зависимости от его конкретных характеристик:
где Кn и Ки – коэффициенты, характеризующие уровень квалификации и деловых качеств каждого эксперта-практика и эксперта-исследователя; 
и 
– средние экспертные оценки, характеризующие стаж работы эксперта-практика и эксперта-исследователя в исследуемой сфере; 
– средние экспертные оценки, характеризующие стаж работы эксперта-практика в занимаемой должности; 
– средние экспертные оценки, характеризующие уровень образования эксперта; 
– средние экспертные оценки, характеризующие должность эксперта-практика; 
– средние экспертные оценки, характеризующие квалификацию эксперта-практика; 
– средние экспертные оценки, характеризующие стаж исследовательской деятельности; 
– средние экспертные оценки, характеризующие ученую степень эксперта-исследователя; 
– средние экспертные оценки, характеризующие академическое звание эксперта-исследователя; 
– средние экспертные оценки, характеризующие значимость научных трудов эксперта-исследователя.
Здесь следует отметить, что в представленных формулах множитель со значением 0,1 использован для перехода от десятичных балльных оценок, с помощью которых измеряется значимость градации характеристик, к долям единицы, которые применяются при измерении значения коэффициентов.
Обработка ответов на вопросы анкеты позволяет получить количественную оценку компетентности предполагаемого эксперта. Если одновременно используется несколько способов оценки его компетентности, желательно определить какой-либо сводный, обобщающий показатель для каждого эксперта.
|
Для этого, в частности, может служить показатель средней компетентности (dj), исчисленный по формуле средней арифметической, взвешенной с учетом значимости каждого способа.
,
где 
– оценка компетентности j -го эксперта, полученная i -ым способом; 
– весовой коэффициент i -го способа оценки; i – индекс примененного способа оценки, 
.
Так как оценки экспертов представляют собой случайные величины, то необходимо количественно измерять согласованность их мнений. Для оценки совпадений мнений экспертов можно рекомендовать использование коэффициента конкордации (согласованности) – W.
где S – сумма квадратов отклонений сумм рангов (ответов, данных всеми экспертами на каждый вопрос) от среднего значения суммы рангов по данному предмету (объекту) исследования (
)
Тогда
где Ri – ранги, присвоенные каждому вопросу i -ым экспертом; m – число экспертов; n – число вопросов.
Пример применения методики расчета коэффициента конкордации, которая может быть использована при подборе группы экспертов, приведен ниже.
Пусть имеется десять вопросов, характеризующих компетентность каждого эксперта в области знания рисков хозяйственной деятельности предприятия. В экспертную группу предполагается включить пять специалистов, которые являются экспертами в этой сфере знаний. Данные и расчеты по ним представлены в таблицах 1.2 и 1.3.
Таблица 1.2
Ранги ответов, данных экспертами, на вопросы
| Эксперты | Ответы | |||||||||
| А | ||||||||||
| B | ||||||||||
| C | ||||||||||
| D | ||||||||||
| E | ||||||||||
| Общая сумма рангов |
Таблица 1.3
Название
| Показатель | Вопросы | Итого | |||||||||
| А | B | C | D | E | F | G | H | I | J | ||
| Сумма рангов по каждому вопросу | - | ||||||||||
| Отклонения от рангов средней суммы | -8,5 | -5,5 | -2,5 | 9,5 | 14,5 | 19,5 | -10,5 | 3,5 | 8,5 | 21,5 | - |
| Квадрат отклонения | 72,25 | 30,25 | 6,25 | 90,25 | 210,25 | 380,25 | 110,25 | 12,25 | 72,25 | 462,25 | 1446,5 |
По данным таблицы 1.3 исчисляется коэффициент согласованности рангов:
Так как коэффициент конкордации служит мерой общности суждений экспертов, очевидно, что при совпадении мнений экспертов, его величина равна 1. Если различия во мнениях очень велики, коэффициент конкордации приближается к 0. В данном примере он приближен к 1.
Другими важными задачами, решаемыми в рамках метода экспертных оценок, являются построение шкал, ранжирование, парное и последовательное сравнения и другие процедуры экспертных измерений. Но поскольку наиболее важной задачей в применении этого метода, как уже отмечалось, является подбор экспертов, ей и уделено особое внимание. Другие же процедуры Вы можете изучить по специальной литературе.
1.9. Математическое моделирование и модели в экономических исследованиях: обзор необозримого
Новые знания в научных исследованиях можно получать и в процессе экспериментов. В естественных и технических науках эксперимент иногда является основным средством производства новых знаний. В экономических же проведение эксперимента не всегда возможно и оправдано, поскольку может оказаться очень дорогим. Для решения этих задач в экономических исследованиях лучше применять математическое (и не только математическое) моделирование.
В общем и целом, под моделью принято понимать упрощение некоей реальной целостности (объекта, системы, процесса, идеи) путем представления ее в другой, более удобной для восприятия, анализа и экспериментов (исследований) форме. Так, в частности, схема организационной структуры предприятия представляет его модель, на которой, проектируя, например, более эффективную систему управления, можно изображать новые подразделения, прослеживать направления материальных и информационных связей между ними и т.п. Согласитесь, уважаемый читатель, что на модельной схеме производить подобные эксперименты гораздо проще и нагляднее, чем на реальном объекте (т.е. прямо на самом предприятии). Возможность проведения экспериментов на моделях (по-другому, модельных исследований) и составляет их основное достоинство. В исследовании экономических систем, при получении новых знаний о них, всегда возможны ошибки. И очевидно, что лучше совершать эти ошибки, экспериментируя на моделях, чем на реальных объектах. Так будет намного дешевле.
В теории и практике моделирования выделяют несколько классов моделей: физические, аналоговые, математические и имитационные. В литературе можно встретить и другие классификации. Они отличаются от выше приведенной либо названиями классов, либо более подробным подразделением на них, либо тем и другим вместе.
Физическая модель представляет собой выполненный в масштабе материальный объект моделируемой целостности. Это может быть, к примеру, уменьшенная модель самолета, предназначенная для изучения его аэродинамических свойств. Так называемых фотомоделей, очевидно, тоже можно (как это ни странно звучит) отнести к данному классу, поскольку они представляют собой физическое воплощение общепринятых, или разделяемых группой экспертов, представлений об одежде, красоте, манерах и т.п. Физические модели являются точными копиями моделируемых объектов и ведут себя похожим образом. Но поскольку они меньше и проще самих объектов, то эксперименты по установлению их свойств обходятся намного дешевле. Так, например, очевидно, что установление пределов аэродинамического давления путем регулируемого изменения нагрузки на модель самолета до ее разрушения будет неизмеримо меньше, чем проведение таких испытаний на готовом самолете. Равно как и апробация новых образцов одежды на фотомоделях также будет дешевле (хотя само по себе это мероприятие вряд ли можно назвать дешевым), чем запуск этих образцов в производство с надеждой, что они будут пользоваться спросом на рынке.
Аналоговая модель представляет реальный объект не точной его копией, как это имеет место при физическом моделировании, а совершенно другим объектом, который выглядит по-иному, но вместе с тем ведет себя так или очень похоже, как моделируемая целостность. Если физические модели в управлении предприятиями используют не очень часто, то аналоговые в этой сфере человеческой деятельности находят довольно широкое применение. К их числу относится любой график производственно-хозяйственной деятельности. Так, в частности, график безубыточности показывает, при каком объеме производства того или иного продукта предприятие преодолеет барьер превышения издержек над выручкой. Схема организационной структуры также представляет собой аналог системы управления на предприятии. Известный венгерский экономист Янош Корнаи в книге «Дефицит» уподобил национальную экономику сообщающимся сосудам, в которых переливающаяся жидкость служит аналогом переливания капиталов из отрасли в отрасль. Можно привести и массу других примеров применения аналоговых моделей в управлении.
Математические модели представляют собой чрезвычайно большой и структурно разветвленный класс моделей. При этом диапазон структурной разветвленности очень широк. Неполный перечень видов и разновидностей экономико-математических моделей, характеризующий этот диапазон, представлен на страницах данной книги. Кроме того, математические модели отличаются друг от друга и своей сложностью. И здесь диапазон различий также является очень широким. Так, в частности, математическая модель может быть представлена в виде одной формулы. Например, формула расчета точки безубыточности является математической моделью, в то время как график безубыточности, о котором говорилось чуть выше, аналоговой моделью того же самого состояния предприятия, оцениваемого по параметрам издержек и выручки. В этом случае график как модель визуально показывает зоны убыточности и прибыльности, определяемые объемами производства. Формула же как модель позволяет при заданных величинах постоянных затрат, а также переменных, приходящихся на единицу продукции, и цены вычислять тот объем производства, при котором выручка сравнивается с издержками. Другими словами, у каждой модели свои преимущества. Математическая модель – другая крайность – может быть представлена и в форме взаимосвязанных уравнений, неравенств, выраженных в математической форме условий, с огромным числом переменных. Наиболее простыми из них являются модели линейного программирования, в которых уравнение представляет собой целевую функцию, выражающую, например, максимизацию прибыли, а неравенства – ограничения на имеющиеся ресурсы. Аналогичную форму и структуру имеют родственные линейному программированию модели дискретной оптимизации, нелинейного программирования и др. Иногда математические модели могут включать в себя элементы аналоговых моделей. К их числу, например, можно отнести модели сетевого планирования, в которых математические зависимости дополняются сетевыми графиками. В отечественной высшей школе применение математических моделей подробно изучается в курсах экономико-математического моделирования, по которым издано большое число учебной литературы (см., например, [11, 16, 21]).