МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК
1. Причины использования экспертных оценок1
Для современных рыночных условий актуальна старая истина: «Управлять — значит предвидеть». Как уже было отмечено, особое значение приобретают в управлении методы оптимизации, основанные на применении математических моделей. Они помогают привести сложные и подчас неопределенные факторы, связанные с проблемой принятия решения, в логически стройную систему, определить, какие данные необходимы для оценки и выбора альтернатив, а затем найти наилучшее (оптимальное) решение из всех возможных. В качестве инструмента при этом используют методы математического программирования.
Планирование и управление экономическими объектами всегда осуществляются в условиях недостаточности информации о будущем, на них оказывают влияние различные случайные и неучтенные факторы. Вследствие этого экономические закономерности
функционирования объектов носят случайный, стохастический характер. Поэтому другой класс математических методов принятия решений основывается на применении статистических методов анализа.
При этом предполагается, что информация, используемая для обоснования решений, достоверна и надежна. Больше того, прогнозируемые явления и факты не должны выходить далеко за пределы тех значений, на которых основывались статистические расчеты.
Таким образом, можно систематизировать трудности, возникающие при выработке сложных решений:
— исходная статистическая информация не всегда достаточно достоверна; если она даже достоверна, то она не всегда может служить надежной базой для принятия решений, нацеленных на будущее, поскольку условия функционирования могут резко измениться;
— часть информации имеет качественный характер и не поддается в принципе количественной оценке — влияние социальных и политических факторов, экономический эффект от внедрения нововведений и т. п.;
— в момент принятия решения отсутствуют данные, которые могут повлиять на реализацию решений в будущем, но их нельзя не учесть;
— любая идея потенциально предполагает возможность различных способов их реализации, а экономические последствия порождают многочисленные исходы, которые заранее необходимо оценить; оценка же осуществляется в условиях ограниченных ресурсов, и принятие одного решения приводит к отказу от других, может быть, не менее эффективных;
— многозначность, многомерность и качественное различие показателей, входящих в обобщенный критерий качества решения, являются препятствием для оценки эффективности, качества, ценности или полезности каждого из возможных решений.
Вывод: при принятии решений применение расчетов должно сочетаться с использованием суждений руководителей, ученых, специалистов, консультантов — экспертов. Это позволяет использовать их индивидуальный и коллективный опыт, нередко «скрытый», выражающийся просто как здравый смысл. Невозможность получения формализованной и абсолютно достоверной информации сглаживается применением математико-статистических методов анализа и обобщения оценок экспертов.
Простота математического аппарата и наличие современных программных средств их реализации позволяют сосредоточиться на логическом анализе выводов и окончательном принятии управленческого решения.
2. Этапы реализации метода экспертных оценок1
Основные этапы процесса экспертного оценивания альтернатив:
1) формирование цели и задач исследования;
2) формирование группы управления проведения оценивания;
3) выбор метода получения экспертной информации и способов ее обработки;
4) подбор группы экспертов и создание опросных листов (анкет);
5) опрос экспертов;
6) обработка и анализ результатов опроса;
7) интерпретация результатов.
1. Цель и задачи экспертного опроса ставит ЛПР или заказчик. Он определяет форму, уровень надежности и область использования результатов, надежность и полноту предоставляемой исходной информации, необходимость привлечения сторонних экспертов и др.
2. Подготовку, организацию и координацию всего процесса экспертизы обеспечивает группа управления, назначаемая ЛПР, во главе с руководителем.
3. Методы получения информации от экспертов могут быть разными:
■ по почте (опросные листы, анкеты, дневники наблюдений и т. п.);
■ интервью;
■ ответы на вопросы собирают и представляют на обработку специально назначенные работники;
■ возможна на разных этапах комбинация трех предыдущих методов.
4. При подборе потенциальных экспертов из числа специалистов предприятия решается несколько проблем: оценка компетентности кандидатов; определение минимально необходимого числа экспертов; оценка степени согласованности мнений экспертов. Учитывается также ряд их черт характера и профессиональных качеств: креативность; отношение к экспертизе; конформизм; аналитичность и широта мышления; коллективизм; самокритичность; стаж работы и др.
Оценка компетентности экспертов
Компетентность эксперта есть степень его квалификации в определенной области знаний, и она оценивается только если в исследовании важно учесть весовые коэффициенты экспертных оценок каждого эксперта.
Значение весового коэффициента понимается как степень вероятности выдачи экспертом достоверной оценки. Как и значение вероятности, весовой коэффициент может принимать значения между нулем и единицей.
Оценку компетентности определяют с помощью различных приемов. Например, методом контрольной экспертизы (если правильные ответы на поставленные вопросы заранее известны).
Другой способ основан на сопоставлении нормированных балльных оценок экспертов1. Рассмотрим этот способ на примере.
ПРИМЕР. Четыре эксперта оценивают важность трех элементов повышения рентабельности предприятия: покупательной способности (W1), себестоимости (W2) и затрат (W3). Используется 10-балльная шкала. Результаты их оценок приведены в таблице ниже. В связи с тем, что количество значений шкалы не равно числу оцениваемых элементов, необходимо определить нормированные балльные оценки путем деления каждой оценки на сумму
оценок того же эксперта. На этом этапе предполагается, что все эксперты одинаково компетентны.
Получим взвешенные оценки экспертов с использованием средних баллов:
для 1-го эксперта: 0,57 х 0,51 + 0,29 х 0,34 + 0,14 х 0,15 = 0,41;
для 2-го эксперта: 0,77 х 0,51 + 0,15 х 0,34 + 0,08 х 0,15 = 0,45;
для 3-го эксперта: 0,29 х 051 + 0,58 х 0,34 + 0,13 х 0,15 = 0,31;
для 4-го эксперта: 0,42 х 0,51 + 0,33 х 0,34 f 0,25 х 0,15 = 0,36.
Сумма взвешенных оценок: 0,41 + 0,45 + 0,31 + 0,36 = 1,53.
Таким образом, коэффициенты компетентности экспертов равны:
для 1-го эксперта: 0,41/1,53 = 0,26;
для 2-го эксперта: 0,45/1,53 = 0,30;
для 3-го эксперта: 0,31/1,53 = 0,20;
для 4-го эксперта: 0,36/1,53 = 0,24.
Если было бы необходимо уменьшить число экспертов, самым некомпетентным в смысле наибольшего отличия индивидуальных оценок от средних считался бы третий эксперт. Такие выводы нужно делать крайне осторожно, потому что различие во мнении одного1 эксперта от всех других может как раз указывать на его высшую квалификацию. Во всяком случае, это дает серьезное основание глубже заинтересоваться руководителям таким оригинальным мнением. В большинстве же случаев в группы экспертов собираются специалисты примерно одинаковой квалификации.
Рассмотрим еще один подход к оценке компетентности экспертов [2], которые являются сотрудниками данной организации. Здесь оценка компетентности производится на основе шкалы, каждый балл которой определяется руководителями высшего звена и специалистами в конкретной области с помощью набора характеристик, оценивающих квалификацию эксперта, по 10-балльной шкале. В качестве характеристик можно использовать, например:
■ уровень квалификации эксперта в данной узкой области;
■ уровень теоретической подготовки;
■ практический опыт;
■ широта кругозора.
Для оценки уровня квалификации можно применить следующие значения баллов:
■ 10 — эксперт специализируется по данному вопросу;
■ 8 — эксперт участвует в практическом решении данного вопроса, но он не входит в сферу его узкой специализации;
■ 5 — вопрос тесно связан с узкой специализацией эксперта (смежная область практической деятельности);
■ 3 — вопрос тесно не связан с узкой специализацией эксперта (знаком с проблемой по литературным источникам, по опыту работы других предприятий).
Возможна и простая балльная оценка компетентности эксперта по его причастности к обсуждаемой проблеме и занимаемой должности (табл. 10.3).
В практике экспертного оценивания получила распространение оценка компетентности с помощью самооценки эксперта и оценки другими экспертами. Этот подход обусловлен тем, что измерение столь сложного свойства, как компетентность, может быть реально осуществлено только людьми.
Баллы одного эксперта усредняются и получаем объективную оценку компетентности эксперта hs°, аналогично определяется показатель относительной самооценки эксперта — субъективную
оценку компетентности hsc. Компетентность эксперта по данному вопросу можно характеризовать так:
Очевидно, что приемов получения агрегированной взвешенной оценки компетентности можно предложить больше, однако понятно, что этот подход имеет самостоятельную ценность в организации для определения места каждого сотрудника по уровню его "компетентности. Опрашивать руководителей и определять этот показатель необходимо только тогда, когда нужно отобрать из списка кандидатов ограниченное число экспертов или если принято решение обрабатывать мнения экспертов с учетом их компетентности.
В каждом конкретном случае учитывается и ряд индивидуальных характеристик. Так, при опросе потребителей автомобилей необходимо учитывать возраст, образование, район проживания, доход на одного члена семьи, род занятий и т. п. В этом случае в группу экспертов должны быть включены представители разных слоев потребителей.