Оценка компетентности экспертов

МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК

1. Причины использования экспертных оценок¹

Для современных рыночных условий актуальна старая истина: «Управлять — значит предвидеть». Как уже было отмечено, особое значение приобретают в управлении методы оптимизации, осно­ванные на применении математических моделей. Они помогают привести сложные и подчас неопределенные факторы, связанные с проблемой принятия решения, в логически стройную систему, определить, какие данные необходимы для оценки и выбора аль­тернатив, а затем найти наилучшее (оптимальное) решение из всех возможных. В качестве инструмента при этом используют методы математического программирования.

Планирование и управление экономическими объектами всегда осуществляются в условиях недостаточности информации о буду­щем, на них оказывают влияние различные случайные и неучтен­ные факторы. Вследствие этого экономические закономерности

функционирования объектов носят случайный, стохастический характер. Поэтому другой класс математических методов приня­тия решений основывается на применении статистических ме­тодов анализа.

При этом предполагается, что информация, используемая для обоснования решений, достоверна и надежна. Больше того, прогно­зируемые явления и факты не должны выходить далеко за пределы тех значений, на которых основывались статистические расчеты.

Таким образом, можно систематизировать трудности, возника­ющие при выработке сложных решений:

— исходная статистическая информация не всегда достаточно достоверна; если она даже достоверна, то она не всегда мо­жет служить надежной базой для принятия решений, наце­ленных на будущее, поскольку условия функционирования могут резко измениться;

— часть информации имеет качественный характер и не под­дается в принципе количественной оценке — влияние соци­альных и политических факторов, экономический эффект от внедрения нововведений и т. п.;

— в момент принятия решения отсутствуют данные, кото­рые могут повлиять на реализацию решений в будущем, но их нельзя не учесть;

— любая идея потенциально предполагает возможность раз­личных способов их реализации, а экономические послед­ствия порождают многочисленные исходы, которые заранее необходимо оценить; оценка же осуществляется в условиях ограниченных ресурсов, и принятие одного решения при­водит к отказу от других, может быть, не менее эффектив­ных;

— многозначность, многомерность и качественное различие показателей, входящих в обобщенный критерий качества ре­шения, являются препятствием для оценки эффективности, качества, ценности или полезности каждого из возможных решений.

Вывод: при принятии решений применение расчетов должно сочетаться с использованием суждений руководителей, ученых, специалистов, консультантов — экспертов. Это позволяет ис­пользовать их индивидуальный и коллективный опыт, нередко «скрытый», выражающийся просто как здравый смысл. Невоз­можность получения формализованной и абсолютно достоверной информации сглаживается применением математико-статистических методов анализа и обобщения оценок экспертов.

Простота математического аппарата и наличие современных программных средств их реализации позволяют сосредоточиться на логическом анализе выводов и окончательном принятии управ­ленческого решения.

2. Этапы реализации метода экспертных оценок¹

Основные этапы процесса экспертного оценивания альтер­натив:

1) формирование цели и задач исследования;

2) формирование группы управления проведения оценива­ния;

3) выбор метода получения экспертной информации и способов ее обработки;

4) подбор группы экспертов и создание опросных листов (ан­кет);

5) опрос экспертов;

6) обработка и анализ результатов опроса;

7) интерпретация результатов.

1. Цель и задачи экспертного опроса ставит ЛПР или заказчик. Он определяет форму, уровень надежности и область исполь­зования результатов, надежность и полноту предоставляемой исходной информации, необходимость привлечения сторонних экспертов и др.

2. Подготовку, организацию и координацию всего процесса экс­пертизы обеспечивает группа управления, назначаемая ЛПР, во главе с руководителем.

3. Методы получения информации от экспертов могут быть раз­ными:

■ по почте (опросные листы, анкеты, дневники наблюдений и т. п.);

■ интервью;

■ ответы на вопросы собирают и представляют на обработку специально назначенные работники;

■ возможна на разных этапах комбинация трех предыдущих методов.

4. При подборе потенциальных экспертов из числа специалистов предприятия решается несколько проблем: оценка компетен­тности кандидатов; определение минимально необходимого числа экспертов; оценка степени согласованности мнений экс­пертов. Учитывается также ряд их черт характера и професси­ональных качеств: креативность; отношение к экспертизе; кон­формизм; аналитичность и широта мышления; коллективизм; самокритичность; стаж работы и др.

Оценка компетентности экспертов

Компетентность эксперта есть степень его квалификации в определенной области знаний, и она оценивается только если в ис­следовании важно учесть весовые коэффициенты экспертных оце­нок каждого эксперта.

Значение весового коэффициента понимается как степень ве­роятности выдачи экспертом достоверной оценки. Как и значение вероятности, весовой коэффициент может принимать значения между нулем и единицей.

Оценку компетентности определяют с помощью различных при­емов. Например, методом контрольной экспертизы (если правиль­ные ответы на поставленные вопросы заранее известны).

Другой способ основан на сопоставлении нормированных балль­ных оценок экспертов¹. Рассмотрим этот способ на примере.

ПРИМЕР. Четыре эксперта оценивают важность трех элементов повышения рентабельности предприятия: покупательной спо­собности (W1), себестоимости (W2) и затрат (W3). Используется 10-балльная шкала. Результаты их оценок приведены в таблице ниже. В связи с тем, что количество значений шкалы не равно числу оцениваемых элементов, необходимо определить нормиро­ванные балльные оценки путем деления каждой оценки на сумму

оценок того же эксперта. На этом этапе предполагается, что все эксперты одинаково компетентны.

Получим взвешенные оценки экспертов с использованием сред­них баллов:

для 1-го эксперта: 0,57 х 0,51 + 0,29 х 0,34 + 0,14 х 0,15 = 0,41;

для 2-го эксперта: 0,77 х 0,51 + 0,15 х 0,34 + 0,08 х 0,15 = 0,45;

для 3-го эксперта: 0,29 х 051 + 0,58 х 0,34 + 0,13 х 0,15 = 0,31;

для 4-го эксперта: 0,42 х 0,51 + 0,33 х 0,34 f 0,25 х 0,15 = 0,36.

Сумма взвешенных оценок: 0,41 + 0,45 + 0,31 + 0,36 = 1,53.

Таким образом, коэффициенты компетентности экспертов равны:

для 1-го эксперта: 0,41/1,53 = 0,26;

для 2-го эксперта: 0,45/1,53 = 0,30;

для 3-го эксперта: 0,31/1,53 = 0,20;

для 4-го эксперта: 0,36/1,53 = 0,24.

Если было бы необходимо уменьшить число экспертов, самым некомпетентным в смысле наибольшего отличия индивидуаль­ных оценок от средних считался бы третий эксперт. Такие вы­воды нужно делать крайне осторожно, потому что различие во мнении одного¹ эксперта от всех других может как раз указывать на его высшую квалификацию. Во всяком случае, это дает серьезное основание глубже заинтересоваться руководителям та­ким оригинальным мнением. В большинстве же случаев в группы экспертов собираются специалисты примерно одинаковой квали­фикации.

Рассмотрим еще один подход к оценке компетентности экспер­тов [2], которые являются сотрудниками данной организации. Здесь оценка компетентности производится на основе шкалы, каждый балл которой определяется руководителями высшего звена и специалистами в конкретной области с помощью набора характеристик, оценивающих квалификацию эксперта, по 10-бал­льной шкале. В качестве характеристик можно использовать, на­пример:

■ уровень квалификации эксперта в данной узкой области;

■ уровень теоретической подготовки;

■ практический опыт;

■ широта кругозора.

Для оценки уровня квалификации можно применить следую­щие значения баллов:

■ 10 — эксперт специализируется по данному вопросу;

■ 8 — эксперт участвует в практическом решении данного во­проса, но он не входит в сферу его узкой специализации;

■ 5 — вопрос тесно связан с узкой специализацией эксперта (смежная область практической деятельности);

■ 3 — вопрос тесно не связан с узкой специализацией эксперта (знаком с проблемой по литературным источникам, по опыту работы других предприятий).

Возможна и простая балльная оценка компетентности эксперта по его причастности к обсуждаемой проблеме и занимаемой долж­ности (табл. 10.3).

В практике экспертного оценивания получила распространение оценка компетентности с помощью самооценки эксперта и оценки другими экспертами. Этот подход обусловлен тем, что измерение столь сложного свойства, как компетентность, может быть реально осуществлено только людьми.

Баллы одного эксперта усредняются и получаем объективную оценку компетентности эксперта h_s°, аналогично определяется показатель относительной самооценки эксперта — субъективную

оценку компетентности h_s^c. Компетентность эксперта по данному вопросу можно характеризовать так:

Очевидно, что приемов получения агрегированной взвешенной оценки компетентности можно предложить больше, однако по­нятно, что этот подход имеет самостоятельную ценность в органи­зации для определения места каждого сотрудника по уровню его "компетентности. Опрашивать руководителей и определять этот показатель необходимо только тогда, когда нужно отобрать из списка кандидатов ограниченное число экспертов или если при­нято решение обрабатывать мнения экспертов с учетом их ком­петентности.

В каждом конкретном случае учитывается и ряд индивидуаль­ных характеристик. Так, при опросе потребителей автомобилей необходимо учитывать возраст, образование, район проживания, доход на одного члена семьи, род занятий и т. п. В этом случае в группу экспертов должны быть включены представители разных слоев потребителей.