Оценка компетентности экспертов





МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК

1. Причины использования экспертных оценок1

Для современных рыночных условий актуальна старая истина: «Управлять — значит предвидеть». Как уже было отмечено, особое значение приобретают в управлении методы оптимизации, осно­ванные на применении математических моделей. Они помогают привести сложные и подчас неопределенные факторы, связанные с проблемой принятия решения, в логически стройную систему, определить, какие данные необходимы для оценки и выбора аль­тернатив, а затем найти наилучшее (оптимальное) решение из всех возможных. В качестве инструмента при этом используют методы математического программирования.

Планирование и управление экономическими объектами всегда осуществляются в условиях недостаточности информации о буду­щем, на них оказывают влияние различные случайные и неучтен­ные факторы. Вследствие этого экономические закономерности

функционирования объектов носят случайный, стохастический характер. Поэтому другой класс математических методов приня­тия решений основывается на применении статистических ме­тодов анализа.

При этом предполагается, что информация, используемая для обоснования решений, достоверна и надежна. Больше того, прогно­зируемые явления и факты не должны выходить далеко за пределы тех значений, на которых основывались статистические расчеты.

Таким образом, можно систематизировать трудности, возника­ющие при выработке сложных решений:

— исходная статистическая информация не всегда достаточно достоверна; если она даже достоверна, то она не всегда мо­жет служить надежной базой для принятия решений, наце­ленных на будущее, поскольку условия функционирования могут резко измениться;

— часть информации имеет качественный характер и не под­дается в принципе количественной оценке — влияние соци­альных и политических факторов, экономический эффект от внедрения нововведений и т. п.;

— в момент принятия решения отсутствуют данные, кото­рые могут повлиять на реализацию решений в будущем, но их нельзя не учесть;

— любая идея потенциально предполагает возможность раз­личных способов их реализации, а экономические послед­ствия порождают многочисленные исходы, которые заранее необходимо оценить; оценка же осуществляется в условиях ограниченных ресурсов, и принятие одного решения при­водит к отказу от других, может быть, не менее эффектив­ных;

— многозначность, многомерность и качественное различие показателей, входящих в обобщенный критерий качества ре­шения, являются препятствием для оценки эффективности, качества, ценности или полезности каждого из возможных решений.

Вывод: при принятии решений применение расчетов должно сочетаться с использованием суждений руководителей, ученых, специалистов, консультантов — экспертов. Это позволяет ис­пользовать их индивидуальный и коллективный опыт, нередко «скрытый», выражающийся просто как здравый смысл. Невоз­можность получения формализованной и абсолютно достоверной информации сглаживается применением математико-статистических методов анализа и обобщения оценок экспертов.

Простота математического аппарата и наличие современных программных средств их реализации позволяют сосредоточиться на логическом анализе выводов и окончательном принятии управ­ленческого решения.

2. Этапы реализации метода экспертных оценок1

Основные этапы процесса экспертного оценивания альтер­натив:

1) формирование цели и задач исследования;

2) формирование группы управления проведения оценива­ния;

3) выбор метода получения экспертной информации и способов ее обработки;

4) подбор группы экспертов и создание опросных листов (ан­кет);

5) опрос экспертов;

6) обработка и анализ результатов опроса;

7) интерпретация результатов.

1. Цель и задачи экспертногоопроса ставит ЛПР или заказчик. Он определяет форму, уровень надежности и область исполь­зования результатов, надежность и полноту предоставляемой исходной информации, необходимость привлечения сторонних экспертов и др.

2. Подготовку, организацию и координацию всего процесса экс­пертизы обеспечивает группа управления, назначаемая ЛПР, во главе с руководителем.

3. Методы получения информацииот экспертов могут быть раз­ными:

■ по почте (опросные листы, анкеты, дневники наблюдений и т. п.);

■ интервью;

■ ответы на вопросы собирают и представляют на обработку специально назначенные работники;

■ возможна на разных этапах комбинация трех предыдущих методов.

4. При подборе потенциальных экспертов из числа специалистов предприятия решается несколько проблем: оценка компетен­тности кандидатов; определение минимально необходимого числа экспертов; оценка степени согласованности мнений экс­пертов. Учитывается также ряд их черт характера и професси­ональных качеств: креативность; отношение к экспертизе; кон­формизм; аналитичность и широта мышления; коллективизм; самокритичность; стаж работы и др.

Оценка компетентности экспертов

Компетентность эксперта есть степень его квалификации в определенной области знаний, и она оценивается только если в ис­следовании важно учесть весовые коэффициенты экспертных оце­нок каждого эксперта.

Значение весового коэффициента понимается как степень ве­роятности выдачи экспертом достоверной оценки. Как и значение вероятности, весовой коэффициент может принимать значения между нулем и единицей.

Оценку компетентности определяют с помощью различных при­емов. Например, методом контрольной экспертизы (если правиль­ные ответы на поставленные вопросы заранее известны).

Другой способ основан на сопоставлении нормированных балль­ных оценок экспертов1. Рассмотрим этот способ на примере.

ПРИМЕР. Четыре эксперта оценивают важность трех элементов повышения рентабельности предприятия: покупательной спо­собности (W1), себестоимости (W2) и затрат (W3). Используется 10-балльная шкала. Результаты их оценок приведены в таблице ниже. В связи с тем, что количество значений шкалы не равно числу оцениваемых элементов, необходимо определить нормиро­ванные балльные оценки путем деления каждой оценки на сумму

оценок того же эксперта. На этом этапе предполагается, что все эксперты одинаково компетентны.

Получим взвешенные оценки экспертов с использованием сред­них баллов:

для 1-го эксперта: 0,57 х 0,51 + 0,29 х 0,34 + 0,14 х 0,15 = 0,41;

для 2-го эксперта: 0,77 х 0,51 + 0,15 х 0,34 + 0,08 х 0,15 = 0,45;

для 3-го эксперта: 0,29 х 051 + 0,58 х 0,34 + 0,13 х 0,15 = 0,31;

для 4-го эксперта: 0,42 х 0,51 + 0,33 х 0,34 f 0,25 х 0,15 = 0,36.

Сумма взвешенных оценок: 0,41 + 0,45 + 0,31 + 0,36 = 1,53.

Таким образом, коэффициенты компетентности экспертов равны:

для 1-го эксперта: 0,41/1,53 = 0,26;

для 2-го эксперта: 0,45/1,53 = 0,30;

для 3-го эксперта: 0,31/1,53 = 0,20;

для 4-го эксперта: 0,36/1,53 = 0,24.

Если было бы необходимо уменьшить число экспертов, самым некомпетентным в смысле наибольшего отличия индивидуаль­ных оценок от средних считался бы третий эксперт. Такие вы­воды нужно делать крайне осторожно, потому что различие во мнении одного1 эксперта от всех других может как раз указывать на его высшую квалификацию. Во всяком случае, это дает серьезное основание глубже заинтересоваться руководителям та­ким оригинальным мнением. В большинстве же случаев в группы экспертов собираются специалисты примерно одинаковой квали­фикации.

Рассмотрим еще один подход к оценке компетентности экспер­тов [2], которые являются сотрудниками данной организации. Здесь оценка компетентности производится на основе шкалы, каждый балл которой определяется руководителями высшего звена и специалистами в конкретной области с помощью набора характеристик, оценивающих квалификацию эксперта, по 10-бал­льной шкале. В качестве характеристик можно использовать, на­пример:

■ уровень квалификации эксперта в данной узкой области;

■ уровень теоретической подготовки;

■ практический опыт;

■ широта кругозора.

Для оценки уровня квалификации можно применить следую­щие значения баллов:

■ 10 — эксперт специализируется по данному вопросу;

■ 8 — эксперт участвует в практическом решении данного во­проса, но он не входит в сферу его узкой специализации;

■ 5 — вопрос тесно связан с узкой специализацией эксперта (смежная область практической деятельности);

■ 3 — вопрос тесно не связан с узкой специализацией эксперта (знаком с проблемой по литературным источникам, по опыту работы других предприятий).

Возможна и простая балльная оценка компетентности эксперта по его причастности к обсуждаемой проблеме и занимаемой долж­ности (табл. 10.3).

В практике экспертного оценивания получила распространение оценка компетентности с помощью самооценки эксперта и оценки другими экспертами. Этот подход обусловлен тем, что измерение столь сложного свойства, как компетентность, может быть реально осуществлено только людьми.

Баллы одного эксперта усредняются и получаем объективную оценку компетентности эксперта hs°, аналогично определяется показатель относительной самооценки эксперта — субъективную

оценку компетентности hsc. Компетентность эксперта по данному вопросу можно характеризовать так:

Очевидно, что приемов получения агрегированной взвешенной оценки компетентности можно предложить больше, однако по­нятно, что этот подход имеет самостоятельную ценность в органи­зации для определения места каждого сотрудника по уровню его "компетентности. Опрашивать руководителей и определять этот показатель необходимо только тогда, когда нужно отобрать из списка кандидатов ограниченное число экспертов или если при­нято решение обрабатывать мнения экспертов с учетом их ком­петентности.

В каждом конкретном случае учитывается и ряд индивидуаль­ных характеристик. Так, при опросе потребителей автомобилей необходимо учитывать возраст, образование, район проживания, доход на одного члена семьи, род занятий и т. п. В этом случае в группу экспертов должны быть включены представители разных слоев потребителей.





Читайте также:
Образцы сочинений-рассуждений по русскому языку: Я думаю, что счастье – это чувство и состояние полного...
Группы красителей для волос: В индустрии красоты колористами все красители для волос принято разделять на четыре группы...
Аффирмации для сектора семьи: Я создаю прекрасный счастливый мир для себя и своей семьи...
Этапы развития человечества: В последние годы определенную известность приобрели попытки...

Рекомендуемые страницы:



Вам нужно быстро и легко написать вашу работу? Тогда вам сюда...

Поиск по сайту

©2015-2021 poisk-ru.ru
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2016-04-27 Нарушение авторских прав и Нарушение персональных данных


Поиск по сайту:

Мы поможем в написании ваших работ! Мы поможем в написании ваших работ! Мы поможем в написании ваших работ!
Обратная связь
0.018 с.