Экспертные методы в исследовании систем управления

Экспертные методы предполагают использование интуиции, творческого потенциала и опыта людей, включаемые в группу экспертов. В зависимости от ситуации, важности и сложности задач экспертами могут выступать потенциальные потребители, выбранные по определенным правилам, специалисты предприятий и организации, ученые разных областей знаний, руководители и менеджеры разного уровня.

Основными вопросами при организации экспертизы и получения результатов является формирование репрезентативной группы экспертов и статистическая обработка полученных результатов.

При формировании группы экспертов возникает задача определения количественного состава группы.

Отбор экспертов предваряет список лиц, компетентных в областях, которые охватывает данная проблема, а также тех областей знаний, которых может касаться решение исследуемой проблемы.

Для получения объективных оценок к экспертам предъявляется ряд требований: высокая общая эрудиция, способность к адекватному отображению развития исследуемого объекта, наличие производственного и исследовательского опыта в анализируемой области. В целях проверки соответствия эксперта требованиям, организуют анкетный опрос или используют метод самооценки экспертов, заключающийся в определении самим экспертом своей осведомленности в исследуемой проблеме на основании анкеты. Статистическая обработка данных анкеты позволяет получить количественную оценку эксперта:

где J – вес градации, перечеркнутый экспертом по n-й (n=1, …,m) характеристике в баллах;

Jmax – максимальный вес n-й характеристики в баллах;

m –общее количество характеристик компетентности в анкете;

- вес ячейки, перечеркнутый экспертом в шкале самооценки;

- предел шкалы самооценки, баллы.

Соответствие показателя самооценки достоверной величине в значительной степени зависит от содержания и качества анкет самооценки, которые должны разрабатываться применительно к каждой конкретной проблеме.

Оптимальная численность группы определяется также в каждом конкретном случаи экспертных оценок. Численность группы может быть рассчитана на базе двух условий: высокой, средней компетентности экспертов, входящих в группу и стабилизации средней оценки исследуемого параметра. При этом определяются верхняя и нижняя граница численности экспертов. Максимальная численность группы экспертов рассчитывается по формуле:

k_i- компетентность i эксперта

k_max – максимально возможная компетентность по исследуемой шкале компетентности.

- изменение величины средней оценки при изменении числа экспертов группы на одного человека.

При статистической обработке результатов экспертизы используется формула:

(1)

где а_i – коэффициент весомости исследуемого показателя;

i – номер показателя;

j- номер эксперта;

n- количество экспертов;

B_ij- балл присвоенный i-му показателю j-м экспертом;

А_j- сумма баллов, присвоенная j-м экспертом всем показателям.

Коэффициент весомости находится в пределах от 0 до 1. Если коэффициент приближается к нулю, исследуемый показатель мало значим, если 1 – существенно оказывает влияние на объект.

Кроме этого, необходимо рассчитать коэффициент конкордации, определяющий степень согласованности экспертов друг с другом.

(2)

где S- сумма квадратов отклонений суммы рангов каждого показателя экспертизы от среднего значения:

n- число экспертов:

m- число исследуемых показателей.

Коэффициент конкордации изменяется в диапазоне от 0 до 1, причем 0- полная несогласованность, 1- полное единодушие.

Пример. Руководителям высшего и среднего звена различных предприятий предлагается дать экспертную оценку существующей системы контроля качества на предприятии ИП. Павленко И.Г. Для этого выделим показатели, которые характеризуют систему контроля качества продукции. Это: доля брака на предприятии, наличие на предприятии специалиста в области качества, количественная оценка качества продукции, наличие ГОСТов, наличие независимого контроля. Для обработка полученных экспертных оценок используем формулу (1)

Таблица 10 - Экспертные оценки

Анализируя результаты опроса экспертов, можно прийти к выводу, что система контроля на ИП. Павленко И.Г. имеет узкие места, а именно нуждается в специалисте в области качества, а также в изменении инструментов контроля качества и улучшению системы выполнения заказов. Выяснилось, что предприятие не всегда может обеспечить независимый контроль.

Прежде чем преступить к изменению системы контроля определим, на сколько мнения экспертов согласованы. Для этого по формуле (3.2) определим коэффициент конкордации.

, следовательно мнения экспертов хорошо согласованы. Опираясь, на результаты экспертизы планируются мероприятия по совершенствованию системы контроля качества продукции на предприятии.

2. Метод Дельфы. Основными особенностями этого метода являются:

- полный отказ от личных контактов экспертов и коллективных обсуждений;

- многотуровая процедура опроса экспертов;

- обеспечение экспертов информацией включая и обмен информацией между ними, после каждого тура опроса при сохранении анонимности оценок, аргументации и критики;

- обоснование ответов экспертов по запросу организаторов;

Процедура опроса по методу Дельфы заключается в анкетировании экспертов с помощью опросных листков или внешних устройств ЭВМ в несколько туров с обработкой результатов анкетирования в каждом туре и информированием экспертов об этих результатах. На практике обычно ограничиваются четырьмя турами. В первом туре опроса эксперты дают свои ответы без аргументации. Ответы обрабатываются с целью выявления среднего и крайних мнений. Экспертам сообщаются эти мнения, и проводится второй тур опроса, в ходе которого, они пересматривают и при желании изменяют ответы, данные в первом туре. Кроме того, эксперты должны объяснить, почему они изменили или не изменили ответы.

Полученные после второго тура новые средние и крайние мнения, а также вся аргументация сообщается экспертам, и проводится третий тур опроса, в ходе которого эксперты снова пересматривают своё решение.

Обычно после третьего или четвертого туров опроса ответы экспертов перестают изменяться, что и является сигналом к прекращению опросов. Такая процедура позволяет экспертам учесть обстоятельства, которыми они пренебрегали или о которых не были осведомлены. По решению ведущего опрос обоснование могут представлять лишь эксперты, ответы которых сильно отличаются от мнения большинства.

Необходимость обоснования мнений вынуждает тех экспертов, у которых нет твердого убеждения в своей правоте, помещать свои ответы вблизи от среднего мнения. В тоже время эксперты, которые могли обосновать свои ответы, несмотря на новую информацию, придерживаются своих первоначальных взглядов.

В ряде случаев образуются две группы существенно различных мнений. Это указывает на наличие двух различных подходов, что может объясниться, например, существование двух научных школ. Дальнейшее проведение опроса в таком случаи, как правило, лишь подвергает создавшиеся положение, так как разрешение разных позиций требует глубоких исследований и не может быть результатом экспертизы. Однако и в этом случаи опрос полезен, ибо отчетливо выявляет позиции, точки зрения сторон и их аргументацию, что позволяет поставить дальнейшие исследования проблемы.

Метод Дельфы обладает определенными недостатками, основными из которых являются большие затраты времени на многотуровую экспертизу, а также полное исключение прямого столкновении мнений экспертов. Длительность процедуры, достигающая при большом числе экспертов многих месяцев, если проводится письменное анкетирование, затрудняет работу экспертов и приводит к нестабильности их состава. Необходимость неоднократного пересмотра оценок также вызывает отрицательную реакцию экспертов, что не может не сказаться на качестве их работы.

Сократить время проведения экспертизы возможно путем создания автоматизированной системы сбора и обработки мнений экспертов и их информационного обеспечения на основе ЭВМ.

3. Метод мозговой атаки. Этот метод позволяет получить от группы лиц большое количество альтернатив по решению проблемы за короткий промежуток времени. Основное условие «мозговой атаки» – это создание обстановки, максимально благоприятной для свободного генерирования идей. Все идеи записываются, а затем анализируются специалистами.

Морфологический подход