Анализ результатов (обработка экспертных оценок)





Основные этапы обработки экспертных оценок:

· определение компетенции экспертов;

· определение обобщенной оценки;

· построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив);

· определение зависимостей между ранжировками;

· оценка согласованности мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты);

· оценка ошибки исследования;

· построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);

· подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).


26. Подбор экспертов и их опрос.

Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.

Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.

В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Есть полезный метод "снежного кома" [10], при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены.

Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов.

Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г. , в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.


27. Обработка информации, получаемой от экспертов, проверка ее согласованности и достоверности.

Экспертными оценками называют методы общей группы методов научного исследования, используемых для оценивания сложных систем на качественном уровне.

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. Поэтому важно при организации экспертных опросов вводить определенные правила и использовать соответствующие методы получения и обработки экспертных оценок.

Алгоритм организации экспертных опросов включает этапы, на которых рассматриваются следующие вопросы:

· проблемы формирования экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности;

· формы экспертного опроса (разного рода анкетирования, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, мозговая атака, деловые игры и т. п.);

· подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, парных сравнений и др.);

· методы обработки экспертных оценок;

· способы определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, вероятности для заданного диапазона изменений оценок, ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т. п.) и методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса;

· варианты интерпретации полученных результатов.

 

Целесообразность применения того или иного метода определяется характером анализируемой проблемы, используемой информации.

Если оправданы лишь качественные оценки объектов по тем или иным качественным признакам, то используются методы ранжирования, парного и множественного сравнения. Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать тот или иной метод, начиная от непосредственных численных оценок с использованием шкал и кончая более тонкими методами последовательного сравнения, например, Черчмена-Акоффа.

Процедуры экспертизы

В процессе экспертиз могут возникать погрешности – смещения оценок, вносимые самой процедурой сбора и анализа мнений экспертов. Поэтому специалисты в области экспертных методов большое внимание уделяют разработке надежных правил подготовки и проведения экспертиз. Ниже рассмотрены наиболее существенные правила и этапы проведения экспертиз.

Для подготовки экспертизы должна быть сформирована группа специалистов-организаторов. Эта группа призвана обеспечить условия для эффективной деятельности экспертов, разработать процедуру экспертизы, наиболее соответствующую характеру рассматриваемой проблемы. В задачи группы входит:

· Постановка проблемы, определение целей и задач экспертизы, ее границ, основных этапов;

 

· Разработка процедуры экспертизы;

· Отбор экспертов, проверка их компетентности и формирование групп экспертов:

· Проведение опроса и согласование оценок;

· Формализация полученной информации, ее обработка, анализ и интерпретация.

Численность группы экспертов не должна быть малой, так как в этом случае будет потерян смысл формирования экспертных оценок. Кроме того, на групповые оценки в значительной степени влияла бы оценка каждого эксперта. В то же время при очень большом количестве экспертов оценка каждого из них почти не влияет на групповую оценку. Рост численности экспертной группы не всегда повышает достоверность оценок, потому что зачастую расширение группы экспертов возможно лишь за счет привлечения малоквалифицированных специалистов. С ростом числа экспертов, кроме того, увеличиваются трудности, связанные с обработкой результатов опроса и координацией работы группы.

Перед экспертным опросом должны быть разработаны правила его проведения и организации, содержащие ряд положений, обязательных для всех экспертов. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. К таким условиям относятся:

· Независимость формирования экспертами собственного мнения об оцениваемых событиях;

· Сохранение анонимности ответов;

· Возможность проведения коллективных обсуждений оцениваемых событий;

· Предоставление экспертам требуемой информации.

 

В зависимости от важности и сложности проблемы и соответственно задач, возлагаемых на группу организаторов, в ее состав включают до пяти – семи человек – специалистов в данной области (областях) знаний, а также специалистов по экспертным методам (социологов, психологов, математиков).

Подготовку экспертизы начинают с постановки проблемы. Для этого, прежде всего, знакомятся с предысторией и состоянием проблемы, устанавливают ее место и значение. После этого проводится предварительный анализ проблемы, уточняются все внешние и внутренние связи, определяются границы включаемого в рассмотрение материала. Для этого организаторы экспертизы выдвигают центральный вопрос, составляющий существо проблемы, а затем «расщепляют» его на подвопросы, при этом ограничивают «поле» рассмотрения лишь теми подвопросами, без ответов на которые нельзя получить ответ на центральный вопрос.

При решении сложных социально-экономических и научно-технических проблем эксперты, представляющие разные отрасли знаний, обращаются к понятиям разных дисциплин. Поэтому необходимо сформулировать основные понятия,. используемые при проведении экспертизы.

В зависимости от целей и задач экспертизы, от подбора участвующих в ней специалистов организаторы экспертизы выбирают метод опроса: индивидуальный или групповой (коллективный), личный (очный) или заочный, устный или письменный.

Независимо от того, идет ли речь об анкете или интервью, в основе опроса лежит вопросник, с помощью которого и осуществляется сбор требуемой информации. Перевод цели и задачи экспертизы на язык вопросов требует от организаторов экспертизы сложной и кропотливой работы, знания различных типов вопросов, умения точно сформулировать их, расположить в определенной последовательности.

Анкета – это структурно организованный набор вопросов, каждый из которых логически связан с центральной задачей экспертизы. Все вопросы анкеты в зависимости от их содержания можно подразделить на три группы: данные о самом эксперте (его возрасте, должности, стаже работы, образовании, научном звании, узкой специализации и т.п.); вопросы по существу исследуемой проблемы; вопросы, позволяющие оценить мотивы, которых придерживался эксперт в своем анализе.

По форме различают вопросы открытые, закрытые и полузакрытые; прямые и косвенные. Вопрос считается открытым (свободным), если ответ на него может быть дан в любой форме и ничем не регламентирован, закрытым – если в его формулировке содержатся варианты возможных ответов, а эксперт должен выбрать один или несколько; полузакрытым, если перечнем предусмотрена возможность любых дополнительных замечаний.

Различают три вида вопросов, по которым дается экспертная оценка, - вопросы, ответы на которые содержат количественную оценку (1), требующие содержательного ответа в сжатой (2) и развернутой (3) форме.

Работа по отбору экспертов, участвующих в экспертизе, обычно начинается с составления списка компетентных в исследуемой области лиц. Этот список служит основой для выбора экспертов с помощью специальных методов оценки их качеств. Различаются четыре основные группы таких методов: самооценки; оценки группой каждого специалиста; оценка на основе результатов прошлой деятельности эксперта; методы оценки компетентности кандидатов в эксперты.

 





Читайте также:
Понятие о дефектах. Виды дефектов и их характеристика: В процессе эксплуатации автомобилей происходит...
Функции, которые должен выполнять администратор стоматологической клиники: На администратора стоматологического учреждения возлагается серьезная ...
Назначение, устройство и принцип работы автосцепки СА-3 и поглощающего аппарата: Дальнейшее развитие автосцепки подвижного состава...
Развитие понятия о числе: В программе математики школьного курса теория чисел вводится на примерах...

Рекомендуемые страницы:


Поиск по сайту

©2015-2020 poisk-ru.ru
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2016-04-27 Нарушение авторских прав и Нарушение персональных данных


Поиск по сайту:

Обратная связь
0.026 с.