Коэффициент значимости эксперта (Кэj) учитывает квалификацию экспертов и вводится для повышения объективности общей экспертной оценки. Он рассчитывается по формуле:
, (1)
где Кэj – коэффициент значимости j -го эксперта;
Ксам – коэффициент самооценки j -го эксперта;
Квз – коэффициент взаимной оценки j -го эксперта другими экспертами;
Кусп – коэффициент успеваемости j -го эксперта.
Таблица 1 – Шкала оценок для нахождения значимости эксперта
| Оценка качества эксперта | Количество баллов |
| Отлично | |
| Хорошо | |
| Удовлетворительно | |
| Неудовлетворительно |
Коэффициенты самооценки, взаимной оценки и успеваемости рассчитываются как среднее арифметическое. По шкале оценок качества эксперта (таб. 1) произведите самооценку по параметрам, представленным в таблице 2, и рассчитайте свой коэффициент самооценки по формуле:
, (2)
где Осам – количество оценок «отлично», выставленных при самооценке;
Хсам – количество оценок «хорошо», выставленных при самооценке;
Усам – количество оценок «удовлетворительно», выставленных при самооценке;
Нсам – количество оценок «неудовлетворительно», выставленных при самооценке.
Сумма количества оценок должна равняться числу параметров, т.е. в знаменателе дроби должно получиться число «31». При получении дробного числа нужно по общепризнанным правилам округлить его до второго знака после запятой.
Таблица 2 – Параметры для определения самооценки эксперта
| № | Наименование параметра | Оценка |
| Умение нестандартно подойти к непривычным вещам | ||
| Умение комплексно подойти к решению задачи | ||
| Умение выделить главное | ||
| Рациональность мышления | ||
| Умение воспринимать и развивать идеи | ||
| Способность к обобщению | ||
| Критичность ума | ||
| Научно-техническая увлеченность | ||
| Научно-техническая интуиция | ||
| Умение расчленить сложную задачу на части | ||
| Широта кругозора | ||
| Уровень экономических знаний | ||
| Умение создавать творческую обстановку в коллективе | ||
| Умение увидеть проблему | ||
| Умение определить перспективу исследований | ||
| Умение объяснить технические задачи | ||
| Умение увлечь людей | ||
| Умение помочь при возникновении трудностей | ||
| Ясность и лаконичность речи | ||
| Умение убеждать людей | ||
| Настойчивость в достижении цели | ||
| Авторитетность | ||
| Научная честность | ||
| Уважение к другим идеям | ||
| Общительность | ||
| Принципиальность | ||
| Активность | ||
| Самокритичность | ||
| Умение воспринимать критику | ||
| Выдержанность и уравновешенность | ||
| Умение не сковывать инициативу других | ||
| Коэффициент самооценки эксперта, Ксам |
|
|
Например, студент, проводя самооценку, десять параметров из таблицы 2 оценил на «отлично», двенадцать – на «хорошо», шесть – на «удовлетворительно» и три параметра – на «неудовлетворительно». Тогда его коэффициент самооценки составит:
.
Коэффициент успеваемости (Кусп) учитывает оценку студента-эксперта преподавателями вуза. Для расчета этого коэффициента берутся все дифференцированные оценки из зачетной книжки студента за все предыдущие семестры. Коэффициент успеваемости рассчитывается по формуле:
|
|
, (3)
где Оусп – количество оценок «отлично», выставленных в зачетной книжке;
Хусп – количество оценок «хорошо», выставленных в зачетной книжке;
Уусп – количество оценок «удовлетворительно», выставленных в зачетной книжке.
Например, студент учится третий семестр. За первые два семестра он сдал 10 экзаменов и защитил 2 курсовые работы. Причем, за пять экзаменов он получил оценку «удовлетворительно», четыре экзамена сдал на оценку «хорошо» и один – на «отлично», первую курсовую работу он защитил на «отлично», а вторую – на «хорошо». Тогда коэффициент успеваемости этого студента составит:
.
Таблица 3 – Параметры взаимной оценки
| № | Наименование параметров (Пi) | рiсам | Оценки экспертов | ||||||
| Э1 | … | Эj | |||||||
| рi 1 | D рi 1 | бi 1 | рij | D рij | бij | ||||
| Скромность | |||||||||
| Уравновешенность | |||||||||
| Любознательность | |||||||||
| Сообразительность | |||||||||
| Аккуратность | |||||||||
| Интеллект | |||||||||
| Настойчивость | |||||||||
| Общительность | |||||||||
| Самостоятельность | |||||||||
| Совместимость |
|
|
Коэффициент взаимной оценки учитывает оценку студента его сокурсниками. Для его определения необходимо произвести следующие действия:
1) студент оценивает себя (рiсам) путем убывающего ранжирования параметров взаимной оценки из таблицы 3. Ранжирование – это метод установления определенной последовательности рассматриваемых параметров, осуществляемый их попарным сопоставлением. Результатом ранжирования является возрастающий (например, П2<П1<П4<П3<…<ПN) или убывающий (например, ПN>…>П3>П4>П1>П2) ранжированный ряд. Место параметра в ранжированном ряду называется его рангом. Численное значение ранга в ряду увеличивается от 1 до m (m – количество оцениваемых параметров, m = 10). Другими словами, студент должен каждому параметру присвоить его ранг от 1 до 10, причем наиболее важному параметру, который характеризует данного студента, – первый ранг, наименее важному параметру – десятый ранг;
2) коллеги по экспертной группе оценивают студента также путем убывающего ранжирования (рij);
3) студент определяет величину расхождений выставленных им рангов и рангов, выставленных ему другими студентами (D рij), по формуле:
, (4)
где D рij – величина расхождений рангов i -го параметра по j -му эксперту;
рiсам – ранг i -го параметра, выставленный оцениваемым студентом;
рij – ранг i -го параметра, выставленный j -м экспертом оцениваемому студенту;
4) в соответствии с величиной расхождений рангов присвоить каждому параметру по каждому эксперту балльную оценку (бij) по таблице 4;
Таблица 4 – Соответствие балльной оценки величине расхождения рангов
| Величина расхождения рангов ( D рij) | Оценка | Балльная оценка (бij) |
| 0-1 | Отлично | |
| 2-3 | Хорошо | |
| > 3 | Удовлетворительно |
5) по балльным оценкам всех экспертов по всем параметрам рассчитать коэффициент взаимной оценки (Квз) по формуле:
, (5)
где Овз – количество оценок «отлично», выставленных при взаимной оценке;
Хвз – количество оценок «хорошо», выставленных при взаимной оценке;
Увз – количество оценок «удовлетворительно», выставленных при взаимной оценке.
Сумма количества оценок в знаменателе дроби должна равняться общему числу балльных оценок, выставленных всеми экспертами по всем параметрам.
Например, экспертная группа состоит из четырех студентов. Тогда при взаимной оценке каждая тройка студентов оценивает четвертого, который также проводит саморанжирование. Пример ранжирования, определения величины расхождения рангов и выставления балльных оценок приведен в таблице 5.
Таблица 5 – Пример взаимного оценивания
| № | Наименование параметра (Пi) | рiсам | Оценки экспертов | ||||||||
| Э1 | Э2 | Э3 | |||||||||
| рi 1 | D рi 1 | бi 1 | рi 2 | D рi 2 | бi 2 | рi 3 | D рi 3 | бi 3 | |||
| П1 | |||||||||||
| П2 | |||||||||||
| П3 | |||||||||||
| П4 | |||||||||||
| П5 | |||||||||||
| П6 | |||||||||||
| П7 | |||||||||||
| П8 | |||||||||||
| П9 | |||||||||||
| П10 |
По результатам взаимного оценивания экспертами получено шесть оценок «отлично», шестнадцать оценок «хорошо» и восемь оценок «удовлетворительно». Общее количество балльных оценок – 30. Найдем коэффициент взаимной оценки:
.
Зная коэффициенты самооценки, успеваемости и взаимной оценки, можно определить коэффициент значимости данного эксперта (Кэj) по формуле (1):
.
Задание
1. Разбейтесь на микрогруппы по 3-4 человека. Каждая такая микрогруппа является бригадой экспертов.
2. Используя экспертный метод, оцените значимость каждого эксперта в бригаде.