(практическое занятие)
При оценке компетентности экспертов в качестве основных целесообразно использовать следующие методы: 1) взаимных рекомендаций; 2) самооценки; 3) оценки аргументированности; 4) анкетных данных. Каждый из этих методов позволит определить (рассчитать) соответствующие коэффициенты, на основе которых, в конечном счете, осуществляется комплексная оценка компетентности каждого из экспертов [9].
Практика показывает, что метод взаимных рекомендаций является, пожалуй, основным или определяющим при отборе экспертов. При этом нужно воспользоваться специально разработанной для такого случая анкетой. Согласно замыслу этой анкеты каждому из потенциальных кандидатов в эксперты предлагается анонимно высказать свои соображения по поводу целесообразности (или нецелесообразности) участия в экспертизе других специалистов, фамилии (и должности) которых приведены в списке. Для этого в графе «Рекомендация» соответствующей анкеты достаточно поставить напротив каждой из фамилий кандидатов в эксперты один из знаков «+», «–» или «?», которые имеют соответственно следующие значения: «включение этого кандидата в экспертную группу целесообразно», «включение этого кандидата в экспертную группу нецелесообразно», «не знаю, затрудняюсь ответить». Легко предположить, что большее численное значение коэффициента взаимных рекомендаций будет у того из экспертов, напротив чьей фамилии в анкетах чаще будет проставлен знак «+».
В методе самооценки каждому из кандидатов в эксперты предлагается оценить собственную информированность о наиболее важных аспектах а) деятельности образовательного учреждения, б) процесса обучения, в) процесса воспитания, г) процесса развития, д) процесса здоровьесбережения и т.д. Для этого достаточно заполнить другую анкету, в которой приводится ряд показателей информированности специалистов о наиболее важных аспектах образовательного процесса (примеры аспектов приведены выше). Самооценку можно осуществлять как в количественной, так и в качественной форме. Например, можно использовать следующие признаки: «хорошая», «удовлетворительная», «достаточная», «недостаточная» и т.п. Однако при обработке анкет наиболее удобным является использование интервальной шкалы с шагом, например, в один балл. Это дает возможность эксперту маневрировать при оценке степени проявления одного из показателей информированности. Поэтому в графе «Самооценка» эксперту напротив каждого из показателей предлагается проставить оценки следующим образом: «1–2», «2–3», «3–4» или «4–5», учитывая при этом, что большие величины соответствуют лучшему проявлению показателя.
При проведении экспертизы важным является изучение такого обстоятельства, как учет факторов, которыми руководствовался эксперт, осуществляя суждение по тому или иному вопросу. По существу, речь идет об оценке аргументированности эксперта, которая может быть получена при помощи обработки специальной анкеты. В качестве источников аргументации могут предлагаться самые различные варианты, которые в определенной мере влияют (могут влиять) на мнение экспертов. Например, можно воспользоваться следующим вариантом источников:
- опыт работы в образовательном учреждении;
- регулярное знакомство с периодической, методической и научно-методической литературой по проблеме;
- участие в методической и научно-методической работе;
- участие в работе районных методических объединений, научно-практических конференций, педагогических чтений;
- наличие собственных методических и научно-методических разработок, статей и других публикаций;
- личные творческие контакты с методистами, педагогами-инноваторами, учеными;
- опыт участия в экспертизе по аналогичной проблеме или социологическом исследовании.
При оценке степени влияния источника аргументации на мнение эксперта последнему предлагается воспользоваться следующими критериями: «Высокая», «Средняя», «Низкая». Эксперту следует поставить напротив каждого из источников аргументации знак «+» в одной из колонок («Высокая», «Средняя», «Низкая»), что и будет свидетельствовать о том, какое влияние оказывает на эксперта соответствующий источник.
Весьма важную роль при оценке коэффициента компетентности экспертов играет метод анкетных данных. Для этого можно разработать еще одну анкету. При этом в качестве анкетных данных могут быть выбраны следующие показатели:
- педагогический стаж;
- почетное звание, ученая степень или звание;
- квалификационная категория;
- количество публикаций по исследуемой или аналогичной проблемам;
- количество методических материалов, разработанных экспертом в образовательном учреждении;
- участие в экспертизах, в работе методических комиссий, в проведении социологических исследований в образовательном учреждении;
- отношение к использованию экспертизы при изучении актуальности проблем, характеризующих состояние образовательного процесса.
Здесь некоторые данные могут быть округлены до 5 (чтобы снять затруднение при обработке соответствующих анкет).
При обработке трех последних анкет учитывается такой фактор, как весовой коэффициент показателя. Имеется в виду, что каждый из приведенных показателей, скорее всего, неравнозначен, т.е. имеет разный удельный вес (весовой коэффициент). Значение весового коэффициента также определяется на основе мнения экспертов, т.е. каждому эксперту нужно определиться, какой из приведенных показателей, по его мнению, является наиболее значимым, какой – менее значимым и т.д. Для этого показатели достаточно проранжировать, т.е. каждому из показателей присвоить ранг от 1 до n (n – аналог высокого места, 1 – аналог наименее низкого места). После несложной обработки каждой из анкет рассчитывается весовой коэффициент каждого из показателей, который в определенной мере влияет на значение коэффициента самооценки [9].
Надежность результатов экспертной оценки, как отмечают многие исследователи, в определенной мере зависит от согласованности членов экспертной группы. В соответствии с рекомендациями Н.Н. Китаева [11] оценка согласованности экспертной группы осуществляется на основе коэффициента конкордации, который вычисляется по формуле Кендэла:
W = 12 S / m2 * (n3 – n),
где m – число кандидатов в эксперты, n – число вопросов (показателей) анкеты. S вычисляется по формуле:
n
S = ∑ (Ri – Rср)2 ,
i=1
где Ri – суммарный ранг показателя, Rср – средний ранг показателя.
Формула Кендэла безболезненно может быть применена, если одинаковые ранги присваивались не более чем 30 % показателей.
Учитывая, что коэффициент конкордации W меняется от 0 до 1 и увеличение W означает большую согласованность, можно выделить следующие интервалы:
0,9 ≤ W ≤ 1 (полное согласие);
0,7 ≤ W < 0,9 (хорошее согласие);
0,5 ≤ W < 0,7 (удовлетворительное согласие) [9; 25].
Список использованной литературы
1.Алексеев, Н. Г. Принципы и критерии экспертизы программ развития образования / Н. Г. Алексеев // Вопросы методологии. – 1994. – № 1–2. – С. 59–68.
2.Анисимов, О. С. Основы методологии: учебное пособие / О. С. Анисимов. – М.: Российская академия менеджмента и агробизнеса, 1994.
3.Бешелев, С. Д. Математико-статистические методы экспертных оценок / С. Д. Бешелев, Ф. Г. Гурвич. – М.: Статистика, 1980. – 263 с.
4.Бешелев, С. Д. Экспертные оценки / С. Д. Бешелев, Ф. Г. Гурвич. – М.: Наука, 1973.
5.Бешелев, С. Д. Экспертные оценки в принятии плановых решений / С. Д. Бешелев, Ф. Г. Гурвич. – М.: Наука, 1976.
6.Горбатов, Д. С. Практикум по психологическому исследованию / Д. С. Горбатов. – Самара: БАХРАХ-М, 2000. – 248 с.
7.Григоров, В. М. Роль экспертов в выработке управленческих решений / В. М. Григоров // Научное управление обществом. Вып. 6. – М.: Мысль, 1972. – С. 336.
8.Евланов, П. Г. Экспертные оценки в управлении / П. Г. Евланов, В. А. Кутузов. – М.: Экономика, 1978.
9. Ильясов, Д. Ф. Принцип регулируемого эволюционирования в педагогике / Д. Ф. Ильясов, Г. Н. Сериков. – М.: Гуманит. изд. центр ВЛАДОС, 2003. – 336 с.
10. Карабанов, А. П. К вопросу о педагогической экспертизе учебной книги / А. П. Карабанов, В. С. Черепанов // Проблемы школьного учебника. – М., 1987. – Вып. 17. – С. 190–199.
11. Китаев, Н. Н. Групповые экспертные оценки / Н. Н. Китаев. – М.: Знание, 1975.
12. Коджаспирова, Г. М. Словарь по педагогике / Г. М. Коджаспирова, А. Ю. Коджаспиров. – М.: ИКЦ «МарТ»; Ростов н/Д: Изд. центр «МарТ», 2005. – 448 с.
13. Конаржевский, Ю. А. Концепция проблемно-функционального внутришкольного управления / Ю. А. Конаржевский // Управление школой: проблемы, опыт, перспективы. – Екатеринбург, 1992.
14. Крулехт, М. В. Экспертные оценки в образовании / М. В. Крулехт, И. В. Тельнюк. – М.: Академия, 2002. – 112 с.
15. Литвак, Б. Г. Экспертные технологии в управлении / Б. Г. Литвак. – М.: Дело, 2004. – С. 39.
16. Моисеев, А. М. Заместитель директора школы по научной работе / А. М. Моисеев, О. М. Моисеева. – М., 1996.
17. Новикова, Т. Г. Эксперт по инновационной деятельности в образовании: качества, способы отбора / Т. Г. Новикова // Педагогическая диагностика. – 2006. – № 3. – С. 26–43.
18. Практикум по социологии / Ред. И. М. Слепенков, Н. И. Дряхлов, В. Я. Нечаев, А. М. Долгоруков. – М.: Изд-во Моск. ун-та, 1992. – 196 с.
19. Райхман, Э. П. Экспертные методы в оценке качества товаров / Э. П. Райхман, Г. Г. Азгальдов. – М.: Экономика, 1974. – С. 34.
20. Рац, М. В. Строительство будущего: аналитические деятельности / М. В. Рац, Г. Г. Копылов, М. Т. Ойзерман // Человек и природа. – 1990. – № 2. – С. 21–55.
21. Современный словарь иностранных слов: Ок. 20 000 слов. – М.: Рус. яз., 1992. – 740 с.
22. Спиркин, А. Г. Философия / А. Г. Спиркин. – М.: Гардарики, 2001.
23. Субетто, А. И. Квалиметрия человека и высшего образования / А.И. Субетто // Квалиметрия человека и образования. Методология и практика; Петровская академия наук и искусств; Общероссийская академия человековедения; Исследовательский центр по проблемам управления качеством подготовки специалистов. – М., 1992. – Часть 1. – С. 7–16.
24. Черепанов, В. С. Метод групповых экспертных оценок / В. С. Черепанов. – Советская педагогика. – 1987. – №. 5. – С. 57–59.
25. Черепанов, В. С. Экспертные методы в педагогике: учебное пособие / В. С. Черепанов. – Пермь: ПГПИ, 1988. – 84 с.
26. Черепанов, В. С. Экспертные оценки в педагогических исследованиях / В. С. Черепанов. – М.: Педагогика, 1989. – 152 с.