Если данные, полученные в эксперименте, качественного характера, то правильность делаемых на их основе выводов полностью зависит от интуиции, эрудиции и профессионализма исследователя, а также от логики его рассуждений.
Если же эти данные количественного типа, то сначала проводят первичную, а затем вторичную статистическую обработку.
Первичная статистическая обработка заключается в определении необхо-димого числа элементарных математических статистик:
· выборочное среднее значение;
· дисперсия;
· квадратическое отклонение;
· медиана;
· мода.
Вторичная статистическая обработка (сравнение средних, дисперсий, распределений данных, регрессивный анализ, корреляционный анализ, факторный анализ и др.) проводится в том случае, если для решения задач или доказательства предложенных гипотез необходимо определить статистические закономерности, скрытые в первичных экспериментальных данных (подробнее эти характеристики рассматриваются в учебных пособиях: 1. Немов Р.С. Психология: в 3-х т. Т. 3-й. – М., 1995. 2. Образцов П.И. Методы и методология психолого-педагогического исследования. – СПб.: Питер, 2004).
Результат психолого-педагогического исследования имеет вероятностный характер, следовательно, необходимо доказывать статистическую достоверность (значимость) полученных результатов.
По Д. Кэмпбеллу существуют следующие факторы, угрожающие валидности эксперимента:
· Фактор фона – неконтролируемые события между начальным и контрольным измерениями.
· Фактор естественного развития.
· Эффект тестирования – влияние выполнения заданий первоначального тестирования на результаты следующего.
· Инструментальная погрешность, связанная с неточностью измерительного инструмента.
· Статистическая регрессия. Имеет место, когда группы отбираются на основе крайних показателей и оценок. Известно, что точность измерений на крайних участках шкалы снижается.
· Фактор отбора испытуемых – неэквивалентность групп составу.
· Отсев в ходе эксперимента.
Можно выделить и неэкспериментальные влияния, которые могут привести к искажению результатов:
· Эффект плацебо, механизм которого основан на самовнушении и внушении.
· Эффект Хоторна. Стимулируются осознанные или непроизвольные попытки соответствовать ожиданиям исследователя.
· Эффект Пигмалиона (эффект Розенталя) – субъективные влияния исследователя, заинтересованного в том или ином результате.
· Эффект аудитории – изменение поведения испытуемых под влиянием экспериментатора, публики.
· Эффект первичности – зависимость оценки, суждения от первого впечатления.
Предусмотреть действие всех случайных факторов в психолого-педагогическом исследовании очень сложно. Но их минимизация возможна при использовании экспериментальных планов с контрольными группами.
Схема проведения эксперимента с контрольной группой
Начало Н0
исследования Хоэ Хок
Н1 Н0
(Н1)
Конец Х1э Х1к
исследования Н1
Здесь:
Хоэ, Хок – показатели экспериментальной и контрольной групп в начале исследования;
Х1э, Х1к – показатели экспериментальной и контрольной групп в конце исследования, после проведенного формирующего эксперимента;
Н0 и Н1 – статистические гипотезы (Н0 показывает, что между показателями нет достоверного расхождения; Н1 свидетельствует о наличии достоверного различия между сравниваемыми показателями).
В педагогике статистическими методами не доказывается окончательно правомерность того или иного вывода, а показывается мера правдоподобности принятия той или иной гипотезы.
Педагогическая гипотеза в процессе статистического анализа переводится на язык статистической науки и заново формулируется, по меньшей мере, в виде двух статистических гипотез.
Статистические гипотезы:
Основная – нулевая гипотеза (Н0), в которой исследователь говорит о своей исходной позиции. Он априори как бы декларирует, что новый метод (предполагаемый им) не обладает какими-либо преимуществами, и потому с самого начала исследователь психологически готов занять честную научную позицию: различия между новым и старым методами объявляются равными нулю.
Альтернативная гипотеза (Н1) – это предположение о преимуществе экспериментального метода (программы и т.п.).
Альтернативные гипотезы принимаются тогда и только тогда, когда опровергается нулевая гипотеза.
Это бывает в случаях, когда различия, скажем, в средних арифметических экспериментальной и контрольной групп настолько значимы (статистически достоверны), что риск ошибки отвергнуть нулевую гипотезу и принять альтернативную не превышает одного из трех принятых уровней значимости статистического вывода:
· первый уровень – риск ошибки 5% (в научных текстах пишут иногда р=5% или а < 0,05), где допускается риск ошибки в выводе в 5 случаях из 100 теоретически возможных таких же экспериментов при строго случайном отборе испытуемых для каждого эксперимента;
· второй уровень – р=1%, т. е. соответственно допускается риск ошибиться только в 1 случае из 100 (а < 0,01, при тех же требованиях);
· третий уровень – р=0,1%, т.е. допускается риск ошибиться только в одном случае из тысячи (а<0,001).
При сравнении средних арифметических экспериментальной и контроль-ной групп важно определить, какая средняя не только больше, но и насколько больше. Чем меньше разница между ними, тем более приемлемой окажется нулевая гипотеза об отсутствии статистически значимых (достоверных) различий.
Чтобы определить, является ли разность между средними значениями показателей эффективности в первой и во второй группах существенной (значимой), необходимо вычислить статистическую достоверность этой разницы.
Проверка статистической гипотезы требует выбора статистического критерия, адекватного методике измерений и особенностям выборки.
Наибольшее распространение получили:
t-критерий Стьюдента
Т-критерий Вилкоксона
Q-критерий Розенбаума
Ф-критерий Фишера
Метод c-квадрата.
Подробная информация: Сидоренко Е.В. Методы математической обработки в психологии. – СПб,2000.
Рекомендация 1. Если экспериментальная гипотеза содержит предположение о том, что в результате проводимого психолого-педагогического исследования возрастут (или уменьшатся) показатели какого-либо качества, то для сравнения до- и постэкспериментальных данных рекомендуется использовать критерий Стъюдента или c-квадрат-критерий. К последнему обращаются в том случае, если первичные экспериментальные данные относительны и выражены, например, в процентах.
Рекомендация 2. Если экспериментально проверяемая гипотеза включает в себя утверждение о причинно-следственной зависимости между некоторыми переменными, то ее целесообразно проверять, обращаясь к коэффициентам линейной или ранговой корреляции.
Линейная корреляция используется в том случае, когда измерения независимой и зависимой переменных производятся при помощи интервальной шкалы, а изменения этих переменных до и после эксперимента небольшие.
К ранговой корреляции обращаются тогда, когда достаточно оценить изменения, касающиеся порядка следования друг за другом по величине независимых и зависимых переменных, или когда их изменения достаточно велики, или когда измерительный инструмент был порядковым, а не интервальным.
Рекомендация 3. Иногда гипотеза включает предположение о том, что в результате эксперимента возрастут или уменьшатся индивидуальные различия между испытуемыми. Такое предположение хорошо проверяется с помощью критерия Фишера, позволяющего сравнить дисперсии до и после эксперимента. Заметим, что, пользуясь критерием Фишера, можно работать только с абсолютными значениями показателей, но не с их рангами.
Пример использования критерия Стьюдента
Он вычисляется по формуле:
где X1 и Х2 – средние арифметические значения переменных в группах 1 и 2;
М1 и М2 – величины средних ошибок, которые вычисляются по формуле
M = s/N