Статистическая значимость (сокр. Sig), или р-уровень значимости – основной результат проверки статистической гипотезы. Говоря техническим языком, это вероятность получения данного результата выборочного исследования при условии, что на самом деле для генеральной совокупности верна нулевая статистическая гипотеза – т.е. связи нет. Иначе говоря, это вероятность того, что обнаруженная связь носит случайный характер, а не является свойством совокупности. Именно статистическая значимость, р-уровень значимости является количественной оценкой надежности связи: чем меньше эта вероятность, тем надежнее связь.
Предположим, при сравнении двух выборочных средних было получено значение уровня статистической значимости р=0,05. Это значит, что проверка статистической гипотезы о равенстве средних в генеральной совокупности показала, что если она верна, то вероятность случайного появления обнаруженных различий составляет не более 5%. Иначе говоря, если бы две выборки многократно извлекались из одной и той же генеральной совокупности, то в 1 из 20 случаев обнаруживалось бы такое же или большее различие между средними этих выборок. Т.е. существует 5% вероятность того, что обнаруженные различия носят случайный характер, а не являются свойством совокупности.
В отношении научной гипотезы уровень статистической значимости – это количественный показатель степени недоверия к выводу о наличии связи, вычисленный по результатам выборочной, эмпирической проверки этой гипотезы. Чем меньше значение р-уровня, тем выше статистическая значимость результата исследования, подтверждающего научную гипотезу.
Уровень значимости при прочих равных условиях выше, если: а) величина связи (различия) больше;
б) изменчивость признака (признаков) меньше; в) объем выборки (выборок) больше.
Чем больше гипотез проверяется, тем выше шанс получить результат чисто случайно – р-уровень увеличивается пропорционально количеству проверяемых гипотез!
Статистический критерий – это инструмент определения уровня статистической значимости. Назначение критерия – проверка статистической гипотезы путем определения р-уровня значимости (вероятности того, что Н0 верна). Выбор критерия определяется проверяемой статистической гипотезой.
Статистический критерий задает формулу для определения числа степеней свободы. Число степеней свободы (df) – это количество возможных направлений изменчивости при- знака. Как правило, число степеней свободы линейно зависит от объема выборки, от числа признаков или их градаций, - чем больше эти показатели, тем больше число степеней свободы. В связи с тем, что для каждого случая df имеет свою специфику, подчеркнем лишь следующее: каждая формула для расчета эмпирического значения критерия обязательно сопровождается правилом (формулой) для определения числа степеней свободы.
Статистический критерий включает в себя:
а) формулу расчета эмпирического значения критерия по выборочным статистикам; б) правило (формулу) определения числа степеней свободы;
в) теоретическое распределение для данного числа степеней свободы;
г) правило соотнесения эмпирического значения критерия с теоретическим распределением для определения вероятности того, что Н0 верна.
При обработке данных на компьютере при помощи статистической программы (например, SPSS) исследователю достаточно указать программе, какой критерий (метод) необходимо применить к заданной выборке исходных данных. Далее программа сама вычисляет эмпирическое значение и сопоставляет его с теоретическим распределением. В качестве результата исследователь получает значение р-уровня значимости, наряду с эмпирическим значением критерия и числом степеней свободы.
Когда расчеты производятся «вручную», исследователь совершает более сложную по- следовательность действий для проверки гипотезы, включающую применение специальных таблиц критических значений критерия:
1. Выбор критерия в зависимости от вида исходных данных и статистической гипотезы.
2. Расчет по исходным данным (или по имеющимся статистикам) эмпирического зна- чения критерия и числа степеней свободы.
3. Применение «Таблицы критических значений критерия» позволяет определить зна- чение р-уровня для данного числа степеней свободы.
Таблица критических значений содержит значения (квантили) теоретического распре- деления, соответствующие наиболее важным – критическим значениям р-уровня (0,1; 0,05; 0,01; 0,001) для различных чисел степеней свободы.
Процедура определения р-уровня значимости (рис. 1):
1. Если эмпирическое значение критерия (Кэ) находится между двумя критическими значениями, то р-уровень меньше того критического р-уровня, которое находится левее.
2. Если Кэ находится левее крайнего левого критического значения (обычно это соот- ветствует критическому значению р=0,1, реже р=0,05), то р-уровень больше, чем крайнее правое критическое значение р-уровня.
3.
 |
Если Кэ находится правее крайнего правого критического значения, то р-уровень меньше крайнего правого критического р-уровня.
Рис. 1 Процедура определения р-уровня значимости
Для разных критериев возможны разные соотношения между р-уровнем и величиной критических его значений.
Для большинства критериев (t, F, χ2 и др.) – чем больше значения критерия, тем выше
статистическая значимость (меньше р-уровень).
Для некоторых критериев зависимость обратная. Например, U-Манна-Уитни или Т- Вилкоксона убывают по мере увеличения уровня значимости (уменьшение р-уровня).
Тем не менее, правило остается общим, в соответствии с рисунком. Например, если tэ находится между t0,1 и t0,05, то р<0,1. И если Uэ находится между U0,1 и U0,05,, то р<0,1. Если же эмпирическое значение попадает левее критического р=0,1 (tэ<t0,1, но Uэ>U0,1), то уровень значимости определяется как р>0,1.
Проверка статистической гипотезы должна заканчиваться принятием статистического решения о том, какая же гипотеза верна: нулевая – об отсутствии связи или альтернативная – о её наличии. Соответственно, от этого зависит и окончательный, содержательный вывод исследования: подтверждена или нет исходная научная гипотеза. Решение исследователя зависит от того, какую вероятность ошибки он считает допустимой.
Традиционная интерпретация различных уровней значимости исходит из α=0,05. В соответствии с ней приемлемым для отклонения Н0 признается уровень р≤0,05. Такая относительно высокая вероятность ошибки может быть рекомендована для небольших выборок.
Если объем выборок около 100 и более объектов, то порог отклонения Н0 целесообразно снизить до α=0,01 и принимать решение о наличии связи (различий) при р≤0,01.
Интерпретация уровней значимости представлена в таблице 2.
Таблица 2
Традиционная интерпретация уровней значимости
| Уровень значимости | Решение | Возможный статистический вывод |
| р>0,1 | Принимается Н0 | Статистически достоверные различия (связи) не обнаружены |
| р≤0,1 | Сомнения в истинности Н0, неопределен- ность | Различия обнаружены на уровне статистической тенденции |
| р≤0,05 | Значимость, отклонение Н0 | Обнаружены статистически достоверные (значимые) различия (связи) |
| р≤0,01 | Высокая значимость, отклонение Н0 | Различия (связи) обнаружены на высоком уровне статистической значимости |
| р≤0,001 | Очень высокая значимость, отклонение Н0 | Различия (связи) обнаружены на Очень высоком уровне статистической значимости |
Источник информации: Чижкова М.Б. Основы математической обработки данных в психологии [Электронный ресурс]: учеб. пособие для студ. 3 курса факультета клинической психологии ОрГМА. – Оренбург: [б.и.], 2014. – 95 с.