ИЭ ® НП Þ ЗП ®ОВл
Идеальный эксперимент (ИЭ) — (термин ввел Г. Кэмпбелл) — это эксперимент наиболее приближенный к теории (гипотезе). Осуществить ИЭ практически невозможно. ИЭ предполагает: — манипулирование независимой переменной (НЗП) при полном контроле зависимой переменной (ЗП); постоянство условий; эквивалентность выборок; неизменность характеристик испытуемых; "отсутствие" временных характеристик; возможность бесконечного повторения эксперимента в различных ситуациях и на любых выборках; возможность одновременного проведения всех экспериментальных воздействий. Мерой приближения ИЭ к гипотезе является операциональная валидность (ОВ).
РЭ ® ВнВл
Реальный эксперимент (РЭ) — характеризуется внутренней валидностью (ВнВ), то есть мерой влияния на ЗП тех условий (НЗП и внешних переменных (ВшП), которыми варьирует исследователь. ВнВ — это мера достоверности результатов эксперимента. РЭ осуществляется в реальных условиях, при которых переменные контролируются не полностью. Вш: являются причиной артефактов (смещений эффекта Планирование эксперимента имеет целью повышение ВнВ. ВнВ тем выше, чем выше вероятность, что эффект вызван изменением НЗП.
ЭПС ® Реальная ситуация Þ Вш Вл®КонстрВл
Эксперимент полного соответствия (ЭПС) — экспериментальное воспроизведение реальной ситуации. Мерой соответствия ЭПС реальной ситуации является внешняя валидность (ВшВл), то есть возможность переноса экспериментальных результатов на реальную ситуацию, обобщение для других объектов реальности. Мерой адекватности интерпретации экспериментальных данных требованиям психологической теории является конструктная валидность (КонтрВл).
«Хороший эксперимент» (по Д. Кэмпбеллу) должен:
а) выявлять временную последовательность предполагаемой причины (НЗП) и следствия (ЗП);
б) выявлять связь НЗП и ЗП;
в) исключать влияние на ЗП ВшП;
г) исключать альтернативные гипотезы о теоретических конструктах, объясняющих связь НЗП и ЗП.
Внешняя валидность (ВшВ) эксперимента в абсолюте недостижима. Поэтому проблема внешней валидности неразрешима. ВшВ есть, с одной стороны, характеристика возможности обобщения экспериментальных данных на популяцию, а, с другой, репрезентативность эксперимента. Репрезентативность эксперимента — это: соответствие экспериментальной ситуации жизненной ситуации; типичность данной жизненной ситуации.
2. ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛАНЫ
2.1. Планы для одной независимой переменной
План «истинного» экспериментального исследования отличается от других следующими важнейшими признаками:
1) применением одной из стратегий создания эквивалентных групп, чаще всего — рандомизации;
2) наличием экспериментальной и, как минимум, одной контрольной группы;
3) завершением эксперимента тестированием и сравнением поведения группы, получившей экспериментальное воздействие (Х1), с группой, не получившей воздействия Х0
Классическим вариантом плана является план для 2 независимых групп. В психологии планирование эксперимента начинает применяться с первых десятилетий XX в.
Существуют три основные версии этого плана. При их описании будем пользоваться символизацией, предложенной Кэмпбеллом.
1) План для двух рандомизированных групп с тестированием после воздействия. Его автор — известный биолог и статистик Р. А. Фишер
[Fisher R. A., 1935].
Структура плана показана в табл. 2.1.
1. Экспериментальная группа | R X О1 |
2. Контрольная группа | R О2 |
Здесь R— рандомизация, X— воздействие, О1 — тестирование первой группы, О2— тестирование второй группы.
Равенство экспериментальной и контрольной групп является совершенно необходимым условием применения этого плана. Чаще всего для достижения эквивалентности групп применяют процедуру рандомизации (см. гл. 4). Этот план рекомендуют использовать в том случае, когда нет возможности или необходимости проводить предварительное тестирование испытуемых. Если рандомизация проведена качественно, то этот план является наилучшим, позволяет контролировать большинство источников артефактов; кроме того, для него применимы различные варианты дисперсионного анализа.
После проведения рандомизации или иной процедуры уравнивания групп осуществляется экспериментальное воздействие. В простейшем варианте используется лишь две градации независимой переменной: есть воздействие, нет воздействия.
Если необходимо использовать не 1 уровень воздействия, то применяются планы с несколькими экспериментальными группами (по числу уровней воздействия) и одной контрольной.
Если же нужно контролировать влияние одной из дополнительных переменных, то применяют план с 2 контрольными группами и 1-й экспериментальной. Измерение поведения дает материал для сравнения 2 групп. Обработка данных сводится к применению традиционных для математической статистики оценок. Рассмотрим случай, когда измерение проводится интервальной шкалой. Для оценки различия в средних показателях групп используют t-критерий Стьюдента. Оценивание различий в вариации измеряемого параметра между экспериментальной и контрольной группами проводится с помощью критерия F. Соответствующие процедуры подробно рассмотрены в учебниках математической статистики для психологов.
Применение плана для 2 рандомизированных групп с тестированием после воз действия позволяет контролировать основные источники внутренней невалидности (как их определяет Кэмпбелл). Поскольку предварительное тестирование отсутствует, исключен эффект взаимодействия процедуры тестирования и содержание экспериментального воздействия и сам эффект тестирования. План позволяет кон тролировать влияние состава групп, стихийного выбывания, влияние фона и естественного развития, взаимодействие состава группы с другими факторами, позволяет также исключить эффект регрессии за счет рандомизации и сравнения данные экспериментальной и контрольной групп. Однако при проведении большинства педагогических и социально-психологических экспериментов необходимо жестко контролировать исходный уровень зависимой переменной, будь то интеллект, тревожность, знания или статус личности в группе. Рандомизация — лучшая процедура из возможных, но она не дает абсолютной гарантии правильности выбора. Когда существуют сомнения в результатах рандомизации, применяют план с предварительным тестированием.
2) План для двух рандомизированных групп с предварительным и итоговым тестированием.
Рассмотрим структуру этого плана (табл. 2.2).
Таблица 2.2 | |
1. Экспериментальная группа | R O1 Х O2 |
2. Контрольная группа | R O3 O4 |
План с предварительным тестированием пользуется популярностью у психологов. Биологи больше доверяют процедуре рандомизации. Психолог прекрасно знает, что каждый человек своеобразен и отличен от других, и подсознательно стремится уловить эти различия с помощью тестов, не доверяя механической процедуре рандомизации. Однако гипотеза большинства психологических исследований, особенно в области психологии развития («формирующий эксперимент»), содержит прогноз определенного изменения свойства индивида под влиянием внешнего фактора. Поэтому план «тест—воздействие—ретест» с применением рандомизации и контрольной группой очень распространен.
При отсутствии процедуры уравнивания групп этот план преобразуется в квазиэкспериментальный.
Главный источник артефактов, нарушающий внешнюю валидность процедуры, — взаимодействие тестирования с экспериментальным воздействием. Например, тестирование уровня знаний по определенному предмету перед проведением эксперимента по заучиванию материала может привести к актуализации исходных знаний и к общему повышению продуктивности запоминания. Достигается это за счет актуализации мнемонических способностей и создания установки на запоминание.
Однако с помощью этого плана можно контролировать другие внешние переменные. Контролируется фактор «истории» («фона»), так как в промежутке между первым и вторым тестированием обе группы подвергаются одинаковым («фоновым») воздействиям. Вместе с тем Кэмпбелл отмечает необходимость контроля «внутри-групповых событий», а также эффекта неодновременности тестирования в обеих группах. В реальности невозможно добиться, чтобы тест и ретест проводились в них одновременно. План превращается в квазиэкспериментальный, например:
R О1 Х О2
R О3 О2
Обычно контроль неодновременности тестирования осуществляют два экспериментатора, проводящие тестирование двух групп одновременно. Оптимальной считается процедура рандомизации порядка тестирования: тестирование членов экспериментальной и контрольной групп производится в случайном порядке. То же самое делается и с предъявлением — не предъявлением экспериментального воздействия. Требуется наличие значительного числа испытуемых в экспериментальной и контрольной выборках (не менее 30-35 человек в каждой).
Естественное развитие и эффект тестирования контролируются за счет того, что они одинаково проявляются в экспериментальной и контрольной группах, а эффекты состава групп и регрессии [Кэмпбелл, 1980] контролируются при помощи процедуры рандомизации.
Результаты применения плана «тест—воздействие—ретест» представлены в таблице. При обработке данных обычно используются параметрические критерии t и F (для данных в интервальной шкале).
Вычисляются три значения t: сравнение 1) О1 и О2 2) О3 и О4; 3) О2 и О4 Гипотезу о значимом влиянии независимой переменной на зависимую можно принять в том случае, если выполняются два условия: а) различия между О1 и О2 значимы, а между О2 и О4 — незначимы и б) различия между О2 и 04 значимы.
Рекомендуется также применять ковариационный анализ по Фишеру. При этом показатели предварительного тестирования берутся в качестве дополнительной переменной, а испытуемые разбиваются на подгруппы в зависимости от показателей предварительного тестирования. Тем самым получается следующая таблица для обработки данных по методу MANOVA (табл. 2.3).
Группа | Уровень | |
Эксперимент | O1 | O2 |
Контроль | O n+1 | O4 |
Применение плана «тест—воздействие—ретест» позволяет контролировать влияние «побочных» переменных, нарушающих внутреннюю валидность эксперимента. Внешняя валидность связана с возможностью переноса данных на реальную ситуацию. Главным же моментом, отличающим экспериментальную ситуацию от реальной, является введение предварительного тестирования. Как мы уже отметили, план «тест—воздействие—ретест» не позволяет контролировать эффект взаимодействия тестирования и экспериментального воздействия: предварительно тестируемый испытуемый «сенсибилизируется» — становится более чувствительным к воздействию, так как мы измеряем в эксперименте именно ту зависимую переменную, на которую собираемся воздействовать с помощью варьирования независимой переменной.
3) План Соломона
Для контроля внешней валидности используется план Р. Л. Соломона, который был предложен им в 1949 г. Он используется при проведении эксперимента на четырех группах:
1. Эксперимент 1: R О1 Х O2
2. Контроль 1: R O3 O4
3. Эксперимент 2: R X O5
4. Контроль 2: R O6
План включает исследование двух экспериментальных и двух контрольных групп и по сути является мультигрупповым (типа 2 х 2), но для удобства изложения он рассматривается в этом разделе.
План Соломона представляет собой объединение двух ранее рассмотренных планов: первого, когда не производится предварительное тестирование, и второго — «тест—воздействие—ретест». С помощью «первой части» плана можно контролировать эффект взаимодействия первого тестирования и экспериментального воздействия. Соломон с помощью своего плана выявляет эффект экспериментального воздействия четырьмя разными способами:
при сравнении 1) О2 — О1; 2) О2 — О4 3) О5 – О6 и 4) О5 – О3.
Если провести сравнение О6 с О1 и О3, то можно выявить совместное влияние эффектов естественного развития и «истории» (фоновых воздействий) на зависимую переменную. Кэмпбелл, критикуя предложенные Соломоном схемы обработки данных, предлагает не обращать внимания на предварительное тестирование и свести данные к схеме 2х2, пригодной для применения дисперсионного анализа (табл. 2.4).
Таблица 2.4. | ||
Предварительное тестирование | Воздействие | |
Да | Нет | |
Есть | ||
Нет |
Сравнение средних по столбцам позволяет выявлять эффект экспериментального воздействия — влияние независимой переменной на зависимую. Средние по строкам показывают эффект предварительного тестирования. Сравнение средних по ячейкам характеризует взаимодействие эффекта тестирования и экспериментального воздействия, что свидетельствует о мере нарушения внешней валидности.
В том случае, когда эффектами предварительного тестирования и взаимодействия можно пренебречь, переходят к сопоставлению О4 и О6 методом ковариационного анализа. В качестве дополнительной переменной берутся данные предварительного тестирования по схеме, приведенной для плана «тест—воздействие—ре-тест».
Наконец, в некоторых случаях необходимо проверить сохранение во времени эффекта воздействия независимой переменной на зависимую: например, выяснить приводит ли новый метод обучения к долгосрочному запоминанию материала. Для этих целей применяют следующий план:
1. Эксперимент 1: R О1 Х О2
2. Контроль 1: R О3 О4
3. Эксперимент 2: R О5 X O6
4. Контроль 2: R О7 О8
Планы для одной независимой переменной и нескольких групп
Иногда сравнения двух групп недостаточно для подтверждения и опровержения экспериментальной гипотезы. Такая проблема возникает в двух случаях: а) при необходимости контроля внешних переменных; б) при необходимое выявления количественных зависимостей между двумя переменными. Для контроля внешних переменных используются различные варианты факторного экспериментального плана. Что касается выявления количественной зависимости между двумя переменными, то необходимость ее установления возникает при проверке «точной» экспериментальной гипотезы. В эксперименте с участием двух групп в лучшем случае можно установить факт причинной связи между независимой и зависимой переменными. Но между двумя точками можно провести бесконечное множество кривых. Для того чтобы убедиться в наличии линейной зависимости между двумя переменными, следует иметь хотя бы три точки, соответствующие трём уровням независимой переменной. Следовательно, экспериментатор должен выделить несколько рандомизированных групп и поставить их в различные экспериментальные условия.
Простейшим вариантом является план для трех групп и трёх уровней независимой переменной:
Эксперимент 1: R Х1 О1
Эксперимент 2: R X2 О2
Контроль: R О3
Контрольная группа в данном случае — это третья экспериментальная групп для которой уровень переменной Х = 0.
При реализации этого плана каждой группе предъявляется лишь один ypовень независимой переменной. Возможно и увеличение числа экспериментальных групп соответственно числу уровней независимой переменной.
Для обработки данных, лученных с помощью такого плана, применяются те же статистические методы, что были перечислены выше. Простые «системные экспериментальные планы», как ни удивительно, очень редко используются в современных экспериментальных исследованиях. Может быть, исследователи «стесняются» выдвигать простые гипотезы, помня о «сложности и многомерности» психической реальности? Тяготение к использованию планов со многими независимыми переменными, более того — к проведению многомерных экспериментов, не обязательно способствует лучшему объяснению причин человеческого поведения.