Для экспериментов, построенных по межгрупповой схеме, наиболее опасным
является фактор отбора; в то время как эксперименты, спланированные по интра-
индивидуальной схеме, прежде всего, страдают от эффектов последовательности.
Для контроля факторов отбора в межгрупповых экспериментах применяют осо-
бые стратегии распределения испытуемых по группам; для контроля побочных
эффектов в интраиндивидуальных экспериментах существуют несколько схем
последовательности предъявления условий независимой переменной.
Фактор отбора может нарушать валидность эксперимента двояким образом.
Внешняя валидность нарушается в результате неправильного отбора испытуемых
из популяции. В этом случае мы получаем нерепрезентативную выборку. Внут-
ренняя валидность эксперимента может быть нарушена вследствие неверного
распределения испытуемых по группам в межгрупповом эксперименте. Это про-
исходит в том случае, если сформированные группы неэквивалентны по значи-
мым признакам.
Основным средством контроля фактора отбора в эксперименте являются стра-
тегии отбора испытуемых из популяции (внешняя валидность) и стратегии рас-
пределения испытуемых по группам (внутренняя валидность).
Выделяют две стратегии отбора испытуемых из популяции: случайная стра-
тегия и стратометрический отбор.
1. Если используется случайный отбор, то из представителей популяции, к ко-
торым существует доступ, случайным образом отбираются испытуемые для экс-
перимента. Для этих целей лучше использовать таблицу случайных чисел. Не
следует путать случайную стратегию с привлечением добровольцев или исполь-
зованием реальных групп испытуемых, которые имеются в наличии: такие выбор-
ки в большинстве случаев являются нерепрезентативными.
2. Стратометрический отбор (случайный отбор групп с выделением слоев)
более предпочтителен, поскольку такая стратегия отбора позволяет в эксперимен-
тальной выборке представить различные категории испытуемых в такой же про-
порции, что и в популяции. Например, если в популяции «мужчин от 20 до 30
лет» 50% имеют среднее образование, 20% являются студентами ВУЗов и 30%
имеют законченное высшее образование, то и в выборке испытуемые должны
быть представлены в той же самой пропорции.
Таким образом, стратометрический отбор следует начать с разделения потен-
циальных испытуемых на слои (страты). Основание для выделения страт необхо-
димо формировать в соответствии с целями эксперимента.
Например, при изучении программ обучения имеет смысл сформировать слои
на основе таких признаков, как возраст, уровень интеллекта, опыт обучения по
данной программе. Если же Вы исследуете отношение к политическому деятелю,
то целесообразно использовать такие основания, как возраст, социальное положе-
ние, уровень образования и др. После того, как выделены необходимые страты, из
каждой случайным образом отбирается такое количество испытуемых, которое
соответствует процентному составу данной страты в популяции.
Существуют три основные стратегии распределения испытуемых по груп-
пам. Это: случайная стратегия, стратегия подбора пар и стратометрическое рас-
пределение.
1. Случайная стратегия. В этом случае испытуемые распределяются по груп-
пам случайным образом, то есть каждый участник эксперимента с одинаковой ве-
роятностью может попасть в любую из групп. Для такого распределения удобно
использовать таблицу случайных чисел. Однако, следует помнить, что примене-
ние случайной стратегии обеспечивает эквивалентность групп только в том слу-
чае, когда количество испытуемых в выборке достаточно велико.
2. Стратегия подбора пар (попарное распределение групп). В этом случае сна-
чала выделяется некоторая характеристика, на основе которой должны быть вы-
ровнены группы. Производится замер этой характеристики у всех участников
эксперимента, после чего подбираются пары испытуемых, максимально сходных
друг с другом. Один испытуемый из каждой пары зачисляется в первую группу,
другой – во вторую.
Стратегия подбора пар допускает меньшее количество испытуемых. Однако
этот способ выравнивания групп может использоваться только тогда, когда суще-
ствует возможность количественного измерения тех характеристик, по которым
группы предполагается выравнивать.
3. Стратометрическое распределение (случайное распределение групп с вы-
делением слоев). При использовании данной стратегии необходимо сначала опре-
делить критерии, на основе которых будут формироваться страты (слои). В осно-
ве формирования страт должны лежать признаки, способные выступить в данном
эксперименте в качестве побочных переменных. Если критерии выделены пра-
вильно, то стратометрическое распределение будет иметь преимущество по срав-
нению со случайным распределением: для достижения столь же высокой надеж-
ности эксперимента потребуется меньшее количество испытуемых.
Чтобы сформировать страты (слои), следует провести множественную класси-
фикацию, разделив испытуемых на несколько групп в соответствии с обозначен-
ными критериями. Критериев для формирования страт может быть несколько, од-
нако следует помнить, что использование двух критериев предполагает формиро-
вание 4-х качественно различных групп, три критерия дают уже 8 групп и т.д. По-
этому, следует выделять для стратификации лишь наиболее существенные при-
знаки.
Например, с целью обеспечения валидности некоторого эксперимента необхо-
димо уравновесить две группы по 2-м признакам: полу и возрасту. В этом случае
будут сформированы 4 слоя (страты). Страты могут различаться по количеству
испытуемых (см. таб. 3).
Таблица 3 Пример распределения 100 испытуемых на страты с учётом 2-х признаков
Когда страты сформированы, необходимо каждый слой случайным образом
разделить на две части, составив из всех слоёв две эквивалентные и равные по ко-
личеству группы. В приведённом выше примере в каждой из 2–х эксперименталь-
ных групп в конечном итоге будет по 50 человек.
С целью контроля побочных факторов в интраиндивидуальных экспериментах
используют три различные схемы последовательности предъявления условий:
случайную последовательность, схему регулярного чередования условий, и пози-
ционно уравненную последовательность.
1. При использовании случайной последовательности состояния или условия
независимой переменной предъявляются в случайном порядке (например: АВ-
ВАВАААВАВААВВВ__________). Такая схема рекомендуется, если:
(а) пробы коротки,
(б) проб много
(в) испытуемый не должен знать о состоянии независимой переменной в каждой конкретной пробе.
2. Схема регулярного чередования представляет собой такую последователь-
ность, когда условия независимой переменной равномерно чередуются через один
на всём протяжении эксперимента (например: АВАВАВАВ). Данная схема при-
меняется, если: (а) пробы коротки, (б) проб много, и (в) имеют место длительные
процессы, развивающиеся с течением времени.
3. Позиционно уравненная последовательность строится по принципу урав-
новешивания местоположения различных условий независимой переменной отно-
сительно центра ряда (например: АВВА, или АВССВА). Эту последовательность
целесообразно использовать, если: (а) пробы объёмны и трудоёмки, (б) проб мало,
(в) имеют место изменения во времени линейного характера.
Указанные последовательности успешно применяются в интраиндивидуальных
экспериментах для контроля факторов времени, эффектов последовательности и
факторов задачи. В первом случае они позволяют равномерно распределить усло-
вия НП во времени. Эффекты последовательности контролируются посредством
уравновешивания влияний условий НП друг на друга. Когда контролируется фак-
тор задачи, ставится цель равномерного распределения задач по условиям НП.
ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛАНЫ
Для представления различных характеристик экспериментальных планов Д.
Кэмпбеллом введена система графических и символических обозначений.
1. Х обозначает экспериментальное воздействие, независимую переменную или
событие, влияние которого подлежит измерению.
2. О – некоторый процесс наблюдения или измерения зависимой переменной.
3. Х и О, стоящие в одной строке, относятся к одним и тем же конкретным ли-
цам. Направление слева направо обозначает временной порядок.
4. Расположение Х и О одно под другим – обозначает одновременность.
5. R (рандомизация) указывает на использование специальных процедур вырав-
нивания групп, привлечённых к эксперименту.
процедуры случайного распределения участников эксперимента по группам или порядка предъявления им экспериментальных условий. Также процедуры, обеспечивающие случайный отбор респондентов при построении выборки случайной.
Говоря, что обработка назначается объектам случайно, мы подразумеваем, что вероятность назначения каждого вида обработки одинакова для всех объектов.
На необходимость рандомизации впервые указал Р.Фишер [Fisher, 1935].
Рандомизация преследует три цели:
· гарантирует, что наши предпочтения не повлияют на формирование групп с различными видами обработки
· предотвращает опасность, связанную с выбором на основе личных суждений
· наконец, при случайном (рандомизированном) распределении обработок самый строгий критик не сможет сказать, что группы пациентов рассматривались по-разному вследствие наших предпочтений
6. Параллельные строки, не разделенные пунктирной линией, представляют
группы, уравненные посредством рандомизации.
7. Параллельные строки, разделенные пунктирной линией, обозначают со-
поставляемые группы, не уравненные рандомизацией.
8. М используется для обозначения материалов.
Д. Кэмпбелл выделяет два основных способа контроля в экспериментальных
исследованиях; это:
1) предварительное тестирование,
2) контрольная группа.
Введение в экспериментальный план названных способов контроля увеличива-
ет достоверность приписывания экспериментального эффекта Х. Так, использова-
ние предварительного тестирования выделяет влияние Х через сравнение резуль-
татов исходного тестирования (без Х) и итогового (после воздействия Х). Введе-
ние контрольной группы выделяет влияние Х через сравнение результатов в двух
группах (с Х и без Х).
Однако применение каждого из названных способов контроля вносит и специ-
фические негативные эффекты в экспериментальное исследование, вызывая к
жизни отдельные факторы, нарушающие валидность эксперимента (см. приложе-
ние 1). Использование двух измерений вместо одного всегда увеличивает риск
искажающего влияния инструментальной погрешности, фона и эксперименталь-
ного отсева. Введение предварительного тестирования влечёт за собой появление
таких факторов, как эффект тестирования, естественное развитие, статистическая
регрессия. Главной опасностью планов с применением контрольной группы ста-
новится ошибка селекции.
Усиление названных способов контроля позволяет снизить влияние отдельных
побочных эффектов. Так, естественное развитие и статистическая регрессия кон-
тролируются посредством введения нескольких серий предварительного и итого-
вого измерений; ошибка селекции, характерная для межгрупповой схемы, кон-
тролируется при помощи рандомизации (см. приложение 2). (Рандомизация – это
выравнивание групп, которое может достигаться несколькими способами: слу-
чайное распределение, стратометрическое распределение, в отдельных случаях
можно использовать и стратегию подбора пар). В целом же, сочетание предвари-
тельного тестирования и контрольной группы всегда делает экспериментальный
план более «сильным», т.е. более защищённым от факторов, нарушающих валид-
ность.
Следует помнить, что каждый экспериментальный план предназначен для кон-
троля вполне определённого набора побочных факторов и уязвим для влияния
других. Поэтому, выбор плана для конкретного экспериментального исследования
должен производиться с учётом всех «плюсов» и «минусов» каждого конкретного
плана. Необходимо выбирать такой план, который бы давал гарантию контроля
факторов, наиболее опасных в данном эксперименте, при этом, другими (несуще-
ственными) факторами можно пренебречь.
В приложении 2 систематизированы экспериментальные планы, рассматри-
ваемые Д.Кэмпбеллом. Систематизация проведена относительно двух способов
контроля: введения предварительного тестирования и использования контрольной
группы. Нумерация и название планов приводятся в соответствии с Д. Кэмпбел-
лом.
Д. Кэмпбелл выделяет три группы экспериментальных планов:
– доэкспериментальные,
– истинные экспериментальные,
– квазиэкспериментальные.
К разряду доэкспериментальных относятся планы №№ 1, 2, 3.
№ 1. Исследование единичного случая
Х О
№ 2. План с предварительным и итоговым тестированием на одной группе
О1 Х О2
№ 3. Сравнение статических групп
Х О1
- -
О2
Основной недостаток доэкспериментальных планов в несовершенстве экспериментального контроля. В плане № 1 он вообще отсутствует: результат воздействия Х неочевиден. (Поскольку используется только один замер, невозможно определить, связан ли полученный при измерении результат именно с воздействием
Х). В планах № 2 и № 3 контроль весьма несовершенен. Введение одного из способов контроля: предварительного тестирования (план № 2) или неэквивалентной
контрольной группы (план № 3) вызывает к жизни ряд факторов, нарушающих
валидность эксперимента, которые ничем не компенсируются. Однако, в отдельных случаях доэкспериментальные планы адекватно решают задачи исследования, и их применение оправдано, поскольку они являются простыми в проведении
и наименее затратными.
Три плана (№№ 4, 5, 6) называются «истинными» экспериментальными
планами.
№ 4. План с предварительным и итоговым тестированием и контрольной
Группой
R О1 Х О2
R О3 О4
№ 5 План Соломона для четырёх групп
R О1 Х О2
R О3 О4
R Х О5
R О6
№ 6. План с контрольной группой и без предварительного тестирования
R Х О1
R О2
Необходимым условием «истинного» эксперимента является возможность активного управления Х. Истинные экспериментальные планы используют достаточно совершенные способы контроля и хорошо защищены от факторов, нарушающих внутреннюю валидность. Так, во всех трёх «истинных» экспериментальных планах присутствует рандомизация, в двух – сочетаются использование контрольной группы и предварительное тестирование. Чаще всего «истинные» эксперименты проводятся в лабораторных условиях.
К разряду квазиэкспериментальных относятся планы №№ 7-14. Квазиэкспериментальные планы используются тогда, когда невозможно реализовать исследование в соответствии с планом «истинного» эксперимента. Сложные явления (особенно социальные) не всегда укладываются в рамки «истинных» экспериментальных планов. Например,
невозможность произвольное управление состоянием независимой переменной
может быть неосуществимо в связи с тем, что НП представляет собой травмирующие события, длительные, сложные события или же события прошлого.
Практически ориентированные исследования для одной группы изначально не
предполагают использования планов с контрольной группой; реакция испытуемых на разделение по группам также может сделать подобные планы неосуществимыми. Неопределённость критериев, по которым необходимо выравнивать
группы часто делает бессмысленной процедуру рандомизации. Эффекты тестирования и взаимодействие тестирования с Х ограничивают возможности применения планов с предварительным тестированием. Во всех этих случаях рекомендуются квазиэкспериментальные планы.
Несмотря на ограниченные возможности контроля за экспериментальным воздействием и побочными факторами такие планы широко используются в психологических исследованиях. Особыми характеристиками квазиэкспериментальныхпланов могут быть следующие:
- в квазиэкспериментах часто используются естественные группы (такие
группы, как правило, неэквивалентны, хотя могут быть сопоставимыми);
- для некоторых квазиэкспериментов характерен контроль только при сборе
данных (то есть роль НП играют события, которые происходят в реальной жизни
независимо от экспериментатора, экспериментатор решает только на ком и когда
проводить измерения);
- в квазиэкспериментальных планах может использоваться приём, который
предполагает проведение предварительного и итогового тестирования на разных
группах;
- один из распространенных способов контроля в квазиэкспериментах – это
дублирование эффекта Х и выявление его несколькими разными способами.
Квазиэкспериментальные планы весьма разнообразны, и с их помощью можно
решать очень различные исследовательские задачи. При этом, используя схему
квазиэксперимента, из-за отсутствия полного контроля экспериментальных пара-
метров, исследователь должен отдавать себе отчет в том, какие именно перемен-
ные в его конкретном плане не поддаются контролю.
Планы №№ 7-9 предназначены для исследования одной группы испытуемых.
№ 7. План временных серий
О1 О2 О3 О4 Х О5 О6 О7 О8
№ 8. План с эквивалентными временными выборками
Х1 О Х0 О Х1 О Х0 О
№ 9. План с сериями эквивалентных воздействий
МaХ1 О МbХ0 О МcХ1 О МdХ0 О
План № 10 является сочетанием доэкспериментальных планов № 2 и № 3.
№ 10. План с неэквивалентной контрольной группой.
О1 Х О2
- - - -
О3 О4
План № 11 называется «сбалансированным». В таких планах для достижения
контроля экспериментальных параметров предусматривается предъявление всем
испытуемым (или использование во всех ситуациях) всех экспериментальных
воздействий. Для построения сбалансированного плана обычно используется ла-
тинский квадрат. В такой схеме каждое воздействие (X) фигурирует в каждой
строке и в каждом столбце по одному, и только одному, разу.
№ 11. Сбалансированные планы. Латинский квадрат
Латинский квадрат может использоваться как для планирования подлинных
экспериментов, так и для квазиэкспериментов. В первом случае группы форми-
руются с помощью рандомизации, во втором – к эксперименту привлекаются ес-
тественные группы. План № 11 особенно удобен в условиях, когда при очень ма-
лом числе естественных групп (например, школьных классов) есть возможность
планировать порядок воздействий, но нельзя случайным образом разделить груп-
пы на эквивалентные подгруппы для предъявления Х или проведения тестирования.
При изучении больших популяций, таких, как города, предприятия, школы,
высшие учебные заведения и т. д., часто может оказаться, что невозможно рандо-
мизированное выделение подгрупп для дифференцированного экспериментально-
го воздействия. Однако все же удается применить процедуры рандомизированно-
го распределения испытуемых по группам для проведения замеров. Для таких
случаев предназначены планы № 12 и № 13. В графических схемах названных
планов строки представляют случайным образом выделенные эквивалентные под-
группы, а скобки при Х означают, что результаты предъявления Х по данной
группе не используются. В планах № 12 и № 13 реализуется приём разведения
предварительного и итогового тестирования по разным группам: одна группа
проходит тестирование только до воздействия X, а другая – только после X.
