Стандартизация желательна, но не является безусловной целью. Нередко имеет смысл удовлетвориться неполной стандартизацией. Мы только что рассмотрели подобный случай: ситуацию, в которой поведение ребенка вынуждает к отступлению от стандартной процедуры. В этом разделе мы проанализируем еще несколько примеров.
Начнем с того, что вспомним замечание, сделанное в главе 2: полная стандартизация, в смысле создания абсолютно равных условий для всех испытуемых, невозможна. Если, к примеру, тестирование проводится индивидуально, нельзя протестировать всех испытуемых в 10 часов утра 30 сентября; время тестирования неизбежно будет разным у разных испытуемых. Невозможно поддерживать на одном уровне и такие факторы, как расписание занятий в день тестирования, то, насколько хорош обед, погоду и ряд других обстоятельств, влияющих на результаты каждого ребенка. Как говорилось в главе 2, важно не то, чтобы все испытуемые находились в одинаковых условиях, а то, чтобы любые потенциально значимые факторы были равномерно распределены между сравниваемыми группами. При этом мы получаем возможность исключить смешение любого фактора с интересующими нас независимыми переменными.
В других случаях вынужденное отклонение от стандарта обусловлено попыткой объединить в одном исследовании разные возрастные группы. Рассмотрим исследование, направленное на оценку успешности решения задач испытуемыми в возрасте от дошкольного до окончания колледжа (например, Zelniker, Oppen-heimer, & Renan, 1975). Одной из независимых переменных здесь является возраст. Действуя в соответствии с данной выше рекомендацией, мы должны были бы избегать возможных изменений в процедуре при изучении разных возрастных групп. Однако маловероятно, что исследователь будет вести себя с 5-летним испытуемым так же, как с 20-летним. Условия, в которых будет проводиться исследование, скорее всего будут различаться: детей будут тестировать в одном из школьных кабинетов, а взрослых — в университетской лаборатории. Инструкции, по крайней мере частично, тоже будут различаться: 20-летнего студента не будут приглашать «пойти поиграть». Даже если слова инструкций одни и те же, изменяется темп и тон речи; естественная манера разговора неодинакова для 5- и 20-летних. Наконец, в процедуру могут быть внесены и существенные изменения; Маленьким детям иногда необходима помощь. Например, исследование Зелни-Кер и др. (Zelnicker et al., 1975) включало предварительную тренировку только Для самых младших.
|
|
Сказанное выше не означает, что если между испытуемыми большая разница в возрасте, стандартизация и контроль не нужны. Необходимость, стандартизации в рамках одной возрастной группы сохраняется. Кроме того, центральные моменты процедуры, например условия задач в исследовании Зелникер и др., должны быть неизменными для всех испытуемых; иначе не имеет смысла проводить возрастное сравнение. Однако, что касается других аспектов процедуры, при изучении разных возрастных групп исследователь должен попытаться достичь не буквальной, а функциональной эквивалентности процедуры. Иными словами, цель — сделать так, чтобы процедура была равно соответствующей возрасту для всех изучаемых возрастных групп. Условия школьной библиотеки отличаются от условий университетской лаборатории; однако их обстановка одинаково естественна и знакома для изучаемых групп. В этой ситуации уравниваются не характеристики помещений самих по себе, а уровень естественности обстановки при тестировании. Тот же аргумент можно предложить и для обоснования адаптации к определенному возрасту слов инструкции, тона речи, обратной связи, похвалы и т. д. Каждый раз исследователь пытается проводить процедуру в соответствии с возрастом испытуемого, и в то же время, насколько это возможно, сохранять ее единообразие для разных возрастных групп. Трудность здесь заключается в том, чтобы, адаптируя процедуру для каждой из возрастных групп, не исказить результаты их сравнения.
|
|
Последний вариант отклонения от стандарта — в эксплоративном исследовании. Как следует из названия, эксплоративное исследование — это исследование, цель которого в разработке новой, малоизученной проблематики оригинальными, не определенными заранее способами. Суть такого исследования — в возможности творческого подхода, в возможности разобраться в неожиданных результатах, опробовать различные методы изучения, поэкспериментировать с самой процедурой, модифицировать ее в ходе проведения исследования. Классическими примерами эксплоративного исследования являются многие из работ Пиаже (например, Piaget, 1926; Piaget & Szeminska, 1952). Как станет понятно из дальнейшего рассуждения, важнейшим элементом успеха Пиаже была его способность открывать и анализировать новые феномены, придерживаясь гибкого стиля при постановке вопросов и формулировании задач, руководствуясь как ответами ребенка, так и нормами процедуры. Именно такого рода экспериментирование и изменения исключаются в жестко стандартизированном исследовании.
|
|
В дальнейшем, говоря о Пиаже, мы отметим еще один момент. Для оценки валидности выводов Пиаже потребовалось провести множество более строго контролируемых стандартизованных исследований. Эксплоративное исследование, как никакое другое, подходит для открытия новых феноменов и генерирования идей, однако верификация этих феноменов и идей зависит от точности и контроля, которые могут обеспечить только стандартизованные процедуры.
Сверхстандартизация
Как мы только что увидели, стандартизация не может быть абсолютной. Полная стандартизация, без преувеличения, невозможна. По мере исследования испытуемых что-то всегда изменяется. Несмотря на все старания исследователя стандартизировать процедуру, поведение испытуемого может вынудить к отступлению от установленной схемы. Изучая разные возрастные группы, исследователь намеренно изменяет определенные параметры процедуры. Исследователь, разрабатывающий новую проблематику, намеренно отказывается от стандартизации ради возможности свободного экспериментирования и совершения открытии.
Но предположим, что мы имеем дело с ситуацией, не соответствующей ни одному из вышеперечисленных исключительных случаев. Допустим, мы работаем с испытуемыми одного возраста, имея четкий план действий, контролируя ситуацию, не изучая нечто новое, а пытаясь с максимальной точностью определить, каким образом связаны некие переменные. Есть ли основания в этом случае строго придерживаться стандарта? Или существует, даже здесь, такое понятие, как излишняя стандартизация?
Кэмпбелл и Стэнли (Campbell & Stanley, 1966) полагают, что сверхстандартизация действительно бывает. Приведенный ими пример касается исследования способности к убеждению, в котором сравнивается эффективность обращения к рассудку и эмоциям. Чтобы произвести стандартизацию, исследователь решает записать на магнитофон по одной версии обращения обоих типов; таким образом, всем испытуемым в определенной экспериментальной ситуации предъявляется один и тот же стимул. Такой контроль кажется желательным, поскольку мы должны были бы знать наверняка, что представляют из себя определенные экспериментальные условия. Однако в действительности решение сохранять ситуацию неизменной означает отказ от возможности выяснить, какие именно аспекты экспериментальных условий объясняют обнаруженный эффект. Возможно, имеет значение тот фактор, который мы намеревались изучить: обращение к эмоциям или к рассудку. Но возможно, что имеет значение пол говорящего, или некоторые особенности его голоса, тон или темп его речи. Возможно также, имеет значение определенное сочетание вышеперечисленных качеств — к примеру, апеллирование к эмоциям колоритным мужским голосом. Суть в том, что любой фактор, одинаковый для всех испытуемых, потенциально становится частью независимой переменной. Предпочтительнее в такой ситуации допустить разнообразие этих дополнительных факторов (пола, особенностей голоса и т. д.), в то же время оставляя неизменным фактор, который нас действительно интересует: характер обращения. Тогда любой обнаруженный эффект можно с большей уверенностью объяснить характером обращения.
Понятно, что сверхстандартизация может быть причиной искажения внешней валидности. В описанном выше исследовании цель — получить в той или иной мере обобщенные выводы относительно эффективности апелляции к рассудку или эмоциям. Для нас нежелательно, чтобы результаты зависели от индивидуальных качеств говорящего или от способа подачи текста, так как полученные в этом случае выводы нельзя считать справедливыми для конкретного исследования.
Трудности, создаваемые сверхстандартизацией, доказывают значение, которое в научном исследовании имеет воспроизведение. При воспроизведении, по определению, сохраняются неизменными те характеристики, на изучение эффекта которых направлено само исследование; к примеру, обращение к эмоциям или к рассудку в гипотетическом исследовании эффективности убеждения. В то же время другие характеристики практически неизбежно изменяются, особенно если исследование воспроизводит другой исследователь, в другой лаборатории. Поэтому человек, выступающий в роли убеждающего, скорее всего будет другим, как и экспериментатор, взаимодействующий с испытуемыми, а также помещение, в котором проводится эксперимент, время года и т. д. Обнаружив те же эффекты эмоционального и рационального убеждения, несмотря на все изменения, мы сможем более уверенно говорить о том, что тот или иной результат действительно обусловлен характером обращения. И наоборот, если бы нам не удалось воспроизвести изначально полученные результаты, это означало бы, что параметры процедуры, считавшиеся несущественными, в действительности не так уж несущественны.
Когда сверхстандартизация становится проблемой в исследовании психологии развития? Пожалуй, чаще всего в случаях, аналогичных тем, которые описали Кзмпбелл и Стэнли: когда все данные собирает один экспериментатор. В обзоре журналов по психологии развития (табл. 1.3) учитывалось в том числе и количество экспериментаторов, принимавших участие в исследованиях, в которых могли иметь значение характеристики экспериментатора. В 30 % отчетов из тех, в которых имелась подобная информация, указывалось на наличие одного экспериментатора; только в 22 % случаев количество экспериментаторов достигало четырех. Обратите внимание, что по меньшей мере 69 % статей при данном подсчете не учитывалось, поскольку в них не содержалась информация о количестве экспериментаторов; в действительности в 52 % отчетов вообще отсутствовала какая-либо информация об экспериментаторах.
Неудивительно, что исследования, проводимые одним экспериментатором столь распространены. Использование одного экспериментатора требует меньше расходов, меньше времени на подготовку и не связано с проблемой составления графика проведения исследования и подбора экспериментаторов. Каким бы заманчивым ни казался этот выбор, всегда помните о том, что если экспериментатор работает в одиночку, то становится константным элементом экспериментальной процедуры, элементом, который может влиять на результаты исследования. Совпадение результатов, полученных разными экспериментаторами, служит залогом внешней валидности исследования.