Мы обсудили уже ряд систематических ошибок, включая те, которые допускает исследователь, совершая просчеты при проведении исследования. За исключением, возможно, лишь эффекта выдвигаемых требований, рассмотренные выше типы искажения по сути являются ненаправленными, в том смысле, что они могут с равной вероятностью работать как на пользу исследованию, так и ему во вред. Обратимся теперь к тому, что, по-видимому, можно считать самой коварной формой искажения: к систематическому искажению результатов исследования, связанному с субъективизмом самого исследователя. Такое систематическое искажение приводит к так называемому эффекту предубеждений экспериментатора; другое, часто употребляемое название — эффект исследовательских ожиданий, О вероятности подобного эффекта упоминалось в главе 4 при обсуждении обсервативного исследования; в этом разделе мы рассмотрим эту проблему в более общем виде.
Первым, кто занялся вопросом предубеждений экспериментатора, был Роберт Розенталь (Robert Rosenthal, 1976). В типичном исследовании Розенталя испытуемым, чаще всего студентам, предлагается выступить в роли экспериментаторов. Этих экспериментаторов случайно делят на две группы. В качестве элемента подготовки каждой группе сообщают о том, что ожидает (и, возможно, надеется) обнаружить ведущий исследователь, Группы получают абсолютно противоположные сведения об ожидаемых результатах. Одной группе, к примеру, могут сказать, что ожидаются высокие результаты, а другой — что ожидаются низкие результаты. Не считая этой разницы-в ожиданиях, обе группы получают одинаковую подготовку
и следуют единому плану проведения эксперимента. Несмотря на это сходство, группы нередко получают разные результаты, и это различие отражает характер ожиданий каждой из групп. Иными словами, экспериментаторы обнаруживают то, что ожидают обнаружить. Подобные эффекты были продемонстрированы при изучении разнообразной проблематики и различных возрастных групп, включая и детей. На 1994 год насчитывалось 464 исследования, посвященных эффекту ожидания (Rosenthal, 1994a).
|
|
Каким образбм оказывают воздействие ожидания исследователя? Барбер и Силвер (Barber & Silver, 1968) описали 11 ситуаций искажения экспериментатором результатов исследования. Причины искажения перечислены в табл. 5.2. Наибольший интерес из них представляют первые пять: те, где искажение опосредовано непреднамеренными, зачастую практически незаметными действиями. Есть данные, полученные Розенталем и другими исследователями, что любой из 11 видов искажения может сыграть свою роль. Однако нужно отметить, что определить, где конкретно происходит искажение, подчас бывает невозможно.
Таблица 5.2 Причины эффекта необъективности экспериментатора
Непреднамеренные действия
1. Экспериментатор может влиять на поведение испытуемого, непреднамеренно подавая паралипгвистические сигналы — например, изменяя, тон речи.
2. Экспериментатор может влиять на поведение испытуемого, непреднамеренно подавая кинетические сигналы — например, изменяя позу или выражение лица.
3. Экспериментатор может влиять на поведение испытуемого непреднамеренным вербальным подкреплением.
4. Экспериментатор может непреднамеренно неверно истолковать поведение испытуемого.
|
|
5. Экспериментатор может непреднамеренно неверно зарегистрировать поведение испытуемого.
______________________________Преднамеренные действия____________________________
6-10. Экспериментатор может намеренно совершить описанные выше действия. 11. Экспериментатор может сфабриковать экспериментальные данные.
Источник; Т. X. Barber & M.J. Silver. Psychological Bulletin Monograph Supplement, 1968,70, 1-29.
Исследования Розенталя имеют и другие недостатки (анализ этого вопроса можно найти у Barber, 19.76; Barber & Silver, 1968; Rosenthal, 1968).
Возможно, важнейшим из них является недостаточный уровень внешней валидности. Во многих исследованиях, демонстрирующих эффект необъективности, в роли экспериментаторов выступают совершенно неопытные студенты, набранные исключительно Для исследования. Каждому экспериментатору недвусмысленно дается понять.каковы предполагаемые результаты. В некоторых случаях экспериментаторам обещают повысить оплату, если полученные результаты подтвердят гипотезу исследователя. Иными словами, задействуются все механизмы максимизации эффекта ожидания. Однако все эти исследования могут просто доказывать тот факт, что
существует вероятность неграмотного проведения исследования. Самый общий вывод, который можно сделать на основе этих результатов (то есть уровень внешней валидности), заключается в том, что исследования в целом имеют некоторые погрешности, которые проявляются при изучении эффекта ожидания.
Зная о причинах искажения, можно предложить способы сведения их к минимуму. Если участники исследования, которые будут проводить тестирование, недостаточно опытны, они, естественно, должны пройти тщательную подготовку. В этой подготовке следует акцентировать внимание на проблеме стандартизации, так как отклонение от стандарта — это первый шаг к искажению. Если есть возможность, экспериментаторов нужно не только обучить проведению стандартной процедуры, но и периодически проверять их работу, дабы удостовериться в том, что в ходе исследования она не стала небрежной, Нет необходимости говорить, что повышение оплаты за получение желательных результатов неприемлемо. Кроме того, исследователь должен избегать дифференцированного использования неденежного вознаграждения — например, выражение одобрения, когда экспериментатор сообщает о желательных результатах, и неудовольствия — при отсутствии таковых. Поскольку эффект необъективности обусловлен ожиданиями, нельзя допускать, чтобы у экспериментаторов сформировались четкие представления о том, каковы должны быть результаты исследования. Иногда с этой целью экспериментаторов держат в неведении относительно гипотез, проверяемых исследованием, и статуса испытуемых (например, экспериментальная или контрольная группа). Это метод «слепого эксперимента, который рассматривался в главе 4.
|
|
Хотя предложить способы предотвращения необъективности экспериментатора довольно просто, воплотить их на практике не всегда легко. В частности, иногда бывает трудно устроить «слепой» эксперимент или «слепое» наблюдение. В некоторых случаях ведущий исследователь (то есть человек, разработавший план исследования) тоже тестирует испытуемых, что, естественно, исключает возможность эксперимента, «слепого» в отношении гипотез. В других случаях было бы несерьезно надеяться на то, что у экспериментаторов, даже не обладающих никакой информацией об исследовании, не сформируются гипотезы о его целях и возможных результатах. Во многих ситуациях от экспериментатора невозможно скрыть статус испытуемого. Экспериментатор, к примеру, не спутает 3-летнего ребенка с 5-летним или мальчика с девочкой, а знание возраста или пола испытуемого может вызвать предвзятое отношение. Стоит отметить, что исследователи, работающие в области психологии развития, фактически всегда обладают информацией о своей главной независимой переменной — о возрасте испытуемого. Наконец, даже тогда, когда проведение «слепого» тестирования возможно, оно часто не используется. При обзоре журналов (таблица 1.3) учитывалось, использовались ли «слепой» эксперимент или «слепое» наблюдение там, где это было необходимо. Только 63% исследователей сообщили об использовании этого приема.
Ранее мы поставили под сомнение внешнюю валидность исследований необъективности экспериментатора. Суть вышесказанного сводится к тому, что результаты этих исследований не стоит слишком быстро сбрасывать со счетов как ограниченные искусственностью созданной экспериментальной ситуации. Несомненно, эффекты необъективности экспериментатора существуют. Как чисто они имеют место и сколько ложных выводов явилось их следствием — спорный вопрос. Цель исследователя — предупредить подобные споры в отношении своего исследования, то есть при планировании и проведении исследования, а также при сообщении его результатов сводить к минимуму вероятность необъективности экспериментатора.
Выбывание испытуемых
Большая часть этой главы была посвящена проблемам, которые могут возникнуть при работе с испытуемыми. В некоторых случаях эти проблемы столь серьезны — а также столь очевидны, — что сохранить данные какого-то испытуемого не представляется возможным. Выбывание или отсев испытуемых может происходить по ряду причин, обсуждавшихся в этой главе, — из-за неприемлемого отступления от стандартной процедуры со стороны экспериментатора, из-за крайне высокой реактивности со стороны испытуемого, из-за жесткой, непреодолимой установки испытуемого на определенный ответ. Кроме того, некоторые группы испытуемых и некоторые виды исследования могут создавать особые проблемы, приводящие к выбыванию даже при идеальном проведении исследования. Маленький ребенок может уснуть или расплакаться в ходе проведения эксперимента. При проведении лонгитюдного исследования испытуемые могут переехать в другую местность или умереть.
Главное, что следует запомнить об отсеве испытуемых, это то, что его нужно свести к минимуму. Отсев может вызвать ряд затруднений. С практической точки зрения, он связан с напрасной потерей времени и экспериментатора, и испытуемого. Если количество выбывших существенно, исследователь может остаться с выборкой, слишком маленькой для того, чтобы делать какие либо выводы. Наконец — и самое главное, — избирательное выбывание ставит под сомнение валидность исследования. Эта проблема рассматривалась в главе 3. Уход испытуемых действительно часто бывает избирательным и характерен для наименее компетентных, наименее мотивированных, наименее склонных к сотрудничеству с незнакомыми людьми и т. п. Такое выбывание может отразиться на внешней валидности или возможности генерализации результатов, поскольку исследователь будет изучать совсем не ту популяцию, на которую он хочет перенести свои выводы. Если выбывание зависит от возраста испытуемых или от экспериментальных условий, оно может отразиться и на внутренней валидности.
Методы минимизации выбывания можно вывести из описанных в этой главе проблем и соответствующих рекомендаций. Здесь стоит напомнить два общих принципа. Во-первых, до начала тестирования детей, особенно дошкольного возраста, с ними нужно установить доверительные отношения. Во-вторых, до начала осуществления исследования желательно провести пилотажные проверки в том объеме, в котором это необходимо. Исследователь, методики которого не подходят для большинства испытуемых, вероятно, просто проигнорировал фазу пилотажной проверки.
Помимо сведения к минимуму количества выбывших у исследователя есть еще две задачи. Во-первых, он должен заранее определить максимально объективный критерий отказа от испытуемого. С самого начала исследователю нужно иметь четкие представления о том, какое поведение испытуемого делает невозможным использование полученных результатов. Конкретные критерии будут разными в разных исследованиях; при изучении младенцев это может быть сон или плач; при изучении дошкольников — неудачное выполнение вербального претеста; при изучении старших детей и взрослых — распознание испытуемым обманного приема экспериментатора. Суть в том, что если сначала собрать все данные испытуемого, проверить, согласуются ли они с выдвинутой гипотезой, и только затем побеспокоиться о критериях выбраковки данных, можно получить искаженные результаты. Опасность заключается в том, что исследователь может легко поддаться соблазну сохранить результаты, согласующиеся с его ожиданиями, и исключить те результаты, которые с ними не согласуются.
О второй задаче мы уже упоминали в главе 2: предоставление точных данных о критериях выбраковки данных испытуемых и о количестве выбывших испытуемых. Как было сказано в главе 2, эта задача не всегда выполняется: подобная информация содержалась только в 50 % журнальных статей. Эта цифра говорит о некотором прогрессе, учитывая, что в обзоре, представленном в первом издании этой книги, данный показатель составлял 36 %. Тем не менее она оставляет желать лучшего.
Следует отметить еще один момент. Я постоянно подчеркиваю необходимость сохранения как можно большего количества испытуемых. Это, однако, не означает, что рыдающего младенца или перепуганного дошкольника нужно принудить продолжать участие в эксперименте. Против подобного образа действий можно выдвинуть два аргумента. Во-первых, результаты таких испытуемых вряд ли будут иметь какую-либо ценность. Во-вторых, что более существенно, как мы увидим в главе 8, важнейшим этическим принципом исследования, проводимого на людях, является право испытуемого в любой момент выйти из эксперимента. Этим правом, как любой другой испытуемый, обладает и не умеющий говорить младенец. А права испытуемых всегда стоят выше желаний экспериментатора.
Резюме
В этой главе рассматривается воплощение абстрактного исследовательского плана в конкретную процедуру. В ней анализируются проблемы, которые могут возникнуть при работе с испытуемыми, а также способы их разрешения.
Центральным понятием данной главы является понятие стандартизации создания условий, при которых важнейшие элементы экспериментальной процедуры будут одинаковыми для всех испытуемых. Стандартизация — это аналог контроля в экспериментальном исследовательском плане. При отсутствии стандартизации процедура изменяется от испытуемого к испытуемому, возникают систематические ошибки, а результаты не поддаются однозначной интерпретации. Возможно, наилучший способ стандартизации — тщательная проработка всех практических моментов на этапе пилотажного исследования. Лучшим является тот экспериментатор, который способен быть естественным, следуя стандартам, а также, когда это необходимо, найти подход к каждому испытуемому.
Хотя проведение стандартизации желательно, некоторое отступление от стандартной процедуры неизбежно и зачастую является разумным шагом. Полная стандартизация невозможна, поскольку некоторые аспекты процедуры (например, точное время тестирования) от испытуемого к испытуемому будут изменяться. При изучении разных возрастных групп может возникнуть необходимость внести в процедуру некоторые коррективы, чтобы она соответствовала возрастным особенностям разных групп. Цель эксплоративного исследования — открытие интересных феноменов в новой области исследования, и поэтому гибкость здесь имеет большее значение, чем стандартизация. Наконец, любой неизменный аспект процедуры (например, экспериментатор, осуществляющий сбор данных) потенциально становится частью независимой переменной, и подобная сверхстандартизация может ограничить возможность генерализации полученных результатов.
Затем речь идет о некоторых конкретных факторах, негативно отражающихся на валидности. Фактор инструментария подразумевает незапланированное изменение либо физических инструментов, либо экспериментаторов и наблюдателей в ходе исследования. Это изменение приобретает особое значение, если его ошибочно принимают за результат влияния возрастных особенностей или экспериментальных условий, что может произойти в ситуации, когда все или большинство испытуемых из одной группы проходят тестирование до начала тестирования другой группы. Еще одна причина, по которой следует избегать смешения условий и порядка тестирования, — вероятность систематической ошибки при отборе: испытуемые, с готовностью соглашающиеся на участие в исследовании (или родители, быстро соглашающиеся на участие своих детей), могут определенным образом отличаться от тех, кто затягивает с ответом. Третье основание для контроля порядка тестирования — возможность эффекта внешних по отношению к исследованию событий, например, эмоционального возбуждения накануне праздника. В планах «претест-посттест» те же события могут явиться фактором искажения валидности, который называют фактором истории — изменением, обусловленным действием неконтролируемых событий, происходящих в процессе исследования.
Очень часто искажение валидности связано с реактивностью — искажающим влиянием выполнения роли объекта исследования на поведение испытуемого. Лучше других изучены две формы реактивности: поведение «идеального испытуемого», когда человек стремится вести себя так, как того желает экспериментатор; и поведение «самолюбивого испытуемого», когда человек стремится произвести благоприятное впечатление. Чаще всего для снижения вероятности реактивности используются методы, направленные на сведение к минимуму очевидности манипуляций и измерений. Тесно связана с предыдущей проблема установки на определенный ответ — склонность испытуемого отвечать заранее определенным образом, независимым от содержания задания. К установкам на определенный ответ, характерным для детей, относят «соглашательство », выбор варианта, названного последним, чередование ответов и позиционное предпочтение. Исследователь должен также исключить возможность коммуникации между испытуемыми и диффузии, при которых искажение обусловлено общением испытуемых.
Особенно коварной является ситуация, когда то, что обнаруживает исследователь, зависит от его предположений и ожиданий. Подобные эффекты предубеждений экспериментатора принимают разнообразные формы. Хотя вопрос распространенности этого феномена является спорным, возможность необъективности экспериментатора существует и потому необходимо принимать меры по ее предупреждению. Если есть возможность, нужно проводить «слепое» тестирование, с тем чтобы исключить искажающий эффект ожиданий. Важны также предварительная подготовка и периодическая проверка экспериментаторов, гарантирующие стандартное проведение процедуры исследования.
В некоторых случаях проблемы, обсуждавшиеся в главе, столь серьезны, что от испытуемого приходится отказываться. Рассматривается несколько моментов, связанных с отсевом испытуемых. Во-первых, отсев следует свести к минимуму, так как он может повлиять и на внутреннюю и на внешнюю валидностьисследования. Во-вторых, исследователь должен заранее определить критерии отказа от испытуемого и отразить в своем отчете, сколько испытуемых выбыло и по каким причинам. И наконец, испытуемых нельзя принуждать к продолжению участия в исследовании против их воли.
Упражнения
Упражнения к последующим главам этой книги содержат рекомендации по Практической работе, то есть варианты простых исследований, которые вы сможете провести с разными группами испытуемых. Выполнение этих заданий предполагает, что у вас есть возможность осуществления некоторых из этих исследований; лучше всего, если вы выберете достаточно сложную процедуру (не просто раздачу опросников) и сможете опробовать ее в разных ситуациях. Следите за своими успехами как экспериментатора, приобретая опыт инструктирования, предъявления стимульного материала и проведения исследования в целом. Возможно, вам захочется записать процедуру эксперимента на магнитофон для последующего прослушивания; полезным может оказаться и получение обратной связи от испытуемых. Учитывайте следующие моменты: строгое следование стандартному плану процедуры, естественность поведения, ясность инструкций, исключение возможности эффектов запроса или предубеждений экспериментатора.
В этой главе упоминалась книга Уэбба «Unobtrusive Measures» (Webb et al., 1981) и приводился пример применения данного подхода в психологии развития. Придумайте как можно больше собственных примеров. Если есть возможность, достаньте экземпляр книги Уэбба и сравните собственные идеи с рассматриваем ы-ми в этой книге методами и примерами.
Глава 6