Расположение общих вопросов — сложная операция. Эти вопросы чаще затронуты влиянием порядка презентации, чем частные вопросы по той же теме.
Основное объяснение, выдвинутое исследователями данной проблемы, основывается на том, что опрашиваемые не любят повторяться. Когда они сперва отвечают на общий вопрос, они воспринимают его во всей его глобальности. Если этот вопрос появляется вслед за серией частных вопросов на ту же тему, некоторые опрашиваемые думают, что они будут повторяться, если ответят, используя заново сведения, которые они уже дали. Они воспринимают общий вопрос, сужая его направленность, и выбирают только те его аспекты, которые не были упомянуты в частных вопросах, на которые они уже ответили. Существование этого смещения побуждает располагать общие вопросы перед частными.
Пример. Судмэн и Брэдбери (Sudman, Bradburnm, 1982) излагают опыт, основанный на технике разделенной выборки, в которой опрашиваемые должны ответить на общий вопрос {счастливы ли они?) и на частный вопрос {счастливы ли они в браке?). В этом опыте перемена порядка вопросов не сказалась на частном вопросе. Напротив, общий вопрос дает меньше положительных ответов, если он стоит после частного. Судмэн и Брэдбери объясняют этот результат, упоминая об эффекте многословия. По их мнению, опрашиваемые, которым общий вопрос задается первым, принимают во внимание все аспекты жизни. Когда же этот вопрос задается после вопроса о браке, они относят его к работе и прочей деятельности, но семейную жизнь уже не считают, поскольку на эту тему они уже высказались.
Схожую проблему мы встречаем при необходимости собрать общие оценки, относящиеся к продуктам или фирмам в маркетинговых опросах. Обычно рекомендуется располагать этот тип вопросов в начале, а не в конце анкеты. Оба варианта обладают своими достоинствами и недостатками. Когда вопросы такого типа располагаются в начале опросника, мы получаем относительно спонтанные ответы. Но таким образом мы фиксируем предрасположенность опрашиваемого. Ответ может быть необдуманным или неточным, если объект оценки сложен. Кроме того, мы рискуем усилить гало-эффект. Когда мы просим привести общую оценку после того, как задали серию вопросов по различным граням оцениваемого объекта, ответ более обдуманный, опрашиваемый включает в него больше информации. Но при этом ответ находится под влиянием различных частичных оценок, которые опрашиваемого просили дать. В этом случае он склонен складывать ответы, принимая во внимание тот вес, который для него имеет каждый рассмотренный аспект.
Предыдущие замечания показывают, что борьба против смещений, связанных с порядком вопросов, является решающей операцией при структурировании опросника. К этому прибавляются требования деонтологического характера. Этот пункт особенно важен, когда исследование направлено на мнения в широком смысле этого слова. Мнения, которые опрашиваемые выражают в ходе опросов, не всегда являются предварительно сформированными, стабильными образованиями их мышления, они не всегда кристаллизованы. Иногда они латентны и обретают плоть только когда опрашиваемый вовлекается в размышления, отвечая на вопросы анкеты. Позиция, которую он в этом случае занимает, следует из конфронтации его мыслительных схем и требований, побуждений к реакции, которые встают перед ним в вопросах. То, как он будет развивать эти размышления, во многом определяется порядком вопросов. Так же как нужно следить за тем, чтобы вопросы не были наводящими, важно не допускать поощрения определенных мнений, выбирая последовательность вопросов тенденциозно или используя указанные выше смещения.
II. Тестирование анкеты
Тестирование анкеты представляет собой чрезвычайно важную операцию. Ему может предшествовать проверка, доверенная эксперту (например, опытному руководителю исследования), но всегда необходимо проводить и тестирование на соответствующей группе населения. Для этого выбирают несколько десятков лиц (примерно от 20 до 50) тем же образом, что и для определения окончательной выборки. Если избранный метод — эмпирический, нужно следить за тем, чтобы опрашиваемые в рамках тестирования люди как можно больше отличались друг от друга. При осуществлении итогового опроса к этим респондентам уже не обращаются.
Чтобы гарантировать объективность и валидность теста, нужно, чтобы его осуществление было доверено хорошо обученным интервьюерам. Но желательно, чтобы и автор анкеты участвовал в тестировании. Вступая в контакт с опрашиваемыми, он неформальным образом получит рекомендации, которые будут ему полезны при коррекции опросника.
Подготовка теста
Существует два способа опроса индивидов во время теста. Первая техника заключается в том, что участвующих в тесте просят ответить на вопросы анкеты, размышляя вслух в присутствии интервьюера, который фиксирует их слова. Опрашиваемые комментируют свои ответы. Им предлагают свободно выражать мысли, колебания, удивление (нелогичная последовательность вопросов, опущенные вопросы или варианты ответов и т. д.), а также описывать трудности, с которыми они сталкиваются (непонимание, недостаток знаний, ощущение, что приходится повторяться, нежелание давать информацию, отсутствие интереса к затронутой теме, усталость и т. д.). Интервьюер внимателен к невербальным реакциям, которые дают указания на то, как воспринимается опросник (охотно даваемые ответы, смущенный смех, внезапная холодность, молчание и т. д.). Эта техника имеет преимущество: дает богатые сведения, касающиеся понимания вопросов. Она также позволяет выявить ошибки, относящиеся к деталям. Но есть и один недостаток. Когда мы пользуемся этим приемом, люди, участвующие в тесте, выполняют операцию, отличающуюся от той, которую обычно выполняют при ответе на вопросы анкеты. Те, кто, отвечая, рассуждает вслух, показывают большие критические способности, а их вопросы более обдуманны.
Когда используется вторая техника, опрашиваемые начинают с того, что отвечают на анкету, как если бы она заполнялась обычным образом. Затем интервьюер просит их описать постфактум реакции, которые были у них вызваны анкетой, объяснив им, что анкета является объектом оценивания. Чтобы помочь им в решении данной задачи, он снова представляет им вопросы. Эта техника имеет свои преимущества. Она позволяет узнать, сколько времени необходимо на ответы. Она также дает интересные сведения о том, как воспринимается структура опросника. Опрашиваемый делает комментарии уже после того, как он приобрел целостный взгляд на анкету. Эта техника, кроме того, позволяет получить годные для анализа данные, поскольку опрашиваемые отвечают так же, как и при реальном опросе. Но этот прием имеет свои слабые стороны: комментарии менее точны и более рационализированы, поскольку собираются постфактум.
Когда опросник не предназначен для личного заполнения, нужно дополнить тестирование еще одной проверкой, в которой используется тот способ заполнения, который был выбран (телефонный опрос, почтовая рассылка, использование Интернета). Небольшое число респондентов опрашивают по телефону или при помощи рассылки, не предупреждая их, что речь идет о тесте, затем с ними снова связываются, прося прокомментировать вопросы; в этом случае акцент делается на трудностях, которые могут явиться следствием выбранного способа заполнения.