При проведении исследования мы исходили из предположения, что метод "запечатанного буклета" обладает большими возможностями по сравнению с обычным персональным интервью с точки зрения стимулирования искренних ответов на сенситивные вопросы. Однако полученные нами данные оказались не столь очевидными. С одной стороны, ни по одной из 28 сравниваемых пар вопросов, составивших предмет нашего рассмотрения 1, не было обнаружено различий, которые были бы значимы на приемлемом уровне (p<0,05). Максимальное расхождение в ответах, свидетельствующее в пользу нового метода, составило всего 3,2% (табл. 3).
Таблица 3
Соотношение утвердительных ответов на вопросы, задававшиеся в традиционном персональном интервью и при интервьюировании методом "запечатанного буклета", % ответивших
| Вопросы-переменные* | Персональное интервью | Метод "запечатанного буклета" | Разность показателей | Уровень значимости различий (p) |
| Воровство | 64,6 | 66,7 | +2,1 | 0,265 |
| Взяткодательство | 48,5 | 47,4 | –1,1 | 0,075 |
| Сокрытие преступления | 39,0 | 38,0 | –1,0 | 0,499 |
| Симулирование болезни | 55,9 | 57,4 | +1,5 | 0,299 |
| Желание покончить с собой | 32,5 | 33,3 | +0,8 | 0,890 |
| Попытки самоубийства | 32,3 | 33,3 | +0,5 | 0,301 |
| Предложение наркотиков | 40,6 | 42,2 | +1,6 | 0,846 |
| Употребление наркотиков: | ||||
| Гашиш | 13,1 | 12,9 | –0,2 | 0,381 |
| Опий | 1,7 | 2,4 | +0,7 | 0,700 |
| Морфин | 2,0 | 2,1 | +0,1 | 0,697 |
| Кодеин в таблетках | 1,2 | 1,5 | +0,3 | 0,805 |
| Экстази | 2,6 | 2,7 | +0,1 | 0,614 |
| Героин | 2,3 | 2,4 | +0,1 | 0,652 |
| Кокаин/крэк | 0,6 | 0,9 | +0,3 | 0,893 |
| ЛСД | 1,7 | 2,7 | +1,0 | 0,682 |
| Установка на употребление наркотиков | 8,1 | 9,0 | +0,9 | 0,837 |
| Совмещение алкоголя с наркотиками | 14,5 | 14,3 | –0,2 | 0,696 |
| Случайные сексуальные связи | 50,1 | 50,0 | –0,1 | 0,302 |
| Ложь родителям о сексуальных отношениях | 45,3 | 47,4 | +2,1 | 0,401 |
| Гомосексуальные практики | 4,3 | 7,0 | +2,7 | 0,962 |
| Сексуальные связи в состоянии алкогольного опьянения | 45,6 | 47,0 | +1,4 | 0,284 |
| Жертва изнасилования | 17,7 | 17,7 | 0,0 | 0,869 |
| Совершение сексуального насилия | 2,3 | 2,6 | +0,3 | 0,657 |
| Проституция | 4,4 | 7,0 | +2,6 | 0,959 |
| Персонажи эротических фантазий: | ||||
| Друг (подруга), с которым (ой) никогда не вступали в сексуальные отношения | 53,8 | 55,5 | +1,7 | 0,158 |
| Муж подруги (жена друга) | 18,0 | 20,9 | +2,9 | 0,727 |
| Человек, с которым были интимные отношения когда–то в прошлом | 51,3 | 54,5 | +3,2 | 0,413 |
| "Звезда" (актер, актриса, певец, певица и т. д.) | 18,6 | 20,1 | +1,5 | 0,085 |
*Здесь приводятся краткие версии вопросов. Полные тексты формулировок см. в Приложении 1.
|
|
Есть несколько обстоятельств, не позволяющих дать однозначное заключение о недостаточной валидности метода "запечатанного буклета". Во-первых, в 22 из 28 проанализированных случаев знаки процентных различий соответствуют предсказанному направлению, что свидетельствует о преимуществах альтернативной опросной техники. Эта тенденция, по сути дела, носит однонаправленный характер, поскольку персональное интервью несколько улучшило результат лишь по пяти вопросам (17,9%), да и то это улучшение не вышло за пределы 1%. Еще в одном случае наблюдалось абсолютное равенство методов.
Во-вторых, кажущаяся равнозначность применявшихся нами методик, демонстрируемая данными по выборке в целом, скорее всего, является артефактом. Приведенные выше показатели свидетельствуют, на наш взгляд, не о низкой эффективности техники "запечатанного буклета", а об искусственно завышенном уровне искренности ответов респондентов в персональном интервью. Это завышение обусловлено, в частности, тем, что некоторые испытуемые, особенно из молодежной среды, отвечая на вопросы интервьюеров в обычном устном режиме ("глаза в глаза"), бравировали своей девиантностью. Юношеская бравада — очень серьезный фактор, сильно искажающий объективные возможности метода "запечатанного буклета" и затрудняющий его сравнение с другими опросными процедурами. О существовании этого источника искажений в опросах по сенситивной проблематике свидетельствуют как проведенные нами претесты, так и исследования других авторов [16, p. 53; 17, с. 82].
|
|
В-третьих, полученные нами данные свидетельствуют, что обобщенная картина скрывает дифференцированное воздействие методов на степень искренности респондентов, принадлежащих к разным социально-демографическим группам. Разнонаправленный характер методологических предпочтений в разных стратах в конечном счете приводит к взаимопогашению различий в ответах испытуемых на уровне массива в целом. Мужчины, например, честнее сообщают о попытках совершения самоубийства в персональных интервью, в то время как женщины — при использовании метода "запечатанного буклета" (табл. 4). Сказанное относится и к другим социально-демографическим группам опрошенных. В результате при фактически различном отношении разных социальных сегментов выборочной совокупности к указанным методам сбора данных разность в удельном весе положительных ответов на данный вопрос по всей выборке минимальна (0,5%).
|
|
Таблица 4
Соотношение утвердительных ответов на вопрос: "Предпринимали ли вы попытки самоубийства?" в различных социально-демографических группах респондентов в зависимости от метода сбора данных, % ответивших
| Социально-демографические группы | Персональное интервью | Метод "запечатанного буклета" | Разность показателей |
| Пол: | |||
| Мужчины | 39,6 | 31,5 | –8,1 |
| Женщины | 28,2 | 34,6 | +6,4 |
| Возраст: | |||
| 16–19 лет | 35,0 | 30,0 | –5,0 |
| 20–29 лет | 32,7 | 37,5 | +4,8 |
| 30–39 лет | 32,3 | 30,6 | –2,3 |
| 40 лет и старше | 29,6 | 30,4 | +0,8 |
| Место жительства: | |||
| г. Иваново | 36,9 | 37,9 | +1,0 |
| Ивановская область | 16,7 | 18,8 | +2,1 |
| Род занятий: | |||
| Рабочие | 29,2 | 37,0 | +7,8 |
| Торговые работники | 41,9 | 41,4 | –0,5 |
| Интеллигенция | 26,1 | 29,2 | +3,1 |
| Безработные | 34,6 | 38,5 | +3,9 |
| Студенты | 25,0 | 20,7 | –4,3 |
Отмеченная закономерность просматривается не только по отдельным вопросам, но и по всему вопроснику в целом. Женщины действительно воспринимают новый метод с большим доверием: в 20 из 28 задававшихся вопросов удельный вес признаний в социально неодобряемых видах поведения у них оказался выше, чем в персональном интервью. И хотя мужчины также ответили искреннее на 20 вопросов в том случае, когда анкета извлекалась ими из заклеенного конверта, однако средняя мера сдвига, свидетельствующая в пользу этого метода, у них почти в 2 раза ниже, чем у женщин (соответственно 3,3% и 6,4%).
Анализ данных также показывает, что жители провинциальных городов более откровенны при использовании SB-метода. Это не удивительно, поскольку они представляют собой специфическую социальную общность — более стеснительны, имеют несколько иные нравственные ценности и поведенческие стандарты. По данным нашего исследования, проведенного в феврале 2001 г. (N=701), они испытывают большее смущение при обсуждении деликатных тем, если опрос проводится "глаза в глаза" с интервьюером в устном режиме (p=0,000), имеют более актуализированную потребность в сохранении анонимности и конфиденциальности беседы (p=0,000). Неслучайно поэтому, что респонденты, проживающие в малых городах и особенно в сельской местности, на 18 из 28 задававшихся вопросов (64,3%) дали более искренние ответы, когда использовалась техника "запечатанного буклета", и лишь в трех случаях — когда применялся метод персонального интервью. При этом средняя величина смещения в пользу альтернативной методологии составила 3,8% при максимальном значении 7%. Для жителей областного центра эти показатели значительно ниже: 1,0% и 2,5%, соответственно (табл. 5).
Таблица 5
Показатели эффективности метода персонального интервью и интервью с использованием "запечатанного буклета" (SB) в различных социально-демографических группах респондентов (абс. числа и %)
| Социально-демографические группы респондентов | Количество вопросов с различиями в пользу SB-метода, абс. числа | Количество вопросов с различиями в пользу персональ-ного интервью, абс. числа | Количество вопросов, свидетель-ствующих о равенстве методов, абс. числа | Средняя величина смещения в пользу SB-метода, % | Средняя величина смещения в пользу персонального интервью, % |
| Пол: | |||||
| Мужчины | 3,3 | 2,0 | |||
| Женщины | 6,4 | 0,9 | |||
| Возраст: | |||||
| 16–19 лет | 2,2 | 3,3 | |||
| 20–29 лет | 2,2 | 1,0 | |||
| 30–39 лет | 2,6 | 1,5 | |||
| 40 лет и старше | 1,3 | 1,3 | |||
| Место жительства: | |||||
| г. Иваново | 1,0 | 1,4 | |||
| Ивановская область | 3,8 | 1,3 | |||
| Род занятий: | |||||
| Рабочие | 2,8 | 1,5 | |||
| Торговые работники | 1,9 | 1,7 | |||
| Интеллигенция | 1,9 | 1,1 | |||
| Безработные | 3,4 | 1,5 | |||
| Студенты | 2,6 | 2,4 |
В-четвертых, эффективность применения SB-метода зависит, по-видимому, от тематического содержания и степени сенситивности задаваемых вопросов. Весьма показательным в этом отношении можно считать распределение ответов респондентов, принадлежащих к разным социально-демографическим группам, на вопросы о гомосексуальных практиках (табл. 6).
Таблица 6
Распределение положительных ответов на вопрос: "Приходилось ли Вам вступать в сексуальные отношения с представителями Вашего пола?" в различных социально-демографических группах респондентов в зависимости от метода сбора данных, абс. числа и %
| Социально-демографические группы | Персональное интервью | Метод "запечатанного буклета" | Увеличение числа признаний при использовании SB-метода | ||
| абс. | % | абс. | % | ||
| Пол: | |||||
| Мужчины | 4,5 | 4,0 | - | ||
| Женщины | 4,2 | 9,3 | 2,2 раза | ||
| Возраст: | |||||
| 16–19 лет | 1,8 | 3,6 | 2 раза | ||
| 20–29 лет | 7,7 | 11,5 | 1,5 раза | ||
| 30–39 лет | 4,0 | 5,2 | 1,3 раза | ||
| 40 лет и старше | 1,2 | 3,7 | 3 раза | ||
| Место жительства: | |||||
| г. Иваново | 5,0 | 7,5 | 1,5 раза | ||
| Ивановская область | 2,9 | 5,8 | 2 раза | ||
| Род занятий: | |||||
| Рабочие | 1,4 | 4,0 | 3 раза | ||
| Торговые работники | 13,2 | 14,9 | 1,1 раза | ||
| Интеллигенция | 1,5 | 2,9 | 2 раза | ||
| Безработные | 4,4 | 8,8 | 2 раза | ||
| Студенты | 1,5 | 4,5 | 3 раза |
Как следует из таблицы, в отдельных группах респондентов применение "запечатанного буклета" способствует увеличению абсолютного числа искренних ответов в среднем в 1,6 раза при общей вариации значений от 1,1 до 3. Аналогичные зависимости просматриваются и по целому ряду других вопросов, задававшихся в исследовании (о потенциальном и фактическом употреблении некоторых видов наркотических веществ, занятии проституцией, эротических фантазиях и воспоминаниях и др.).
Выводы
Эксперимент не выявил явного превосходства тестируемого метода над традиционным персональным интервью. Применение "запечатанного буклета" не привело к устойчивому и повсеместному росту числа искренних признаний респондентов в социально неодобряемых видах поведения. Тест на статистическую значимость различий в ответах, полученных посредством разных опросных процедур, не дал положительных результатов. Вместе с тем детальный анализ результатов на межгрупповом уровне дает основания для более оптимистических выводов и оценок. В частности, данные по выборке в целом, скрывают заметные различия в восприятии методов разными социально-демографическими категориями респондентов. Обнаруженные нами систематические смещения в ответах, связанные с фоновыми характеристиками опрошенных, позволяют говорить о значительных потенциальных возможностях альтернативной методологии. Кроме того, позитивное влияние метода "запечатанного буклета" варьирует в зависимости от степени деликатности обсуждаемых проблем. Следовательно, чем выше стигматизация тех или иных видов девиантного поведения, тем больше шансов у данного метода продемонстрировать свою эффективность. С другой стороны, как верно замечают Т. Маккай и Я. Макаллистер, оценивать метод сбора данных по принципу "чем больше, тем лучше", не всегда уместно и правомерно [14, p. 183]. Когда исследователь интересуется видами контрнормативного или нелегального поведения, не имеющими широкого распространения в обществе, даже небольшое увеличение числа искренних признаний можно считать заметным достижением. Применение "запечатанного буклета", как мы могли убедиться, в отдельных группах респондентов и по некоторым типам вопросов способствовало улучшению результатов в 1,5–3 раза, что также позволяет говорить о значительных скрытых резервах данного метода.
Нейтрализации ожидаемого эффекта тестированной методики могли способствовать и некоторые условия самого эксперимента. Во-первых, в силу квотного характера выборки, осуществлявшейся без специальных рандомизирующих процедур, в качестве опрашиваемых во многих случаях использовались хорошо знакомые интервьюерам люди. Это, безусловно, облегчило получение искренних ответов вне зависимости от используемого метода, но одновременно "смазало" итоговые результаты. Во-вторых, применение специфической панельной модели, предполагавшей двухкратное обращение с одинаковыми вопросами к одним и тем же людям без необходимого в таких случаях временного промежутка, способствовало актуализации у респондентов "эффекта памяти", что, по-видимому, привело к простому воспроизведению частью испытуемых их первоначальных реакций в последующих секциях интервью и нивелированию различий в ответах по двум пробам. В-третьих, многократные и весьма интенсивные устные заверения со стороны интервьюеров в конфиденциальности предстоящей беседы, дополненные письменными напоминаниями, не могли не сказаться на качестве ответов респондентов, в том числе и в персональных интервью. Интервьюерам, вероятно, удалось убедить испытуемых в том, что их ответы на деликатные вопросы будут сохранены в строжайшей тайне и не станут достоянием гласности. Это способствовало повышению доверия респондентов к опросам и опрашивающим при проведении бесед "с глазу на глаз" и минимизации расхождений в ответах, полученных посредством разных процедур. В-четвертых, постоянное чередование персонального интервью и "запечатанного буклета" также могло стать важным источником искусственного нивелирования объективно существующих различий в ответах, вызываемых спецификой используемых методов. В подобном чередовании, по всей видимости, нет особой необходимости, поскольку, как показало наше исследование, результаты опроса не зависят от порядка и последовательности предъявления вопросных форматов.
Использование иного экспериментального плана, учитывающего указанные факторы, позволит устранить их нежелательные побочные влияния и получить более "чистые" результаты, дающие объективную характеристику интересующего нас метода.
Приложение 1
Вопросник для персонального интервью (исследование по валидизации метода "запечатанного буклета", март—апрель 2000 г., N=345)
1. Случалось ли вам хоть раз в жизни что-то украсть? (1. Да; 2. Нет)
2. Приходилось ли когда-нибудь вам или вашим близким давать взятку в обмен на нужные вам услуги? (1. Да; 2. Нет)
3. Случалось ли вам не сообщать в милицию о совершенном другими людьми преступлении? (1. Да; 2. Нет)
4. Случалось ли вам симулировать болезнь с целью получить больничный лист? (1. Да; 2. Нет)
5. Есть ли в вашей семье долларовые накопления? (1. Да; 2. Нет)
| Менее $200 | $200–$499 | $500–$799 | $800–$999 |
| $1000–$1999 | $2000–$4999 | $5000–$7999 | Более $8000 |
7. Возникало ли у вас когда-нибудь желание покончить с собой? (1. Да; 2. Нет)
8. Если возникало, то предпринимали ли Вы когда-либо попытку осуществить это желание? Если нет, пропустите этот вопрос. (1. Да; 2. Нет)
9. Предлагали ли вам когда-нибудь наркотики? (1. Да; 2. Нет)
Приходилось ли вам пробовать следующие виды наркотиков:
| Да | Нет | ||
| 10. | Гашиш | ||
| 11. | Опий | ||
| 12. | Морфин | ||
| 13. | Кодеин в таблетках | ||
| 14. | Куадрин | ||
| 15. | Экстази | ||
| 16. | Героин | ||
| 17. | Кокаин / крэк | ||
| 18. | ЛСД |
19. Стали бы вы употреблять наркотики, если бы вам предложил их ваш друг? (1. Да; 2. Нет)
20. Приходилось ли вам совмещать алкоголь с наркотиками? (1. Да; 2. Нет)
21. Приходилось ли вам заниматься сексом с нелюбимым человеком? (1. Да; 2. Нет)
22. Приходилось ли вам лгать родителям о своих сексуальных отношениях? (1. Да; 2. Нет)
23. Приходилось ли вам вступать в сексуальные отношения с представителями вашего пола? (1. Да; 2. Нет)
24. Случалось ли вам вступать в сексуальные отношения из-за алкогольного опьянения? (1. Да; 2. Нет)
25. Совершались когда-нибудь в отношении вас попытки изнасилования? (1. Да; 2. Нет)
26. Случалось ли вам совершать сексуальное насилие? (1. Да; 2. Нет)
27. Приходилось ли вам вступать в сексуальные отношения за деньги? (1. Да; 2. Нет)
Появлялись ли в ваших сексуальных фантазиях следующие персонажи:
28. Друг (подруга), с которым (ой) вы никогда не вступали в интимные отношения? (1. Да; 2. Нет)
29. Муж вашей подруги (жена вашего друга)? (1. Да; 2. Нет)
30. Человек, с которым вы имели интимные отношения когда-то в прошлом? (1. Да; 2. Нет)
31. "Звезда" (актер, актриса, певец, певица и др.)? (1. Да; 2. Нет)
32. Ваш пол? (1. Мужской; 2. Женский)
33. Ваше место жительства? (1. г. Иваново; 2. Города и районы области)
34. Ваш возраст? (1. 16–19 лет; 2. 20–29 лет; 3. 30–39 лет; 4. 40 лет и старше)
35. Ваш род занятий? (1. Рабочий промышленности, строительства, транспорта, связи; 2. Работник сферы торговли и обслуживания; 3. Представитель производственной и непроизводственной интеллигенции; 4. Студент ВУЗа, учащийся техникума, ПТУ; 5. Безработный)
Приложение 2
Вспомогательные рабочие документы исследования по валидизации метода "запечатанного буклета" (март–апрель 2000 г., N=345)
Контактные слова при первичном обращении к респонденту:
"Здравствуйте, меня зовут______________(назвать имя и фамилию). Я студент(ка) кафедры социологии Ивановского государственного энергетического университета. Наша кафедра проводит экспериментальное исследование с целью проверки нового, созданного нами метода сбора информации по деликатной тематике. Не согласились бы вы ответить на вопросы нашей анкеты? Это не займет много времени. Нам очень важно ваше участие в этом исследовании".