Валидизация SB-метода проводилась его авторами в ходе специального полевого эксперимента, в котором участвовали 1823 человека, отобранные строго случайным образом на основе общенациональной выборки (Австралия). Во избежание систематического (однонаправленного) влияния последовательности предъявления методов на характер ответов эксперимент был организован по принципу split-ballot. Одной группе респондентов предлагалось сначала ответить на вопросы в режиме обычного (face-to-face) интервью, а затем – с использованием "запечатанного буклета". В другой группе порядок интервьюирования менялся на противоположный.
Сравнение ответов, полученных посредством двух разных исследовательских стратегий, показало, что респонденты, опрошенные с помощью SB-метода, чаще давали утвердительные ответы об употреблении запрещенных наркотических препаратов, чем те, которым вопросы задавались в ходе беседы "лицом к лицу". Причем во многих случаях выявленные различия оказались статистически значимыми (р < 0,05).
Так, если на вопросах о реальном употреблении наркотиков влияние метода наблюдалось лишь в трех из девяти случаев (транквилизаторы, галлюциногены и амфетамины), то на вопросах, касающихся потенциального наркопотребления, – в восьми из девяти (табл. 1).
Проведенный авторами мультивариационный анализ данных свидетельствует также, что все ответы респондентов о реальном и потенциальном употреблении наркотиков, сведенные в единую шкалу, значимо коррелировали на уровне индекса с переменной "метод" (p=0,000) [14, p. 176].
Таблица 1
Соотношение утвердительных ответов на ситуативные и проспективные вопросы об употреблении наркотиков в зависимости от метода сбора данных, % ответивших
|
|
| Тип вопроса и виды наркотических веществ | Методы сбора данных | Разность показателей/знак | |
| Персональное интервью | Метод "запечатанного буклета" | ||
| "Употребляете ли вы следующие наркотики?" | |||
| Болеутолители | +1 | ||
| Транквилизаторы | +10* | ||
| Марихуана | –1 | ||
| Барбитураты | |||
| Галлюциногены | +1* | ||
| Амфетамины | +1* | ||
| Кокаин | +1 | ||
| Ингалянты | |||
| Героин | |||
| "Стали бы вы употреблять следующие наркотики, если бы вам предложил их ваш близкий друг?" | |||
| Болеутолители | –5* | ||
| Транквилизаторы | +1* | ||
| Марихуана | +2* | ||
| Барбитураты | +1* | ||
| Галлюциногены | +2* | ||
| Амфетамины | +2* | ||
| Кокаин | +1* | ||
| Ингалянты | +1* | ||
| Героин |
*Влияние метода значимо (p<0,05). Источник: [14, p. 177].
Применение логит-аналитических процедур показало значимую связь между уровнем искренности ответов на деликатные вопросы и демографическими характеристиками респондентов. Женщины в 1,6 раза чаще, чем мужчины, скрывали применение транквилизаторов. Молодые респонденты честнее отвечали на этот вопрос, чем респонденты более старшего возраста. Употребление амфетаминов, наоборот, чаще скрывали мужчины (почти в 3,2 раза) и молодые люди (в 1,2 раза) (табл. 2).
Таблица 2
Соотношение респондентов, скрывающих употребление наркотиков, в различных демографических группах, коэффициенты различий
| Демографические группы респондентов | Применение транквилизаторов | Употребление амфетаминов |
| Пол: | ||
| Женщины | 1,00 | 1,00 |
| Мужчины | 0,64 | 3,17 |
| Возраст: | ||
| 15–19 лет | 1,00 | 1,00 |
| 20–29 лет | 1,55 | 1,17 |
| 30 лет и старше | 2,08 | 0,21 |
Источник: [14, p. 181].
|
|
Обнаружено влияние последовательности предъявления методов на реакции респондентов. В тех случаях, когда "запечатанный буклет" предшествовал персональному интервью, изменений в ответах в зависимости от исследовательской техники не наблюдалось, когда же он следовал за интервью, удельный вес утвердительных ответов, касающихся употребления наркотиков, значительно возрастал. Этот факт, по мнению Т. Маккая и Я. Макаллистера, свидетельствует о том, что SB-метод, как минимум, "не сокращает число респондентов, признающихся в употреблении наркотических веществ" [14, p. 178].
Что же касается эффективности данного метода в целом, то, как считают авторы исследования, образцы ответов, направление смещений, а также их взаимосвязь с полом и возрастом респондентов убедительно свидетельствуют, что техника "запечатанного буклета" обеспечивает "более точные ответы на сенситивные вопросы об употреблении наркотиков" по сравнению с традиционно используемыми опросными процедурами [14, p. 183]. К тому же этот метод прост, удобен в обращении, не требует дополнительных затрат на полевой стадии исследования. Он гарантирует респондентам анонимность их ответов и позволяет задавать большое количество острых вопросов в ходе одного интервью. И, наконец, метод "запечатанного буклета" допускает возможность реинтервьюирования респондентов и проведения исследований в панельном режиме, что немаловажно при отслеживании эффективности государственных программ.