Средний уровень искренности ответов респондентов на "содержательные" вопросы составил 57,8%, а на демографические и статусные — 80,4%. Вопросы социально-демографического блока также различаются между собой по степени остроты и деликатности (см. табл. 6). Самым сенситивным в этой группе (и одним из самых деликатных по анкете в целом) оказался вопрос о размере дохода: средний уровень искренности ответов на него составил всего 40%. А это значит, что большинство респондентов (60%) изменили во втором исследовании (то есть в ситуации с нарушенной анонимностью) свои первоначальные ответы и лишь 40% сохранили их неизменными.
Таблица 6
Уровни искренности ответов респондентов по отдельным вопросам анкеты, вопросным блокам и вопроснику в целом (в абс. числах и %, n=110)
| N | Содержание вопросов | Число несовпадений, абс. числа | Уровень искренности ответов, % |
| Отношение к социально-экономической политике правительства | 48,2 | ||
| Намерение участвовать в выборах в Госдуму | 63,6 | ||
| Оценка взаимоотношений в семье | 63,6 | ||
| Допустимость лжи | 53,6 | ||
| Оценка состояния собственного здоровья | 39,1 | ||
| Размер среднего дохода в семье | 40,0 | ||
| Наличие дополнительных источников дохода | 84,5 | ||
| Доля дополнительных источников дохода по отношению к средней заработной плате | 70,0 | ||
| Уплата налогов | 73,6 | ||
| Партийные предпочтения | 51,8 | ||
| Оценка деятельности Президента России за прошедший год | 45,4 | ||
| Факты физического наказания детей | 70,0 | ||
| Злоупотребление алкоголем | 70,0 | ||
| Отношение к Президенту России | 54,5 | ||
| Отношение к правительству | 51,8 | ||
| Отношение к Совету Федерации | 53,6 | ||
| Отношение к Госдуме | 58,2 | ||
| Отношение к руководителям региона | 53,6 | ||
| Отношение к милиции | 61,8 | ||
| Отношение к суду | 57,3 | ||
| Отношение к прокуратуре | 61,8 | ||
| Отношение к армии | 56,4 | ||
| Отношение к профсоюзам | 63,6 | ||
| Отношение к церкви | 69,1 | ||
| Отношение к политическим партиям | 53,6 | ||
| Отношение к СМИ | 55,4 | ||
| Отношение к предпринимательским и банковским кругам | 60,0 | ||
| Электоральные рейтинги политиков | 58,2 | ||
| Возможность присвоения чужого | 54,5 | ||
| Пол | 91,8 | ||
| Возраст | 94,5 | ||
| Образование | 90,0 | ||
| Род занятий | 91,8 | ||
| Сводные показатели | |||
| По основным (содержательным) вопросам (К=26) По социально-демографическим вопросам (К=7) По четырем вопросам социально-демографического блока (пол, возраст, образование, род занятий) По пяти основным вопросам социально-демографического блока (пол, возраст, образование, род занятий, размер дохода) По вопроснику в целом (К=33) | 57,8 80,4 92,0 81,6 62,8 |
Из числа испытуемых, изменивших суммы своих доходов, 46,7% увеличили их во второй пробе, а 53,3% — уменьшили. При этом респонденты с доходами выше среднего уровня более склонны к их занижению, в то время как люди из низкодоходных групп демонстрируют противоположную тенденцию (табл. 7). Вполне закономерно, что в первой из указанных категорий размер среднесемейного дохода составил 612 руб., а во второй — лишь 390 руб. (то есть в 1,6 раза меньше) при среднем значении по выборке, равном 447 руб.
|
|
Таблица 7
|
|
Образцы вербального поведения респондентов из разных групп по уровню доходов (по данным "тест-ретест", %)
| Группы респондентов по уровню доходов | Завысили размер дохода | Занизили размер дохода | Не изменили | Трудно определить |
| Респонденты с доходами выше среднего уровня по выборке | 18,9 | 39,6 | 37,7 | 3,8 |
| Респонденты с доходами ниже среднего уровня по выборке | 38,0 | 20,0 | 36,0 | 6,0 |
Полученные данные хорошо согласуются с результатами ряда аналогичных исследований, проведенных в предыдущие годы [12, р. 75-76; 24, с. 53; 22]. Они свидетельствуют о том, что сведения о доходах, получаемые в опросах массовых слоев населения, следует увеличивать как минимум в 1,5 раза [23, с. 7]. На момент проведения нашего исследования (март-апрель 1999 г.) среднемесячный душевой доход в Ивановской области по официальным статистическим данным составлял 819 руб., то есть был выше "анкетного" в 1,83 раза [25, с. 2].
"Сопутствующие" вопросы о наличии дополнительных заработков и их размерах воспринимаются испытуемыми с меньшей остротой и подозрительностью. Однако удельный вес неискренних ответов здесь также достаточно высок (от 15 до 30%). Кроме того, при повторном тестировании большинство респондентов продемонстрировали тенденцию к занижению сумм приработков, а также к уклонению от ответов на эту тему. Эти данные подтверждают вывод Н. Брэдберна и С. Садмена о том, что вопросы, требующие от респондентов простой констатации факта и ответов типа "да-нет", являются менее сенситивными, чем те, которые предполагают "квантификацию поведения" и сообщение его количественных характеристик (частоты, интенсивности и т. д.) [10, p. 19-23].
|
|
Уровень достоверности ответов на традиционные вопросы социально-демографического блока относительно пола, возраста, образования и рода занятий, на первый взгляд, кажется довольно высоким: в этой вопросной группе он колеблется от 90% до 94,5% (в среднем 92%). Однако так может показаться лишь на фоне других, и прежде всего, содержательных вопросов. Взятые сами по себе, они свидетельствуют, что от 5% до 10% респондентов могут изменить ответы, касающиеся их персональных данных, в случае возникновения ситуации, которая, по их мнению, создает условия для идентификации личности опрашиваемых. Кроме того, хотя искренность ответов на "личные" вопросы в целом выше, чем ответов на все остальные вопросы, она не является абсолютной и ни по одному из них не достигает 100%, а по вопросу о размере дохода ее уровень оказался одним из самых низких.
Результаты исследования позволяют сделать еще один вывод. Вопросы, касающиеся уровня образования, профессии и даже возраста и пола, также могут восприниматься респондентами как сенситивные, однако в качестве таковых они чаще всего выступают не сами по себе, а в общем предметно-содержательном (тематическом) контексте исследования. Поэтому уровень их надежности варьирует в зависимости от темы опроса. Чем эта тема острее, тем ниже вероятность искренних ответов, в том числе и на вопросы социально-демографического блока. Но даже в относительно нейтральных по тематике опросах можно ожидать появления недостоверных сведений о личных характеристиках респондентов.
Результаты исследования, проведенного нами в 2001 г., подтверждают выявленные ранее тенденции: вопросы, касающиеся размеров и источников доходов, а также сумм денежных накоплений, воспринимаются респондентами как крайне деликатные (табл. 8). Они существенно перекрывают обе "пороговые" границы, предложенные в свое время Н. Брэдберном и С. Садменом для оценки сенситивности обсуждаемых тем. Они пришли к выводу: если удельный вес испытуемых, считающих, что предлагаемый им вопрос или тема вызовут у "большинства людей" сильную тревогу и волнение, достигает 10%-й отметки, то имеется опасность "ответных" смещений, обусловленных неискренностью респондентов. В том случае, когда эта доля превышает 20%, искажения обретают системный характер, а их последствия становятся необратимыми. Возникает серьезная угроза качеству данных. В этой ситуации необходимо предпринять самые решительные меры для предотвращения неискренних ответов [10, р. 165-166].
Таблица 8
Степень деликатности различных вопросов (тем) в оценках респондентов, % ответивших
| Типы вопросов (темы) | Вызывает сильное смущение | Вызывает некоторое смущение | Не вызывает смущения |
| Сексуальные отношения | 41,5 | 37,0 | 21,5 |
| Супружеская измена | 37,0 | 40,6 | 22,5 |
| Размер денежных накоплений | 36,9 | 36,3 | 26,9 |
| Размер и источники доходов | 26,6 | 41,1 | 32,3 |
| Употребление наркотиков | 29,2 | 28,4 | 42,4 |
| Употребление алкоголя | 17,1 | 40,2 | 42,7 |
| Состояние здоровья | 10,8 | 36,4 | 52,8 |
| Электоральные предпочтения | 10,9 | 32,4 | 56,7 |
| Партийные симпатии | 7,4 | 31,0 | 61,6 |
| Возраст | 3,9 | 29,1 | 67,0 |
| Род занятий, профессия | 2,9 | 28,4 | 68,7 |
| Состояние в браке | 4,8 | 23,8 | 71,4 |
| Уровень образования | 4,1 | 22,2 | 73,8 |
С другой стороны, традиционные вопросы социально-демографического блока (возраст, образование, род занятий, брачный статус) хотя и занимают последние строчки в "рейтинге сенситивности", тоже не могут считаться эмоционально нейтральными и "безобидными": от четверти (26,3%) до трети (33,0%) всех опрошенных относят их к числу "смущающих". Кроме того, как показывает корреляционный анализ, в отдельных группах респондентов оценки деликатности этих вопросов резко возрастают, преодолевая первый предел сенситивности. Так, например, вопрос о возрасте острее воспринимают женщины (р<0,05). Наиболее деликатным его считают респондентки, принадлежащие к возрастной группе 30-39 лет. Удельный вес тех, кто относит данный вопрос к числу крайне острых, достигает здесь почти 15% (р<0,01). Вопрос об образовании чаще называют "смущающим" респонденты с низким образовательным статусом: 16% опрошенных, не окончивших среднюю школу, ответили, что большинство людей будут чувствовать себя неловко при обсуждении данной темы (р<0,01). Оценки вопроса о роде занятий, как свидетельствует анализ, зависят от возраста отвечающих: респонденты моложе 40 лет испытывают большее смущение, а потому демонстрируют низкую готовность к сообщению достоверных сведений, касающихся их профессиональной деятельности (р<0,001). Доля людей, относящихся к этой категории, также превышает 10%. Следовательно, в указанных выше группах риск получения неискренних ответов на "личные", внешне безобидные вопросы заметно возрастает.
Что касается "денежных вопросов", то их восприятие варьирует в зависимости от возрастных и социально-профессиональных характеристик опрашиваемых (р<0,01). Крайне деликатными их считают студенты (51,9%), предприниматели (50,0%) и безработные (41,4%). Таким образом, социально-демографические вопросы отнюдь не являются столь безобидными, как это нередко считается. Степень их надежности варьирует в зависимости от целого ряда факторов: используемого метода сбора данных, уровня субъективной анонимности опроса, предметно-тематического контекста обсуждаемых в исследовании проблем, социально-демографических и статусных характеристик опрашиваемых и т. д. В отдельных социальных группах искажения в ответах могут достигать значений, за которыми начинаются серьезные нарушения достоверности итоговых результатов. В этих случаях считающиеся "простыми" вопросы о возрасте, образовании, брачном статусе, роде занятий и др. оказываются весьма проблемными для исследователя, а ответы на них – непригодными для дальнейшего анализа.
Поскольку социально-демографические признаки обычно используются в качестве независимых, факторных переменных, любые ошибки и смещения в процессе их первичного измерения неизбежно обретут систематический характер на стадии анализа данных. Переходя в корреляционные таблицы, они неслучайным образом изменяют структуру и числовые значения других переменных (и, соответственно, показателей корреляции), искусственно снижая или, наоборот, повышая уровень эмпирически фиксируемых взаимосвязей [12, р. 79; 26, р. 179]. В этих условиях установление связи между анализируемыми признаками, равно как и оценка ее интенсивности, может оказаться делом весьма проблематичным. В конечном счете "ошибки сообщения" в самоотчетах респондентов на вопросы социально-демографического блока негативно скажутся на качестве содержательных выводов и рекомендаций по результатам исследования в целом. Поэтому достоверность ответов необходимо контролировать не только по основным вопросам исследования, но и по всем прочим, включая социально-демографические. Идиосинкразические эффекты универсальны и не имеют предметно-тематических ограничений.
1 Автор был руководителем этих исследований. В них участвовали также И.В. Журавлева, С.Л. Журавлева, А.О. Морозова и О.В. Симакова.
Список литературы
Волович В.И. Надежность информации в социологическом исследовании: Проблемы методологии и методики. Киев: Наукова думка, 1974.
Аверьянов Л.Я. Искусство задавать вопросы. М.: Московский рабочий, 1987.
Аверьянов Л.Я. Социология: Что она знает и может. М.: Социолог, 1993.
Dijkstra W., Van der Zouwen J. Role playing in the interview: Towards a theory of artifacts in the survey-interview // Sociocybernetics / Ed. by R.F. Geyer, J. Van der Zouwen. Leiden: Nijhoff, 1978. P. 58-72.
Obligacion F.R. Managing perceived deception among respondents: A traveler’s tale // Journal of Contemporary Ethnography. 1994. Vol. 23. No 1. Р. 29-50.
Логика социологического исследования / Отв. ред. Г.В. Осипов. М.: Наука, 1987.
Cuttance P.F. Towards a typology of information to aid reliability of response in social surveys // Quality and Quantity. 1986. Vol. 20. No 1. P. 27-52.
Давыдов А.А. Респондент как источник информации. М.: ИС РАН, 1993.
Vaughan D. The long goodbye // Psychology Today. 1987. July. No 1. P. 37-42.
Bradburn N.M., Sudman S. Improving interview method and questionnaire design. San Francisco: Jossey–Bass, 1979.
Nederhof A. A survey on suicide: Using a mail survey to study a highly threatening topic // Quality and Quantity. 1985. Vol. 19. No 3. P. 293-302.
Weaver C.N., Swanson C.L. Validity of reported date of birth, salary, and seniority // Public Opinion Quarterly. 1974. Vol. 38. No 1. P. 69-80.
Frey J.H. An experiment with a confidentiality reminder in a telephone survey // Public Opinion Quarterly. 1986. Vol. 50. No 2. P. 267-269.
Hyman H. Secondary analysis of sample surveys: Principles, procedures and potentialities. N.Y.: Wiley, 1972.
Peterson R.A. Asking the age question: A research note // Public Opinion Quarterly. 1984. Vol. 48. No 1. P. 379-383.
Гайдис В.А. Сравнительный анализ различных вариантов вопросов для получения информации об образовании респондента // Проблемы сравнительных исследований в социологии: Методы сбора данных / Отв. ред. В.Г. Андреенков, О.М. Маслова. М.: ИСИ АН СССР, 1988. С. 121–144.
Rogers T. Interviews by telephone and in person: quality of responses and field performance // Public Opinion Quarterly. 1976. Vol. 40. No 1. P. 51-65.
Groves R.M. Actors and questions in telephone and personal interview surveys // Public Opinion Quarterly. 1979. Vol. 43. No 2. P. 190-205.
Billiet J., Loosveldt G. Improvement of the quality of responses to factual survey questions by interviewer training // Public Opinion Quarterly. 1988. Vol. 52. No 2. P. 190-211.
Петренко Е.С., Ярошенко Е.М. Социально-демографические показатели в социологических исследованиях. М.: Статистика, 1979.
Мягков А.Ю. Возраст как переменная в социологическом исследовании: Методологические и методические проблемы измерения // Вестник Тамбов. ун-та. Сер. гуманит. науки. 1996. Вып. 2. С. 31–38.
Сознание и трудовая деятельность. Киев, Одесса: Наукова думка, 1985.
Сивкова В. Кто богаче всех // Аргументы и факты. 1995. N 42 (783).
Батыгин Г.С. Лекции по методологии социологических исследований. М.: Аспект Пресс, 1995.
Рабочий край. 1999. 26 апреля.
Hamilton L.C. Self-reports of academic performance: Response errors are not well behaved // Sociological Methods and Research. 1981. Vol. 10. No 2. P. 165-185.