Распространенные ошибки в понимании метода фокус-групп




Исторически сложилось так, что до 1991 г. российские исследователи, за очень редкими исключениями, не были осведомлены о методе фокус-групп. Учебники, посвященные этому методу, отсутствовали на русском языке и были практически недоступны на английском.

Вместе с тем, учебные программы факультетов социологии и психологии знакомили студентов с различными другими групповыми техниками. Дефицит знаний, касающихся фокус-групп, привел к тому, что многие преподаватели и авторы публикаций совершали подмену: вместо изложения методики фокус-групп они излагали содержание иных групповых техник, с которыми были знакомы благодаря обучению. Эти заблуждения оказались довольно устойчивы. Некоторые из них широко распространены даже сегодня (2017 г.).

Ниже заблуждения такого рода будут описаны и показано, в чем состоит их несоответствие методу группового интервью.

Групповая динамика. Это, пожалуй, наиболее распространенное заблуждение относительно метода фокус-групп. Как известно, групповой динамикой называются процессы взаимодействия членов малой группы, а также изучающее эти процессы научное направление, основателем которого считается Курт Левин. Важным условием возникновения групповой динамики является наличие некой задачи, которая должна быть коллективно решена группой.

Описанные принципы формирования групповой динамики в корне отличаются от принципов группового интервью, цель которого состоит не в решении групповой задачи и не в достижении групповой сплоченности, а в выявлении индивидуальных мнений, сформировавшихся на основе опыта, полученного до участия в фокус-группе.

Виды групповой динамики. Различают структурный и когнитивный аспекты групповой динамики. Структурный аспект – это появление лидеров, которые фактически руководят обсуждением и процессом принятия групповых решений. Когнитивный аспект – это динамика мнений о путях решения групповой задачи. В процессе обсуждения индивидуальные мнения трансформируются и либо приводятся к единому виду, разделяемому всеми членами группы (групповая консолидация), либо группа раскалывается на подгруппы, каждая со своим лидером и своим способом решения задачи (групповая поляризация).

Структурная динамика в фокус-группах рассматривается, как нежелательное явление. Этот аспект подчеркивается во всех авторитетных учебниках по групповому интервьюированию. Конкретно эта мысль обычно формулируется так: модератор не должен допускать появления в группе лидеров, влияющих на мнения других респондентов. Модератор просит респондентов высказывать свою личную точку зрения и разрешает комментировать мнения других респондентов, однако, за редкими исключениями, не допускает попыток одних респондентов переубедить других.

Когнитивная динамика. Вопрос, касающийся когнитивного аспекта групповой динамики в фокус-группах, более сложен. Общим местом является тезис о том, что ни индивидуальное, ни групповое интервью не преследуют цели изменить мнения респондентов или как-то повлиять на них. Целью интервьюирования является получение мнений респондентов в их существующем, не измененном виде.

Хотя изменения мнений респондентов в ходе обсуждения рассматривается, как нежелательное явление, есть два аспекта, в которых этот вопрос становится не столь однозначным.

Во-первых, допустима и даже приветствуется индивидуальная когнитивная динамика, но только такая, которая основана на рефлексии собственного опыта респондента. Обычно такие высказывания начинаются словами типа: «Я раньше не задумывался об этом, но сейчас понял…». Респондент может ссылаться на высказывания других респондентов, высказавших схожие мнения, но обязательно должен соотнести его со своим личным опытом. Высказывания, не связанные с личным опытом, рассматриваются, как нерелевантные.

Во-вторых, инициатором когнитивной динамики может быть сам модератор, если это предусмотрено программой исследования. Следует признать, что в учебниках по групповому интервьюированию этот вопрос проработан недостаточно. С одной стороны, целью индивидуального или группового интервью является получение мнений, не измененных внешними влияниями. Выход за пределы мнений, которыми респондент обладал до начала интервью, рассматривается как искажение результатов.

С другой стороны, А.Гольдман подчеркивает, что в его понимании фокус-группа – это модель общества. Общество, как известно, постоянно подвергается различным воздействиям – политическим, экономическим, информационным – и реагирует на них. Отсюда возникает идея смоделировать эту ситуацию в фокус-группе, предъявив респондентам некий стимул (сообщение или предмет), с которым они ранее не сталкивались, и спросить, как они на это отреагируют. Такими стимулами могут быть концепции новых продуктов, законодательные предложения, новые политические программы и т.д. Смысл подобного методического приема состоит в том, чтобы спрогнозировать реакции и поведение членов общества в том случае, если столкнутся с подобными стимулами в реальной жизни.

Здесь возникает вопрос о прогностической силе мнений, сформировавшейся под влиянием инициированной модератором когнитивной динамики. В теоретическом и экспериментальном плане этот вопрос остается слабо изученным. Однако в исследовательской практике подобные вопросы часто выносятся на фокус-групповое обсуждение, результаты которого передаются заказчику.

Является ли фокус-группа группой в понимании Курта Левина и его последователей? В свете описанных выше аргументов ответ будет скорее отрицательным. Целью фокус-групп является не формирование консолидированного или поляризованного мнения, возникающего в результате групповой динамики, а получение суммы индивидуальных мнений, которые могут быть более полно раскрыты благодаря групповому формату обсуждения. Рефлексия индивидуальных мнений приветствуется, однако сумму индивидуальных когнитивных динамик не следует путать с групповой когнитивной динамикой.

Фокус-групповая дискуссия. Согласно определению словаря дискуссия - это обсуждение спорного вопроса. В российском профессиональном сообществе преобладает мнение, что дискуссия является центральным методическим элементом группового интервьюирования. Возникла даже аббревиатура ДФГ – дискуссионные фокус-группы (в противоположность так называемым электронным, которые в действительности не являются фокус-группами, хотя и используются в сочетании с ними). К сожалению, стремление к организации дискуссии редко сопровождается осмыслением ее методических принципов.

Начать следует с того, что в фокус-группе все словесные трансакции делятся на взаимодействия модератор-респондент и респондент-респондент. Неправильно назвать дискуссией только второй вид взаимодействия. Трансакции модератор-респондент тоже являются дискуссией, хотя и опосредованной. При этом взаимодействия модератор-респондент не отменяют группового формата обсуждения, поскольку участники группы включены в тему, слышат друг друга и учитывают в своих ответах мнения других респонднтов.

К сожалению, в российском модераторском сообществе многие понимают дискуссию исключительно как трансакции респондент-респондент. С нашей точки зрения, это серьезная ошибка, снижающая валидность полученных результатов.

В предыдущей части данной книги, посвященной индивидуальному интервьюированию, перечислены некоторые ошибочные стили работы интервьюеров. В групповом формате интервью возникает еще одна ошибка, которую можно назвать сосредоточенностью на запуске дискуссии в ущерб содержательной стороне дела.

Сосредоточенность на запуске дискуссии может быть «наивной» и методически осознанной.

«Наивная» фокус-групповая дискуссия. Такой стиль модерирования свойственен слабо обученным модераторам, плохо ориентирующимся как в методических вопросах, так и в содержательной стороне дела. К сожалению, в России до недавнего времени такой тип модерирования был преобладающим.

Типичное начало фокус-группы модератором, ориентированном на запуск дискуссии, примерно таково. Модератор зачитывает вопрос гайда, предлагает кому-то из респондентов на него ответить и, как правило, получает релевантный ответ. До этого момента все нормально. Однако затем, вместо того, чтобы жестом или короткой репликой передать слово другому респонденту, модератор задает вопрос: «У кого другое мнение?». Смысл этого вопроса понятен: модератор хочет выявить сторонников разных точек зрения и инициировать спор между ними.

С нашей точки зрения, это один из самых деструктивных способов начала фокус-группы. Вопрос «У кого другое мнение?» поляризует респондентов. Получив указание модератора, они начинают мысленный поиск «других мнений», полагая, что высказанное мнение модератора уже не интересует.

Результатом инициированной таким образом дискуссии может стать сильное изменение изначальных точек зрения и их искусственная поляризация, которая отсутствует в исследуемой популяции. Однако такой результат возникает сравнительно редко. Чаще бывает, что дискуссия просто глохнет, несмотря на отчаянные попытки модератора ее оживить. Эти попытки терпят неудачу, поскольку модератор не сконцентрирован на содержательной стороне дела.

В результате высказывания респондентов часто сворачиваются до малопонятных реплик, плохо поддающихся интерпретации. Другой возможный эффект – уход обсуждения в сторону от темы, захват инициативы отдельными респондентами и т.п. Модератор в таких случаях, как правило, утрачивает инициативу, пассивно наблюдая за «дискуссией» или хаотично вмешиваясь в нее. Стенограммы подобных обсуждений, как правило, непригодны для дальнейшего анализа.

Каковы должны были быть правильные действия модератора? Прежде всего, вопрос, заданный первому респонденту, должен быть задан всем остальным участникам группы. Каждый респондент должен ответить на каждый вопрос гайда. Ответы покажут, в какой мере мнения респондентов совпадают, различаются или дополняют друг друга.

Далее становится возможным углубление темы, основанное на том, что уже прозвучало. На этой стадии правомерны как трансакции модератор-респондент, так и респондент-респондент. В этом состоит специфика техники probing применительно к групповому формату интервью. Ниже этому вопросу будет посвящен специальный раздел.

Методически отрефлексированная дискуссия. «Наивная» дискуссия в силу своей наивности не имеет ясных методических описаний, поскольку попытки его создать неизбежно сталкиваются со многими неясностями и противоречиями. Встречаются, однако, и методически ясные описания, на которых следует остановиться. Характерен следующий пример.

· ГМО — это плохо или это хорошо? На фокус-группах мы видим, что противники ГМО громят сторонников ГМО за полторы минуты. И мы понимаем, что это работает. Хотя по опросам у нас 50 на 50 тех, кому безразлично, и тех, кому это важно. Стоит возникнуть дискуссии, мы понимаем, что есть этот тренд, мы видим, что на всех фокус-группах по стране в смоделированной ситуации противники ГМО успешно убеждают нейтралов. Значит, так же будет на дачах, на кухнях и так далее. Значит, нужно на все продукты лепить лейбл «без ГМО», потому что сегодня это не очень важно, а завтра это станет мощным маркетинговым инструментом. Источник: https://daily.afisha.ru/technology/2202-kirill-titaev-o-tom-kak-rabotaet-statistika/.

Данный пример может быть прокомментирован в трех аспектах: методическом, маркетинговом и терминологическом.

Методический аспект:

1. Эта дискуссия выгодно отличается от «наивной» тем, что она осмысленно и внятно описана. Ясна методика и ясна логика использования метода. Результат выглядит убедительным, в том числе и для заказчика.

2. Хотя автор не употребляет слов «групповая динамика», этот инструмент заимствован из данной области. Среди огромного числа экспериментов по групповой динамике есть и такие: исследователи специально собирают равное число сторонников и противников некой точки зрения и предлагают им в ходе групповой дискуссии убедить друг друга, затем смотрят на результат.

3. Важно подчеркнуть, что принцип рекрутинга респондентов в такие дискуссионные группы принципиально отличается от рекрутинга респондентов в фокус-группы. В последнем случае к участию в группе приглашаются типичные представители исследуемой популяции, выбранные случайным образом.

4. Результат экспериментов с дискуссионными группами известен и описан в литературе: побеждает та сторона, которая может артикулировать большее число аргументов, т.е. важным является такой чисто количественный аспект.

Маркетинговый (прогностический) аспект:

1. Ключевой вопрос состоит в следующем: могут ли результаты таких экспериментальных дискуссий быть экстраполированы на общественную динамику? Этот вопрос требует серьезного изучения. Автор данной книги таких работ не встречал, равно как не встречал учебников или статей, в которых была бы описана подобная модификация метода группового интервьюирования.

2. Возможность экстраполяции результатов на реальное поведение потребителей зависит от ряда условий. Вывод о том, что наклейка «без ГМО» увеличит объем продаж внешне выглядит убедительной, но надо учесть, что в России люди обоснованно не доверяют рекламе. Поэтому нужно было обсудить не только вопрос о доверии к ГМО, но и о доверии к продукту с соответствующей наклейкой. Возможно, это и было сделано, но в данном случае мы отталкиваемся от того, что было написано в конкретном тексте.

3. Нельзя исключать, что объем продаж возрастет и без динамических эффектов, поскольку 50% рынка противников ГМО – это очень большая цифра. В результате может получиться, что продажи действительно возросли, но не за счет эффекта общественной когнитивной динамики. Случаи подобного «везения» в маркетинге встречаются довольно часто.

4. Для получения валидных результатов необходимо смоделировать ситуации, когда некие заинтересованные структуры будут сопровождать продвижение продуктов с ГМО и без них мощной рекламно-пиаровской кампанией. У сторонников ГМО могут найтись дополнительные аргументы, которых нет в общественном сознании, но которые можно создать в рекламной «лаборатории». Ситуацию динамики общественного мнения в условиях борьбы пиаров необходимо моделировать отдельно.

5. Существенную роль может сыграть хорошо известный парадокс ЛаПьера (мнение и поведение – разные вещи). Более развитый рынок США может рассматриваться, как натурный эксперимент. В крупных супермаркетах этой страны действительно есть отделы экологически чистой продукции. Есть и специальные магазины, торгующие такой продукцией. В понятие «экологически чистый» входит не только неприменение химикатов, но и отсутствие ГМО. Однако цены на такую продукцию втрое выше, чем на «обычную». Объем этого сегмента оценивается примерно в 10% рынка продовольствия. Малообеспеченному населению и даже представителям среднего класса переход на такие продукты просто не по карману.

6. В ближайшей перспективе наклейка «без ГМО» может дать рекламный эффект, но насколько он будет значимым и продолжительным – это большой вопрос. Ведь если такие продукты будут продаваться по обычным ценам, то это явное жульничество, информация о котором даже в условиях России попадет в СМИ, а если по повышенным, то цены начнут «кусаться» (и от жульничества все равно не гарантируют). В условиях, когда доля расходов на питание у людей в среднем по стране превысила 50%, увеличение цены (уж не будем говорить втрое) будет критически важным фактором, приводящим к разительному различию между мнением и поведением покупателей.

Результаты «классических» групповых интервью тоже могут быть подвержены действию парадокса ЛаПьера, однако благодаря открытости обсуждения и возможности появления в нем новых тем («мутаций» в терминах Р.Мертона) они больше застрахованы от подобных ошибок.

 

Терминологический аспект:

Можно ли назвать описанную выше дискуссионную группу фокус-группой? Понятно, что юридического запрета здесь нет, однако существуют общеизвестные правила образования понятий. Предположим, мы согласимся, что дискуссионную группу можно назвать фокус-группой. Что из этого следует?

Поскольку методические различия между названными методами достаточно велики, термин «фокус-группа» превращается в родовое понятие, объединяющее два вида методик: зондирующую и дискуссионную. В результате каждый исследователь для обозначения используемой им методики должен будет, по Аристотелю, указывать не только родовое понятие (фокус-группа), но и видовое различие (зондирующая или дискуссионная). Исследователь, который их использует, должен разъяснять читателю, какую именно модификацию фокус-групп он имеет в виду. Различия между методами никуда не исчезли, они лишь образовали новую ступень деления понятий.

Следуя общепринятой терминологии, в дальнейшем мы будем называть фокус-группой групповое интервью, основанное на технике probing.

Дискуссия с респондентами, представляющими разные ролевые позиции. Такой вид дискуссий часто практикуется журналистами. К примеру, организуя дискуссию по проблемам ЖКХ, они могут пригласить к участию представителей управляющих компаний, депутатов, жителей, дворников, общественных активистов, экспертов из научного сообщества и т.д. Такие дискуссии имеют право на существование, но они не являются фокус-группами. Респонденты фокус-групп рекрутируются по принципу социальной однородности.

Инсайт в фокус-группе. Insight (озарение, внезапная догадка, прозрение) — термин, описывающий интеллектуальное явление, суть которого состоит в неожиданном понимании проблемы или нахождении ее решения. Понятие инсайта возникло в рамках гештальтпсихологии. Впервые этот термин был использован в 1925 году В. Келером. В дальнейшем это понятие использовалось в качестве характеристики человеческого мышления, при котором решение достигается путём умозрительного постижения целого, а не в результате анализа деталей. К концу 40-х годов теоретические дискуссии по поводу роли инсайта в когнитивном процессе себя исчерпали, но само слово осталось, как психологический термин.

Терапевтический инсайт. Второе рождение этот термин получил в 50-е годы ХХ века в связи с ростом популярности групповой психотерапии К.Рождерса, который использовал этот слово «инсайт» для обозначения нового понимания человеком причин своих проблем или хронических неудач. Достижение такого понимания, по Роджерсу, помогает участникам терапевтических групп выработать новые жизненные стратегии, более конструктивные, чем предыдущие.

Некоторые параметры терапевтических групп Рождерса сходны с параметрами фокус-групп. Их численность составляет около 10 чел., работа группы начинается с установления атмосферы открытости и доверия, общение организует модератор, который задает вопросы (но вопросы иного характера, чем в фокус-группах).

Сходство фокус-групп с терапевтическими группами не отменяет их различий. Целью фокус-групп является получение информации, а не достижение личностного инсайта и связанного с ним терапевтического эффекта.

Тем не менее, поскольку в фокус-групповую индустрию приходит значительное число людей, имеющих психологическую подготовку, у некоторых возникает «горе от ума», которое заключается в неправомерном переносе принципов терапевтических групп на групповые интервью. Так, в маркетинговой дискуссии на сайте ГФК-Русь в 2004 г. некоторые участники настаивали, что инсайт является целью (или ключевым моментом) фокус-групп, и хороший модератор должен умело подвести группу к этому состоянию. К сожалению, ничего более конкретного по этому поводу сказано не было.

Если говорить о фокус-группах, о каком инсайте может идти речь? Понятно, что не о терапевтическом, поскольку целью фокус-групп не является достижение терапевтического эффекта. Не является целью и достижение маркетингового или рекламного инсайта, хотя некоторые исследоватоели обещают заказчику именно такой результат.

Креативный инсайт. Фокус-группы не предназначены для поиска креативных решений в маркетинге, рекламе или где-то еще. Группы, предназначенные для поиска креативных решений (брейнсторминг, группы синектики) основаны на совершенно других методических принципах. В последние годы эффективность таких групп ставится под сомнение, но этот вопрос выходит за рамки данной книги.

На практике бывают случаи, когда в фокус-группах звучат маркетинговые или рекламные идеи, способные заинтересовать заказчика, но такой эффект достигается редко и непредсказуемо. Полагаться на него, как на гарантированный или хотя бы вероятный результат исследования было бы ошибкой.

Вместе с тем, маркетинговый инсайт все же имеет отношение к фокус-групповым исследованиям. Это инсайты, которые произошли в прошлом и которые должны произойти в будущем. Под прошлыми инсайтами понимается потребительский опыт респондентов, который порой происходит в форме инсайта: «Я и не думал, что этот продукт мне так (не)понравится».

Что же касается будущего инсайта, то он касается уже не респондентов, а маркетологов и рекламистов, анализирующих результаты исследования, поскольку выдвижение новых идей является их профессиональной обязанностью. Возможно, кто-то из них был бы не прочь переложить эту обязанность на респондентов, но на практике это получается очень редко.

Прожективные методы. В отличие от описанных выше неадекватных трактовок прожективные методики действительно используются в фокус-групповых исследованиях и могут приносить значимые результаты. Тем не менее, сложилась практика неправильной трактовки роли этих методов и своего рода рекламного преувеличения их возможностей. Бывают случаи, когда описание метода фокус-групп фактически подменяется рассказом о прожективных методах, заимствованных из арсенала глубинной психологии. Понятие интервью, основанного на технике probing, в таких рассказах исчезает.

Прежде всего, надо отметить, что использование прожективных методов в маркетинговых и иных исследованиях практикуется не только в фокус-группах, но и в количественных опросах. В качестве примера можно сослаться на книгу Э.Ноэль «Массовые опросы», в которой имеются два рисунка, изображающих молодого мужчину. Рисунки идентичны, но в первом случае мужчина держит в руках дымящуюся сигарету, а во втором он изображен без сигареты. Пояснение автора говорит, что эти рисунки включены в анкету для изучения мотиваций курения. Таким образом, использование прожективных методов не является исключительной прерогативой качественных методов.

Далее, широко распространенное рекламное преувеличение роли прожективных методов в фокус-группах основано на утверждении, что респонденты, отвечая на вопросы модератора, якобы говорят неправду, и только использование методов глубинной психологии позволяет выяснить их истинное мнение. В этом утверждении есть сразу два преувеличения. Во-первых, ложь энергозатратна, и без особой необходимости люди к ней не прибегают. Напротив, как отмечает Д.Темплтон, откровенность респондентов часто превосходит ожидания исследователей. Во-вторых, возможность выяснить скрываемую информацию с помощью прожективных методов не безгранична. К примеру, общеизвестен факт, что люди с относительно высокими доходами склонны их преуменьшать, но получить точную цифру с помощью методов глубиной психологии вряд ли возможно.

Вывод состоит в том, что фокус-группа является методом группового глубокого интервью, в котором в дополнение к рационально сформулированным вопросам могут использоваться методы глубинной психологии. Рациональные вопросы формируют структуру интервью, в рамки которой могут быть вписаны прожективные вопросы, но не наоборот.

Сведение фокус-групп исключительно к методам глубинной психологии неправомерно.

Психологический анализ паравербальных сигналов тоже зачастую становится объектом рекламного преувеличения, вводящим в заблуждение заказчика. Умение модератора «считывать» паравербальные сигналы, конечно, важно, но здесь следует различать два аспекта:

· учет этих сигналов непосредственно в ходе модерирования группы, и

· учет в ходе последующего анализа и написания отчета.

Учет паравербальных сигналов в ходе проведения группы. Опытный модератор, безусловно, должен уметь это делать. К примеру, появление сигналов, свидетельствующих о скуке, должно побудить модератора сменить стиль обсуждения и повернуть тему так, чтобы «включить» интерес респондентов. Хорошим подспорьем здесь могут служить прожективные вопросы и вымышленных ситуаций, которые разгоняют скуку и возвращают респондентам позитивный настрой.

Важным умением модератора является его способность переводить невербальные сигналы в вербальную форму, которая поможет правильно понять смысл этих сигналов и будет зафиксирована в письменной стенограмме.

Учет паравербальных сигналов в ходе последующего анализа. Этот методический аспект часто декларируется, но на практике осуществляется редко. Что бы ни говорили про важность паравербальных сигналов, основным каналом коммуникации в фокус-группах является вербальный канал.

Как и в случае с прожективными методами, преувеличенные рассказы о возможностях паравербальных каналов могут создавать у заказчиков ложное представление о том, что с их помощью можно получить от респондентов некие знания, которые по разным причинам не удается получить вербально. В этом есть доля правды, но представлять паравербальные сигналы как основной способ коммуникации – очень большое преувеличение.

Учет паравербальных сигналов на стадии анализа и написания отчета означает необходимость сплошного просмотра видеозаписей фокус-групп профессиональным психологом с фиксацией релевантных аспектов этих сигналов. Такой анализ возможен, но не всегда продуктивен. В любом случае, если такой анализ проводится, должна быть описана его методика, а результаты должны найти свое отражение в отчете. Автор этой книги вынужден констатировать, что вообще не встречал в своей практике отчетов, в которых проводился бы такой анализ.

На наш взгляд, заказчики исследований должны более внимательно относиться к тем обещаниям, которые дает ему исследователь или исполнитель заказа на стадии обсуждения проекта. Если исполнитель выдвигает на первый план свое умение анализировать паравербальные реакции, заказчик должен проконтролировать, чтобы это обещание было зафиксировано в договоре и нашло значимое отражение в отчете.

Фокус-группы – социологическая или психологическая методика? Этот вопрос можно было бы счесть схоластическим, если бы не одно обстоятельство. Возникновение неадекватных психологических трактовок неправильно ориентирует исследователей, преподавателей и студентов, а также заказчиков. Результатом становятся некорректно проведенные фокус-группы и нерелевантные отчеты.

В связи с этим следует вновь подчеркнуть, что фокус-группа – это групповой вариант социологического интервью, основанного на технике углубленного зондирования (probing).

Психологические знания, умения и навыки важны для полноценного проведения фокус-групп. Но это не единственные знания, которыми должен обладать хороший модератор. Так, Д.Темплтон отмечает, что качество модерирования очень сильно зависит от маркетинговой квалификации модератора (в более широком смысле – от его предметной квалификации по обсуждаемому вопросу).

Зачем нужны фокус-группы? Роль фокус-групп состоит не в том, чтобы получить от респондентов те или иные креативные идеи, а в том, чтобы оценить «ситуацию на местности», диспозицию, исходя из которой будет разыгрываться маркетинговое «сражение».

 



Поделиться:




Поиск по сайту

©2015-2024 poisk-ru.ru
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2022-09-12 Нарушение авторских прав и Нарушение персональных данных


Поиск по сайту: