Язык типологического анализа данных




НИСХОДЯЩАЯ СТРАТЕГИЯ АНАЛИЗА ДАННЫХ

ЯЗЫК АНАЛИЗА ДАННЫХ

Элементы логики анализа. Язык анализа как составная часть языка социологического исследования. Математическая форма­лизация как составная часть логической. Классы математичес­ких методов. Логика использования математических методов. Язык типологического анализа. Язык причинного анализа. Язык факторного анализа. Основной и вспомогательные языки анали­за. Понятие «метаметодика анализа данных».

Эта глава книги посвящена четвертому и пятому из выделен­ных нами структурных элементов методологии анализа данных, а именно нисходящей стратегии анализа и языка анализа данных. Одна из целей этой главы ¾ завершить обозначение контуров види­мой части айсберга под названием методология анализа в эмпири­ческой социологии.

В начале третьей главы мы останавливались на том, какой смысл вкладывается в понятия восходящая стратегия анализа ¾ нисходящая стратегия анализа. В любом социологическом исследовании логи­ческая схема анализа, или логика анализа, выстраивается опираясь на одну из этих стратегий. Это только один штрих процесса форми­рования логики анализа данных или, другими словами, только один элемент логической формализации процесса получения знания, которое опирается на эмпирические данные. Другой элемент связан с выбором в исследовании как бы основного языка анализа эмпи­рии. Язык анализа данных является составной частью языка социо­логического исследования [1, с. 32—61]. В свою очередь составной частью любого языка анализа является математика, математический формализм. Поэтому остановимся на самых общих моментах приме­нения математических методов в социологии.

В начале третьей главы было особо отмечено, что математи­ческие методы, приемы, способы анализа данных (обработка, пе­реработка, обобщение, систематизация информации) существуют сами по себе и могут быть использованы в любой науке, где есть эмпирия. С некоторыми самыми простыми математическими ме­тодами мы познакомились в третьей главе. В рамках восходящей стратегии анализа было проиллюстрировано, как может выстраи­ваться логика анализа и тем самым логика применения математических методов. Их необходимость естественным образом проистекала из движения от частного к общему, от поиска простых эмпирических закономерностей к поиску более сложных. Напом­ним, что восходящая стратегия анализа возникает при работе с биографиями людей, с текстами полуформализованных и свободных интервью, с данными изучения общественного мнения, т. е. в основном при работе с информацией второго и пятого типов.

Что входит в математическую формализацию? Говоря просто, где, когда, как и зачем нужно использовать тот или иной математи­ческий метод? Но эта фраза относится и к «физикам», и к «лири­кам». Она не носит оттенка конструктивности для социолога. Со­циологическая специфика начинается тогда, когда выстраиваются в исследовании ответы на вопросы:

Что изучать? Зачем и для достижения каких целей изучать? Где и при каких условиях изучать? С помощью каких средств изучать?

Как уже подчеркивалось в начале книги, эти вопросы могут быть отнесены как к исследованию в целом, так и к отдельно вы­деленным его этапам. Поэтому понятие «средства» включает в себя всю совокупность методов социологического исследования, к ко­торым относятся в равной мере:

подходы к изучению социального (метод опроса, каче­ственный метод, количественный метод, биографический метод, анализ социальных систем, моделирование социальных процессов и т. д.);

методы получения информации (анкетирование, интер­вью, наблюдение, анализ документов);

техники, приемы сбора информации или методы измере­ния (метод семантического дифференциала, шкала Терстоуна, шкалограммный анализ Гуттмана и т. д.);

методы математического анализа (корреляционный ана­лиз, факторный анализ, латентно-структурный анализ, кластерный анализ и т. д.);

метод как язык анализа (типологический анализ, фактор­ный анализ, причинный анализ, детерминационный анализ, срав­нительный анализ и т. д.).

Остановимся на методах, обозначенных в предпоследнем бло­ке. Каждый метод имеет свою собственную логику применения в социологическом исследовании. Как вы уже убедились, без мате­матических методов социологу, работающему с эмпирическими данными, не обойтись [12, 16, 18]. Точнее говоря, применение не метода, не методов, а класса методов. Класс методов ¾ это методы, применяющиеся для решения примерно одинаковых задач. Класс методов ¾ это методы, опирающиеся на примерно одинаковые ма­тематические модели. Мы с вами рассмотрели, по сути, всего два класса методов: методы дескриптивной статистики, или первичной обработки данных, и методы анализа таблиц сопряженности, или методы корреляционного анализа. Существует достаточно боль­шое количество различных классов методов. Методы дисперсион­ного анализа, методы регрессионного анализа, методы многомер­ной классификации, методы факторного анализа, методы многомерного шкалирования, методы причинного анализа, мето­ды детерминационного анализа и т. д. Есть еще целый пласт, в котором много классов методов. Это пласт так называемых мето­дов математического моделирования. То, что мы перечислили, ¾ это тоже моделирование, но есть все же особые методы, за кото­рыми закрепился термин математическое моделирование [8, 18].

Каждый класс математических методов может распадаться на отдельные группы по аналогии с методами анализа таблиц сопря­женности. У нас была группа коэффициентов, основанных на про­верке гипотезы о статистической зависимости, и другая группа коэффициентов, основанных на согласованности в ранжировании (коэффициенты ранговой корреляции). Не следует обращать осо­бое внимание на название метода как на указку пути его использо­вания. Это оберегает социолога от приверженности различным методам с красивыми названиями. К примеру, рассмотрим класс методов, которые называются методами причинного анализа. Ис­пользование одного из методов этого класса не означает нахожде­ние истинной причинности (если таковая вообще существует) изу­чаемых социальных феноменов. Речь идет лишь о некоторой модели изучения предполагаемых причинно-следственных отношений меж­ду признаками. Сегодня модели такие, а завтра совсем другие. И в то же время, найдя посредством этих моделей тенденции, синдро­мы, количественные оценки, социолог получает возможность перехода к качественно новому знанию для познания причинности. Однако для изучения причинности социолог может использовать и другие классы методов, в названии которых термин «причина» от­сутствует.

Один и тот же класс методов может использоваться и в контек­сте измерения, и в контексте реализации определенной логики анализа. Для решения одной и той же содержательной задачи речь может идти о комплексном применении методов разного класса. Подобная комплексность носит либо параллельный характер, либо последовательный. Первое означает применение методов из разно­го класса для решения одной и той же задачи. Второе означает применение методов разного класса на различных этапах решения задачи, интересующей исследователя.

Естественно, социолог должен владеть навыками математичес­кой формализации как составной части процесса получения зна­ния, опирающегося на эмпирические данные. Однако социологу не столь важно овладеть математическими методами, сколько уметь связать, увязать воедино процедуры логической и математической формализации. Это и будет составлять в целом логику анализа дан­ных в исследовании.

Как же формируется эта логика? И, тем самым, как выбираются в исследовании математические методы? Напомню, что с первым составным элементом, позволяющим исследователю разработать логи­ку анализа, вы уже познакомились ¾ это выбор одной из стратегий (восходящей или нисходящей) анализа данных. Соотнесение отдель­но взятого социологического исследования с одной из этих двух стра­тегий анализа зависит от априорных представлений, от априорных знаний социолога об изучаемом фрагменте социальной реальности. По сути, речь идет о целях, задачах, гипотезах исследования.

Как мы убедились, в рамках восходящей стратегии, анализа основная проблема для социолога ¾ выбор метода поиска эмпири­ческих закономерностей и интерпретация этих закономерностей. Формально перед социологом вначале стоит вопрос о выборе клас­са методов, а только потом ¾ о выборе конкретного метода (модели) из этого класса. Если задана совокупность шагов по реализации модели, то это называется алгоритмом.

Сначала мы с вами в нашем модельном исследовании, посвя­щенном изучению времяпрепровождения студентов, искали про­стенькие эмпирические закономерности, регулярности. Для этого изучали «поведение» отдельно взятого признака (непосредственно наблюдаемого или производного от эмпирических индикаторов), т. е. изучали характер распределения признака. Описание распре­деления происходило на основе вычисления моды, медианы, сред­него арифметического, среднего взвешенного, коэффициента ко­личественной вариации, энтропии, коэффициента качественной вариации, дисперсии, квартального размаха.

Затем у нас возникла необходимость поиска более сложных закономерностей, а именно анализа совместного «поведения» двух признаков. Тем самым мы вышли на разное понимание парных связей и, соответственно, на математическую формализацию от­дельно взятого «понимания». Коэффициентов связи оказалось много. Было показано, что у той части «языка» анализа ¾ языка изучения связи ¾ есть свой собственный понятийный аппарат, без понима­ния которого невозможно выбрать необходимый социологу коэф­фициент (меру) связи. По сути, мы искали эмпирические законо­мерности в структуре связей. Чисто технически искали закономерности в таблице сопряженности. Они носили уже более сложный характер.

Дальше мы могли перейти к многомерному случаю: как бы к анализу совместного «поведения» многих признаков. Здесь язык анализа эмпирических закономерностей претерпел бы дальней­шее усложнение, как, впрочем, и сами эмпирические закономерно­сти. По сути, речь идет уже о многомерном анализе социальных явлений. Чисто технически ¾ это применение огромного числа различных сложных математических методов, каждый из которых опирается на вполне определенную математическую модель. При этом социолог, исходя из восходящей стратегии, последовательно ищет ответы на вопросы, такие, как: не объединяются ли эмпири­ческие индикаторы в факторы, а объекты ¾ в классы. К примеру, похожие в определенном смысле объекты составляют класс, а по­хожие по «поведению» эмпирические индикаторы могут образо­вать «новый социальный» фактор. Главная задача в таких иссле­довательских сюжетах ¾ проблема интерпретации получаемых эмпирических закономерностей.

Как было отмечено, социолог может строить исследовательс­кий процесс и по нисходящей стратегии. В этом случае концепту­альная схема исследования должна не только существовать, но пред­полагает достаточно жесткую структуру, и особенно в той ее части, которая относится к логике анализа. Это предполагает «продумы­вание» всей логики анализа априори (до сбора эмпирической ин­формации), выбор как бы основного языка анализа в исследовании для поиска ответа на вопрос «Почему это?».

От того, на каком языке анализа социолог будет исследовать интересующий его фрагмент социальной реальности, зависит и то, какого рода эмпирический материал ему нужен, и то, какие при­емы «обработки» информации он будет использовать для изучения и объяснения того или иного социального феномена. Разумеется, выбранная в исследовании логика анализа включает в себя как составную часть (или опирается) на одну из обозначенных Страте­гий (восходящая стратегия или нисходящая стратегия). Но это только одна составная часть логики анализа. Другая составная часть ¾ выбор в исследовании языка анализа. Например, в качестве тако­вых могут выступать язык типологического анализа, язык причин­ного анализа, язык факторного анализа.

Рассмотрим в упрощенном виде их содержательный смысл в ситуации, когда социолог работает исходно как бы с готовой ин­формацией (первый тип). Например, пусть изучаемым социальным явлением будет «феномен господина X на выборах». Когда мы встре­чаемся с подобным явлением? Либо тогда, когда какой-то неожи­данный кандидат набрал значительное число голосов, либо, на­оборот, известный кандидат потерпел неудачу. Вот тогда и возникает много заказчиков у социолога, которые хотят получить ответ на вопрос «Почему это?». Независимо от того, кто нам заказал социологический анализ данного феномена, мы должны пред­ложить обоснованную логику анализа. Исходно у нас с вами толь­ко результаты выборов, например, число голосов (в процентах), полученных кандидатом в каждой области России. Значит, у нас один-единственный эмпирический индикатор, эмпирические объекты ¾ отдельные области России. Заметим, что наш эмпири­ческий индикатор измерен по метрической шкале (шкала про­центов). Значениями эмпирического индикатора является число голосов (в процентах), полученных господином X в каждой обла­сти.

Как социолог мог бы выстраивать логику анализа «феномена господина X на выборах»! Такая логика зависит от того, какой язык анализа выбран в качестве основного из обозначенных выше язы­ков анализа. Рассмотрим коротко, каковыми могут быть рассужде­ния социолога при решении этой задачи, если в качестве основного языка анализа выбраны.

Язык типологического анализа данных

Типологический анализ применяется для поиска знания о ре­ально существующих типах (формах, видах) изучаемого социально­го феномена [10, 14, 20]. Применительно к нашей задаче ¾ это поиск типов существования феномена господина X на выборах.

Прежде всего определяем, какова будет в нашем исследова­нии общая стратегия анализа: восходящая или нисходящая. Но для этого необходимо сформулировать основную цель нашего ис­следования. В свою очередь ее нельзя обозначить без основной гипотезы исследования. Такая гипотеза может звучать следую­щим образом. Существуют группы областей, однотипных в смыс­ле «феномена господина X на выборах», и такие, которые можно интерпретировать как объекты социального управления. Напри­мер, в том смысле, что механизм воздействия на электоральное поведение одинаков в областях, отнесенных к одной и той же группе, к одному и тому же типу. Тогда цель нашего исследова­ния ¾ проверка гипотезы о существовании именно таких типов областей. Но таких типов может и не быть, т. е. гипотеза может и не подтвердиться. Из этого, как вы понимаете, не следует, что мы получили плохой результат. Для социолога одинаково важен лю­бой результат.

Обратите внимание, что в формулировку гипотезы заложен предполагаемый язык анализа ¾ язык типологического анализа. Что здесь первично - гипотеза или выбор языка анализа? Ответ на этот вопрос оставим пока открытым.

Если у нас есть какие-то априорные представления о существо­вании именно такого рода типов областей, то логика анализа выс­траивалась бы по нисходящей стратегии. Тогда мы выделили бы группы однотипных областей по априорно заданным признакам. Эти признаки играют роль типообразующих признаков. Затем изу­чали бы характер распределения нашего эмпирического индикато­ра на каждой группе областей, а также его взаимосвязи с другими признаками. Последние также заранее заданы социологом и тоже играют роль типообразующих. Пока не представляется возможным описать всю процедуру типологического анализа. Ясно одно: в данном случае мы движемся от общего к частному ¾ по нисходя­щей стратегии.

Если же у нас нет никаких априорных представлений, то логи­ка анализа выстраивается по восходящей стратегии. Тогда изучаем характер распределения нашего эмпирического ин­дикатора по всей совокупности областей. Для этого вычисляем размах, моду, медиану, среднее взвешенное, дисперсию, квартильный размах. Допустим, что мы получили следующие значения:

R1 = 20 ¾ размах, т. е. разница между максимальным (пусть оно равно 25%) и минимальным (пусть оно равно 5%) значениями эм­пирического индикатора;

Мо1 = 10 ¾ первое модальное значение, т. е. наиболее часто встречаются области, где господин X получил примерно 10% голо­сов;

Мо2 = 20 ¾ второе модальное значение;

Me = 15 ¾ медиана, т. е. в половине областей господин X полу­чил более 15% голосов, а в половине менее 15% голосов;

R2 = 5,5 ¾ квартальный размах, т. е. разброс вокруг медианы, т.е.

= 16,5 ¾ взвешенное среднее арифметическое значение, т. е. в среднем по России господин X получил 16,5% голосов;

s = 7,7 ¾ среднеквадратическое отклонение, т. е. разброс вок­руг среднего арифметического равен 7,7.

Следует отметить, что мы работаем с метрической шкалой. Поэтому при необходимости построения эмпирической кривой распределения необходимо разбить на интервалы (равные или не­равные) весь диапазон изменения значений (от 5 до 25) эмпири­ческого индикатора.

Исходя из значений размаха, квартального размаха, среднеквадратического отклонения, видим, что совокупность областей неодно­родна с точки зрения электорального поведения. Совершенно очевидно, что, как минимум, наблюдается четыре типологических синдрома. Первый обусловлен группой областей, отдавших за гос­подина X минимальное число голосов. Второй ¾ группой областей, отдавших максимальное число голосов. При этом такие группы мо­гут состоять из одной единственной области. Третий и четвертый синдромы ¾ группы областей, отдавших примерно 10% голосов и 20% голосов. Это еще не типы, а только кандидаты в типы, поэтому мы и пользуемся понятием «типологический синдром».

Нас ведь интересуют не просто группы областей, похожие по числу, отданных господину X голосов. Нам интересны только такие группы, которые можно интерпретировать как объекты со­циального управления ¾ в том смысле, что механизм воздействия на электоральное поведение областей, отнесенных к однотип­ной группе, одинаков. Поэтому возникает вопрос перехода от как бы формальной группировки, проведенной по числу голосов за господина X, к содержательной типологии. А для этого необходима дополнительная информация о наших эмпирических объектах ¾ областях. Ответ на вопрос: какая нужна информация ¾ проистекает из поиска социологом ответа на другой вопрос. Чем еще, кроме доли голосов, похожи, близки области, отнесен­ные к одной и той же группе? Может, в них одинаковый процент населения с высшим образованием, а может, в них одинаковая доля сельского населения и т. д. Вполне возможен вариант, ког­да области похожи по тому, как в них организовывалась предвы­борная кампания. Возможно и сочетание нескольких факторов и причин.

Для нас пока важно, что по восходящей стратегии ищутся типологические синдромы, а по нисходящей стратегии проверя­ются гипотезы о существовании типов. Языку типологического анализа посвящена следующая ¾ последняя часть книги.

Язык причинного анализа

Содержательный смысл языка причинного анализа обусловлен необходимостью поиска причинно-следственных отношений меж­ду социальными феноменами. При этом причина и следствие раз­делены во времени. Одна и та же причина может породить не­сколько следствий. Одно и то же следствие может проистекать из-за существования разных причин.

Применительно к той же задаче изучения «феномена господина X на выборах» мы можем рассуждать примерно таким образом. Мы наблюдаем следствие (число голосов, отданных господину X в каж­дой области), причины которого нам неизвестны и логика анализа которых нам пока неясна. Как и в случае типологического анализа, огромную роль при построении логики анализа играют априорные представления о причинно-следственных отношениях, гипотезы исследования. Но они уже сформулированы на другом языке ¾ языке причинного анализа.

В рамках восходящей стратегии анализа можно изучать при­чинность путем выделения зависимого и независимых признаков и соответственно использовать известные вам, направленные ко­эффициенты связи между нашим эмпирическим индикатором (зависимый признак) и множеством других характеристик обла­стей (независимые признаки). В рамках же нисходящей страте­гии должны быть заранее заданы качественные модели причинного анализа [3, 5]. Необходимо различать причинный анализ как язык анализа в социологических исследованиях и причин­ный анализ как класс математических методов. Последнее чаще всего называют причинными моделями или моделями причин­ного анализа.

В любом случае, изучая причины того или иного электораль­ного поведения, невозможно обойтись без изучения характера рас­пределения нашего эмпирического индикатора, потому что оди­наковое следствие (одинаковое число голосов отданных за господина X) может быть порождено, одной и той же причиной, разными причинами, сочетанием различных причин. Все эти ги­потезы нужно проверять. Естественно, основа для этого ¾ эмпири­ческая кривая распределения и ее характеристики. Они вам зна­комы.

Следует отметить, что исследование причинности может при­вести к выводу, что существуют типы областей, где одинаковы причинно-следственные отношения между электоральным поведе­нием и причинами, обусловившими его.

Язык факторного анализа

Смысл факторного анализа в поиске знания о существовании социальных факторов, объясняющих, описывающих социальное явление. Если обратиться к «феномену господина X на выборах», то логику анализа можно выстроить и опираясь на поиск факторов, детерминирующих то или иное электоральное поведение. Исход­но мы опираемся опять же на характер распределения нашего эмпирического индикатора. Но объяснение такому распределению ищем на языке социальных факторов. Что такое социальный фак­тор? Как вы знаете, существует огромное количество определе­ний, что есть социальный фактор. Но нам сейчас достаточно по­нимания только одного аспекта, а именно: на эмпирическом уровне социальному фактору соответствует как бы сочетание совокупно­сти эмпирических индикаторов. Этап жизненного цикла челове­ка, образованность, структура потребностей, характер предвыбор­ной кампании ¾ вот небольшой перечень факторов, различных по сложности.

Возникает вопрос, какое сочетание эмпирических индикаторов образует социальный фактор. Это сочетание может носить априор­но заданный логический характер. Например, этап жизненного цикла образуется из таких эмпирических индикаторов, как возраст, се­мейное положение, число детей. Отдельному этапу соответствует сочетание значений этих трех эмпирических индикаторов. Тогда фактор ¾ производный показатель, имеющий в общем случае номи­нальный уровень измерения.

На эмпирическом уровне фактор можно понимать и как груп­пы взаимосвязанных между собой эмпирических индикаторов. Напомним, что с таким пониманием фактора вы сталкивались в книге при рассмотрении метода семантического дифференциала Ч. Осгуда. Если взаимосвязь наблюдается, то говорим о наличии факторных синдромов, о факторной структуре всей совокупнос­ти наблюдаемых признаков. Тогда взаимосвязанной группе эм­пирических индикаторов можно поставить в соответствие некий индекс, производный показатель, количественно измеренный. Факторный анализ в рамках восходящей стратегии носит так же, как и в случаях типологического и причинного анализов, сугубо качественный характер. В рамках восходящей стратегии все язы­ки анализа помогают лишь сформулировать новые гипотезы для проведения новых исследований. В рамках же нисходящей стра­тегии факторный анализ позволяет проверять гипотезы о суще­ствовании факторов в заданном социологом смысле. При этом под фактором может пониматься, как уже отмечалось, группа тесно взаимосвязанных между собой эмпирических индикато­ров. Следует различать: факторный анализ как класс математических методов выделения взаимосвязанных групп эмпирических индикаторов [4, 13]; факторный анализ как язык анализа соци­альной реальности.

Для «феномена господина Х на выборах» изучение факторов, влияющих на электоральное поведение, может привести нас, напри­мер, к следующему выводу: существуют группы областей, в кото­рых электоральное поведение одинаково и детерминировано одними и теми же факторами. И в том случае, когда основной язык анали­за ¾ факторный анализ, появляется необходимость в других языках анализа, в частности языка типологического анализа.

Основной язык анализа

Даже исходя из такого упрощенного понимания языков анали­за видно, что они пересекаются, используются одновременно в отдельно взятом социологическом исследовании. Вместе с тем один из них играет как бы заглавную роль, роль основного языка анализа, а остальные вспомогательную роль ¾ по аналогии с понятиями «основная гипотеза» и «вспомогательная гипотеза» исследования. Эти виды анализа, которые мы условно для наглядности назвали языками анализа, являются исследовательскими стратегиями ана­лиза данных особого вида. Для того чтобы не было путаницы с общей стратегией (восходящей или нисходящей), следует пользо­ваться термином «методика анализа данных». Огромную роль метаметодики играют в основном в рамках нисходящей стратегии ана­лиза. Поэтому эта глава и имеет соответствующее название. Типологический анализ, причинный анализ, факторный анализ можно интерпретировать и как классы содержательных задач в социологии, решение которых проходит по одной и той же логи­ческой схеме.

Самым важным в понимании этих метаметодик анализа явля­ется то, что каждая из них имеет свой собственный понятийный аппарат, т. е. совокупность понятий, без которых невозможно применить ту или иную стратегию. При этом в такой аппарат входят понятия как экзогенного, так и эндогенного характера. Первые их них являются идеальными конструктами, идеальными, образами и не подлежат эмпирической интерпретации. Они игра­ют роль как бы путеводной звезды в исследовании для его струк­турирования. Вторые, наоборот, подлежат эмпирической интерпретации, операционализации. Среди них, в свою очередь, есть понятия, подлежащие и математической формализации. Социо­логу такие знания, т. е. знания понятийного аппарата различных языков анализа, необходимы для грамотной постановки задач. Применение математических методов вне контекста логики ана­лиза в исследовании приводит к печальным последствиям. К при­меру, социолог начинает ненавидеть математику, ибо она не дала ему ожидаемого нового знания. Это во-первых. Во-вторых, такие знания приводят социолога к альтернативным пониманию, интерпретации, объяснению социальной реальности. В последней части книги в качестве примера будет рассмотрен понятийный аппарат и логика проведения типологического анализа.

Вы помните, мы рассматривали простенькие модели изучения свойств социальных объектов для перехода с теоретического уров­ня на эмпирический. При этом не затрагивались вопросы обратно­го перехода, для которого крайне важно понятие основного языка анализа в исследовании. Более того, обозначение основного языка анализа и дает возможность обоснованного перехода от эмпири­ческого уровня обратно к теоретическому.

Итак, обозначенные выше языки анализа являются исследова­тельскими стратегиями анализа особого вида. Все они являются элементами логики анализа. Их можно обозначить и как метаметодики анализа, позволяющие создавать методики анализа для от­дельных исследовательских ситуаций, для решения отдельных со­держательных задач. Выбор социологом в процессе планирования исследования конкретной метаметодики дает возможность в даль­нейшем правильно выбрать методы сбора и методы математическо­го анализа эмпирических данных.



Поделиться:




Поиск по сайту

©2015-2024 poisk-ru.ru
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2017-10-25 Нарушение авторских прав и Нарушение персональных данных


Поиск по сайту: