ЛОКАЛИЗАЦИЯ ТОЧКИ НА ШКАЛЕ 1 глава




(НОЛЬМЕРНОЕ ШКАЛИРОВАНИЕ)

Глава 1. МЕТОДЫИЗМЕРЕНИЯ ПОРОГОВ

Исторически сложилось так, что первыми методами психологических измерений были методы, позволяющие определять локализацию точки на психологической шкале. Их появлением мы обязаны Г. Т. Фехнеру, пытавшемуся с их помощью разрешить психофизическую проблему — выяснить закон соответствия психического образа и вызвавшего его физического воздействия. Согласно Фехнеру, через абсолютный порог задается начальная точка отсчета на психологической шкале, а через разностный порог вводится единица измерения на ней.

Под порогом всегда подразумевается некое критическое значение, разделяющее исследуемый ряд явлений на 2 класса. Абсолютный порог — то минимальное значение в континууме стимулов, выше которого раздражитель всегда воспринимается. Разностный порог — то минимальное различие в выраженности определенного физического параметра стимулов, превышение которого приводит к восприятию их различия.

Для решения основной задачи Фехнером была предпринята разработка методов измерения порога. Предложенные им три метода измерения порога добрую сотню лет были единственными методами определения чувствительности и до сих пор признаются классическими. Знакомство с ними и в наши дни составляет основу подготовки психолога-экспериментатора. И дело не только и даже не столько в том, что порог как мера чувствительности — психической способности воспринимать, чувствовать, реагировать — широко используется в различных областях психологических исследований. Главное в другом. Хотя пороговые, как и любые другие психофизические измерения, если их рассматривать в содержательном аспекте, представляют собой частный случай психометрических измерений, в пороговых методах — наиболее простых измерительных процедурах — уже нашли отражение основные трудности количественного определения переменных и способы их преодоления: вариабельность измеряемых величин и использование средних значений для их характеристики; их вероятностный характер, влияние многочисленных и далеко не всегда контролируемых экспериментатором факторов и введение уравновешивающих их действие процедур. Оба указанные качества — простота и характерность — определяют место пороговых методов в курсе обучения методам психологических измерений.

Развитие методов в науке обычно связано с появлением новых проблем. Главной и единственной задачей классической психофизики было изучение закона соответствия между психическими и физическими переменными. Основное внимание уделялось стимульным переменным, поскольку молчаливо предполагалось отсутствие влияния на ответы испытуемого в эксперименте таких несенсорных факторов как изменение мотивации, получение дополнительной информации об экспериментальной ситуации и т.д. Эти предположения реализовались в процедурных особенностях пороговых измерений и представлениях о пороге как мере чувствительности. Характерной чертой трех классических пороговых методов является довольно большое разнообразие стимулов, применяемых в эксперименте в качестве независимой переменной, и отсутствие какого бы то ни было контроля упомянутых выше несенсорных факторов, фактически всегда включенных в эксперимент. Те статистические показатели, которые приняты в этих методах в качестве пороговых мер, на самом деле являются, строго говоря, мерами исполнения, т.к. определяются не только уровнем чувствительности испытуемого, но и теми несенсорными факторами, которые управляют выбором его ответа. Несмотря на это, такие качества пороговых методов, как простота, меньшие затраты времени на измерение, а также удобство выражения пороговых мер в физических единицах обеспечивают этим методам широкое применение в современной исследовательской практике.

Современная психофизика (в отличие от классической), решая проблему измерения чувствительности, основное внимание уделяет процессу решения снсорной задачи (выбора испытуемым ответа) в типичной для порогового эксперимента ситуации отсутствия ясных отчетливых впечатлений от действия стимула. Это и определило характерные черты нового класса методов, детальная разработка которых осуществлена в последнее тридцатилетие — методов обнаружимости сигнала. Общим для всех методов этого класса является резкое обеднение стимульной ситуации (сведение ее всего до двух стимулов) и варьирование в качестве независимой переменной факторов, управляющих выбором ответа испытуемого. Описанию этих методов посвящена глава 2 данного раздела.

 

§ 1. Метод минимальных изменений

 

Данный метод является единственным среди методов измерения чувствительности, который дает знание величины порога в ходе самого измерения. В процедуре этого метода прямо отразилось понимание порога как барьера, разделяющего стимульный ряд на два класса ощущаемых и неощущаемых стимулов или их разностей.

 

1. Измерение абсолютного порога (RL) методом минимальных изменений.

Процедура. Существует несколько вариантов процедуры измерения этим методом. Рассмотрим процедуру Вундта. Каждая проба начинается сигналом “Внимание”, после которого с постоянным интервалом (0,5 - 1,5 секунды) предъявляется стимул, например, пятно света при определении абсолютной световой чувствительности в полной темноте. Как правило, испытуемому разрешается только две категории ответов (“Да”, “Нет”; “Вижу”, “Не вижу” и т.п.), форма которых точно оговаривается в инструкции испытуемому. Испытуемый отвечает, его ответ регистрируется. Предъявление стимулов осуществляется нисходящими и восходящими рядами. В первом случае степень выраженности определенного параметра стимула, чувствительность к которому измеряется, постепенно уменьшается от максимума до минимума, во втором — наоборот. Обычно измерение абсолютного порога начинается с нисходящего ряда стимулов, т.е. с отчетливо воспринимаемого стимула, изменяемый параметр которого с каждым шагом последовательно уменьшается. За порог в этом ряду принимается значение стимула, находящегося в середине межстимульного интервала между тем стимулом, который еще воспринимается, и тем, который впервые не воспринимается, т.е. середина того интервала, в котором произошла первая смена категории ответа испытуемого. В нисходящем ряду определяется порог исчезновения ощущения — Ll,в восходящем — порог появления — Lh(L — от латинского limen — порог). Чаще всего они не совпадают вследствие существования систематической ошибки.

Систематические ошибки бывают двух типов. Это так называемая ошибка привыкания, когда испытуемый продолжает повторять тот же ответ, что и на предыдущем шаге, хотя порог уже пройден и стимул в нисходящем ряду уже не вызывает ощущения, и ошибка ожидания или предвосхищения — ошибка противоположного толка. Для того, чтобы сбалансировать любую из этих ошибок, если они появляются, применяется: 1) уравновешивание числа тех и других рядов путем их чередования — нисходящие и восходящие ряды предъявляются парами, 2) требование от испытуемого ответа на каждый шаг изменения стимула в ряду. Для контроля за тщательностью работы испытуемого используется еще один экспериментальный прием — изменение длины стимульных рядов от пары к паре за счет смещения в случайном порядке начального и конечного значения стимулов в ряду. Эта предосторожность служит для предупреждения возможности повторения испытуемым своих ответных реакций на основе простого отсчета от начала и конца ряда определенного количества шагов изменения стимула1.

При выборе величины шага изменения стимула надо учитывать следующие моменты. При уменьшении величины шага падает дисперсия ответов (Геррак, 1970), а, следовательно, и порогов в восходящих и нисходящих рядах, что позволяет сократить число пар рядов, не изменяя заданной точности измерения порога. Однако, уменьшение величины шага приводит к увеличению количества шагов в каждом отдельном ряду, т.е. к удлинению ряда и, следовательно, опыта в целом. Оптимальный размер шага является результатом компромисса между стремлением к большой точности в оценке порога и нежеланием делать опыт очень длинным и утомительным.

Необходимое число измерений (пар рядов) определяется требуемой точностью измерения и степенью разброса получаемых в эксперименте данных. Его можно вычислить по формуле:

(1)

где n — число измерений; Up— квантиль нормального распределения, соответствующий заданной доверительной вероятности в определении порога; s — дисперсия пороговых значений; d — требуемая точность в определении порога.

 

Поскольку до начала опытов дисперсия пороговых значений неизвестна, для определения требуемого числа измерений необходимо провести предварительные пробные измерения, чтобы “прикинуть” величину дисперсии.

Обработка результатов. За абсолютный порог принимается среднее арифметическое всех найденных в течении опыта порогов появления и исчезновения и рассчитывается как:

 

(2)

 

где RL — средний абсолютный порог (обозначение RL — аббревиатура от немецкого “Reiz Limen”); Li— значение единичного порога в каждом стимульном ряду, как в восходящем, так и в нисходящем; N — общее число рядов.

 

Вариативность работы испытуемого оценивается средним квадратическим (стандартным) отклонением sL:

 
 


(3)

Статистическая ошибка, которая допускается, при вычислении в опыте абсолютного порога, оценивается стандартной ошибкой среднего значения:

 
 


(4)

2. Измерение дифференциального порога (DL) методом минимальных изменений.

Процедура. В этом случае все особенности метода и процедура остаются почти теми же, что и при определении абсолютного порога. Единственное изменение процедуры состоит в том, что одновременно с переменным стимулом испытуемому предъявляется эталон или стандартный стимул — Sst, который задает тот уровень исходного раздражителя, относительно которого выясняется величина разностного порога. В силу того, что ощущения различия стимулов у испытуемого могут быть различны, естественно разрешить испытуемому давать три категории ответов, а именно “больше”, “меньше”, “равно”. Ответ “не знаю”, “сомневаюсь” обычно отождествляется с ответом “равно”. За порог принимается значение стимула, соответствующее середине межстимульного интервала, где впервые произошла смена категории ответа: от “больше” к “равно” и от “равно” к “меньше” в нисходящем ряду, а в восходящем ряду от ответа “меньше” к ответу “равно” и от ответа “равно” к ответу “больше”. Таким образом, при измерении разностного порога определяются четыре значения порога (по два в каждом ряду). Это верхний порог — Lhв восходящем и нисходящем рядах (Lh­и LhЇ) и нижний порог — Llв восходящем и нисходящем рядах (Ll­и LlЇ). Таким образом, в каждом ряду мы находим две пороговые точки: верхний и нижний разностные пороги. На рис.1 они помечены точками в каждом ряду. Этот рисунок иллюстрирует правило установления пороговой точки в нисходящих и восходящих рядах ответов испытуемого.

 
 


Рис.1. Фрагмент протокола опыта по измерению дифференциального порога:

<+>, <=> и <-> — ответы испытуемого. Точками отмечены пороги в восходящих (­) и нисходящих (Ї) рядах

Обработка данных. Сначала находим значения верхнего разностного порога путем усреднения всех верхних порогов, в каком бы ряду они не стояли:

(5)

 

где Lh­и LhЇ — значения верхних порогов в восходящем и нисходящем рядах, а n — число пар рядов.

Аналогичным образом вычисляем нижний разностный порог:

 
 


(6)

 

Верхний и нижний пороги ограничивают интервал неопределенности — IU (от английского “Interval of Uncertainty”), т.е. ту зону стимульного ряда, где преобладают ответы равенства. Иначе говоря, интервал неопределенности — это та зона стимулов, которая сверху ограничена стимулом, в среднем едва заметно отличающимся от эталонного, как больший, а снизу — стимулом, в среднем едва заметно отличающимся от эталонного, как меньший. Понятно поэтому, что IU содержит две различительные ступени или два едва заметных различия, т.е. равен двум дифференциальным порогам DL (от немецкого “Differenz Limen”):

(7)

(8)

 

Стимул, находящийся в средней точке интервала неопределенности, всегда оценивается как равный эталону, т.е. является субъективным эквивалентом эталона и потому получил название точки субъективного равенства PSE (от английского “Point of Subject Equality”):

 
 

 

 


Рис.2. Соотношение основных пороговых показателей, оцениваемых в ситуации измерения дифференциального порога в методе минимальных изменений

 
 


. (9)

IU, как правило, несимметричен, поэтому довольно часто PSE не совпадает со значением эталона. Степень несовпадения эталона PSE характеризуется так называемой константной ошибкой, CE (от английского “Constant Error”), которая определяется следующим равенством:

(10)

 

Если константная ошибка больше нуля, то эталон переоценивается, если она меньше нуля, то эталон недооценивается. Таким образом, CE характеризует величину и направление смещения зоны субъективного равенства относительно объективного равенства. Соотношение этих основных психофизических понятий, которые используются и в других методах, иллюстрируется схемой, приведенной на рис.2.

3. Варианты метода минимальных изменений.

Объединение пары рядов в один ряд. В этом случае восходящий и нисходящий ряды предъявляются без перерыва. Достоинство этого варианта в том, что он обеспечивает некоторое сокращение времени. Его существенным недостатком является увеличение при такой системе подачи стимулов нерегулярности ответов, обусловленной тем, что второй ряд в паре начинается со стимула, вызывающего слабое, неуверенное ощущение различия.

Процедура “вверх-вниз” (метод лестницы). Этот вариант метода границ, предложенный Корнсвитом (1962), предполагает использование двух вариантов ответов. Суть его состоит в том, что как только происходит смена категории ответа, допустим, смена ответа “слышу” на ответ “не слышу”, так сразу же происходит смена направления изменения стимула, т.е. переход от нисходящего ряда к восходящему до следующей смены категории ответа. Этот вариант метода относится к так называемым адаптивным методам пороговых измерений, и, как правило, реализуется на компьютере, который отслеживает ответы испытуемого и соответствующим образом регулирует изменение стимуляции. В этих методах процедура тестирования строится таким образом, что предъявление стимулов подстраивается (“адаптируется”) под ответы испытуемого, и изменение стимуляции происходит в достаточно узком околопороговом диапазоне (рис. 3).

Достоинством этой процедуры является экономичность, вместе с тем она имеет ряд недостатков. Один из них состоит в том, что эта модификация метода применима только к измерению абсолютного порога. Дифференциальный порог может измеряться этим методом только в разных двух сериях, а это плохо из-за временных колебаний чувствительности. Второй недостаток состоит в том, что испытуемый быстро замечает порядок чередования ощущаемых и неощущаемых стимулов, что вызывает эффект ожидания, распространяющийся по горизонтали, т.е. переносится с одного стимула на другой. Гилфорд (1954) отмечает, что этот эффект является таким сильным источником стабилизации результатов (несенсорным источником!), равного которому нет ни в каком другом методе. Величину этой стабилизации трудно измерить и каким-либо образом скорректировать. Поэтому эта процедура применима только в случаях, когда исследователь может удовлетвориться очень грубым, но зато быстрым определением порога. На практике этот метод часто применяется для скрининговых исследований слуховой чувствительности.

Метод едва заметного различия (ЕЗР). Эту модификацию иногда полностью отождествляют с методом границ. Это не совсем точно. Суть метода ЕЗР сводится к следующему: испытуемому вместе с эталонным стимулом предъявляют ряд переменных. Задача испытуемого состоит в том, чтобы указать то значение стимула, которое едва заметно отличается от эталона. Существенное отличие метода ЕЗР от метода границ состоит в том, что в методе границ испытуемый определяет два порога — порог появления и исчезновения ощущения различия — ЕЗР и ЕНЗР, т.е. едва незаметного различия. В методе ЕЗР определяется только одна точка — всегда ЕЗР. Эти методы тождественны только тогда, когда изменение стимуляции начинается от равенства переменного и эталонного стимулов. В том случае, когда изменение стимуляции начинается от заметного неравенства к равенству, испытуемый определяет точку исчезновения ощущения различия (ЕНЗР), опираясь на сенсорный эталон, хранящийся в памяти.

 
 

 

 


Рис.3. Запись ответов испытуемого при изменении интенсивности стимуляции в опыте по измерению абсолютного порога методом “лестница”: при ответах <+> (“да”) интенсивность стимула уменьшается, при ответах <—> (“нет”) — увеличивается

 

§ 2. Метод средней ошибки

 

В отечественной литературе этот метод известен также под названием метод воспроизведения, метод подгонки, метод подравнивания и метод установки. Этот метод отличается от других пороговых методов двумя процедурными особенностями — испытуемый сам регулирует величину изменяемого параметра стимула; стимул может принимать любое значение в заданном диапазоне, т.е. его изменения непрерывны. Фехнером этот метод предназначался для измерения дифференциальной чувствительности. Позднее он стал использоваться для измерения абсолютной чувствительности, хотя, по мнению Фехнера, метод средней ошибки (МСО) не позволяет прямо измерить порог; он дает меру, пропорциональную чувствительности. Вместе с тем это единственный метод, в котором субъективный эквивалент эталона определяется непосредственно в процедуре измерения. Второй отличительной особенностью этого метода является наиболее естественная для испытуемого процедура определения равного эталону стимула путем собственноручного подравнивания. Благодаря этим свойствам МСО довольно часто применяется в исследованиях восприятия. Именно этот случай применения метода средней ошибки стал хрестоматийным (Гилфорд, 1954; Вудвортс и Шлосберг, 1971).

1. Применение метода средней ошибки для измерения дифференциального порога.

Процедура. При измерении дифференциальной чувствительности испытуемому предъявляются одновременно два стимула, эталон — Sstи переменный Svar, величину которого может изменять испытуемый. Аппаратура должна позволять плавную регулировку изменяемого параметра переменного стимула. Задача испытуемого состоит в подравнивании переменного стимула к эталону. Испытуемому дается установка на точность, а не на быстроту воспроизведения эталона. Никаких ограничений на свободу движений при регулировке стимула в процессе подравнивания не вводится. Подравнивание должно начинаться то от большего, чем эталон, значения, то от меньшего. Чтобы исключить для испытуемого возможность осуществлять подравнивание на основе одного только кинестезического впечатления, необходимо в обоих случаях менять начальные точки. Обычно бывает достаточно выбрать три заметно различающиеся начальные значения переменного стимула, большие и меньшие, чем эталон, и чередовать их, применяя в течение опыта равное число раз. В силу наличия в протетических континуумах (Стивенс, 1960)1пространственной ошибки, в опыте должно быть сделано равное число проб с положением эталона слева и справа от переменного стимула или сверху—снизу от него.

Обработка данных. Для качественного анализа результатов опыта полезно построить гистограмму распределения подравниваний, что несложно сделать на компьютере с помощью практически любого статистического пакета. Кроме того целесообразно построить график распределения результатов подравниваний во времени. Наглядное представление результатов опыта в графической форме несомненно поможет глубже и содержательнее проанализировать не только различные стратегии решения испытуемым сенсорной задачи, но и наглядно оценить динамику его работы.

В качестве статистических мер, необходимых для оценки пороговых показателей, в МСО принято характеризовать полученное распределение чаще всего средним арифметическим (см. формулу (2) в предыдущем параграфе) и реже — медианой. В качестве мер разброса используются стандартное отклонение (см. формулу (3) в предыдущем параграфе) и реже — полумежквартальный размах. Очень редко в настоящее время используется такая мера изменчивости полученных данных, как среднее отклонение или средняя ошибка:

 
 


(11)

где xi — одно из значений в ряду подравниваний; M — среднее арифметическое подравниваний; n — количество подравниваний.

 

Меры чувствительности, используемые в МСО. В литературе можно найти разноречивые рекомендации в отношении мер чувствительности, которыми следует пользоваться в пороговых измерениях с помощью МСО. В результате экспериментов по подравниванию исследователь получает распределение установок испытуемого, которое характеризуется локализацией на стимульной оси и отмеченными выше показателями изменчивости. По мнению автора МСО Фехнера, при измерении этим методом исследователь получает не прямую оценку порога, а только пропорциональную ей величину, коей является один из показателей разброса — средняя ошибка. Логическим основанием для этого могло служить соображение о том, что в соответствии с инструкцией (подравнять переменный стимул к эталону) центр распределения подравниваний должен характеризовать субъективный эквивалент эталона. По смыслу введенных выше понятий он является точкой субъективного равенства (PSE). Вместе с тем, чем более размыт, расплывчат субъективный эквивалент эталонного стимула, чем меньше испытуемый может отличить его от соседних значений, тем ниже чувствительность. По-видимому, Фехнер придавал именно такой психофизический смысл этому показателю разброса и поэтому описанный им метод был назван методом средней ошибки. Однако в целом ряде исследований были получены разные типы локализации распределения подравниваний на стимульной оси — смещенное и несмещенное относительно положения эталона. В связи с этим ряд исследователей (Челпанов, 1925; Осгуд, 1954; Торгерсон, 1958; Вудвортс и Шлосберг, 1965; Бардин, 1976) предлагают использовать в качестве меры чувствительности также и величину отстояния субъективного эквивалента эталона (центра распределения подравниваний) от эталона. Обосновывается это предложение тем, что чем ниже чувствительность испытуемого, тем более далекие стимулы он принимает равными эталону, поэтому эти два разные показателя как бы характеризуют чувствительность с разных сторон, и потому оба имеют право на существование. Вместе с тем никто из этих авторов не обращает внимания на то обстоятельство, что по смыслу введенных выше определений предлагаемая ими мера оценки чувствительности как разность значений точки субъективного равенства и эталона является константной ошибкой: CE = PSE - Sst.

Экспериментальными исследованиями показано, что константная ошибка определяется главным образом систематическими ошибками измерения, такими как пространственные и временные ошибки.

Цель измерения и выбор адекватной инструкции для испытуемого. Причиной получения разных типов локализации распределения подравниваний на стимульной оси является то, что классический вариант инструкции “подравнять переменный стимул к эталону” дает испытуемому большую свободу в ее трактовке, поскольку в переходной зоне от значений стимула меньших, чем эталон, до значений больших, чем эталон, существует целый ряд стимулов, кажущихся равными эталону — интервал неопределенности (IU), а инструкция не уточняет, какую именно точку в этом ряду должен искать испытуемый. Экспериментальные исследования последних лет (Михалевская, Скотникова, 1978) позволили дать обоснованную интерпретацию психофизического смысла статистических показателей, получаемых в методе средней ошибки, и показали, что при определенных модификациях инструкции метод средней ошибки позволяет обоснованно и точно определить все основные психофизические показатели, а именно, интервал неопределенности, точку субъективного равенства и дифференциальный порог. Оказалось, что психофизический смысл среднего значения подравниваний определяется тем, какую сенсорную задачу решает испытуемый, т.е. тем, какая инструкция или самоинструкция им принята. Для измерения границ интервала неопределенности, и, следовательно, разностного порога как половины интервала неопределенности, испытуемому должно быть указано на поиск точки первого равенства переменного стимула и эталона. В таком эксперименте, где подравнивание начинается от стимулов, заметно больших и заметно меньших, чем эталон, результаты подравнивания представляют собой бимодальное (двугорбое) распределение (рис. 4).

 
 

 

 


Рис. 4. Распределение результатов подравниваний испытуемым переменного стимула к эталонному при инструкции искать точку первого равенства и чередовании исходных значений изменения переменного стимула от заметно больших и заметно меньших, чем эталон: по оси абсцисс – величина стимула, по оси ординат – частота подравнивания стимула к стандартному

 

Если отдельно обработать данные, полученные в пробах, где исходные значения переменного стимула были заметно меньше и где они были заметно больше, чем эталон, то центры этих распределений (их средние арифметические) будут характеризовать нижнюю и верхнюю границы интервала неопределенности. Следовательно, при такой организации процедуры МСО становится возможным получить оценку дифференциального порога, т.е. снимается то ограничение этого метода, которое имел в виду Фехнер.

Если исследователя интересует локализация субъективного эквивалента эталона, т.е. точка субъективного равенства, то испытуемый должен подравнивать к центру зоны неразличения (равенства) переменного стимула и эталона. Экспериментально доказано, что среднее распределения подравниваний, полученное в результате выполнения испытуемым такой инструкции, локализуется в центре интервала неопределенности и совпадает с точкой субъективного равенства.

Величина другого показателя метода средней ошибки — стандартного отклонения подравниваний — зависит преимущественно от сенсорной способности и характера двигательных действий испытуемого по подравниванию. Стандартное отклонение (s) является индивидуально устойчивой характеристикой испытуемого в метатетических континуумах стимулов (Стивенс, 1960)1и не зависит от локализации среднего подравниваний в зоне перехода от различения к неразличению. Поэтому при условии обучения испытуемых определенным оптимальным двигательным действиям по подравниванию стандартное отклонение, хотя и является мерой исполнения (т.е. зависит не только от чувствительности сенсорной системы, но и от особенностей процесса принятия испытуемым решения, включенного в этот эксперимент), может служить хорошей операциональной оценкой дифференциальной чувствительности к метатетической стимуляции.

2. Применение метода средней ошибки для измерения абсолютной чувствительности.

 

В этом случае испытуемый регулирует величину стимула, первоначально вызвавшего отчетливое ощущение, до тех пор, пока не установит такое его значение, при котором он впервые утрачивает ощущение воздействия стимула. Если установка начинается с явно неощущаемой величины стимула, то испытуемый должен найти такое его значение, при котором ощущение впервые появляется. Обычно рекомендуется для оценки абсолютного порога использовать такие меры центральной тенденции, как медиана и среднее. Меры изменчивости (межквартильный размах и стандартное отклонение) в данном случае характеризуют только вариативность установок. В случае получения бимодального распределения за оценку абсолютного порога следует брать середину расстояния между двумя экстремумами аналогично определению точки субъективного равенства в задаче измерения разностного порога.



Поделиться:




Поиск по сайту

©2015-2024 poisk-ru.ru
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2017-12-12 Нарушение авторских прав и Нарушение персональных данных


Поиск по сайту: