Планирование и логика проведения психологического исследования.
7.Программа и рабочий план психологического исследования.
8.Основные понятия дифференциальной психометрики в психодиагностике. Понятие об измерении. Термин «дифференциальная психометрика» обозначает науку одифференциально-психологических измерениях. Дифференциальная пси-хометрика отличается от общей психометрики. Общая психометрика имеет дело с задачами измерения психологиче-ских характеристик стимула, в частности, моделирует общепсихологиче-ские функциональные зависимости между свойствами стимулов и свой-ствами субъективных реакций. В психофизике речь идет об установлениисоответствий между физическими характеристиками стимулов и субъек-тивными характеристиками ощущений (сенсорная психофизика), в соци-ально-психологических измерениях устанавливается соответствие междурядами социальных объектов» (например, разные виды рекламируемыхтоваров) и определенными психическими реакциями (например, на конти-нууме от «очень нравится» до «очень не нравится» и т.п.). В дифференциальной психометрике числовые значения (ранги, кате-гориальные шкальные значения) приписываются не стимулам, а индиви-дам. Дифференциальная психометрика имеет дело с индивидуальнымиразличиями между людьми в качественном и количественном составе пси-хических свойств, какими являются способности, мотивы, поведенческиечерты, установки, оценки и самооценки, некоторые когнитивные функции(память, внимание и т.п.) и т.п. По отношению к психодиагностике и дифференциальной психологиипсихометрика выступает в качестве технолого-методической дисциплины:она обосновывает требования, которым должны удовлетворять измери-тельные психодиагностические методы, обосновывает процедуры их раз-работки и применения. Психометрика разрабатывает математические мо-дели для методов психологического измерения. Она определяет формаль-ные требования для экспериментальной проверки психометрическихсвойств (валидности, надежности и др.) разнообразных методов психоло-гических, в том числе психодиагностических, измерений. 89 1.2. Современные методы психодиагностики условно можно разде-лить на две категории: 1) стандартизированные, измерительные методы. Это объективныетесты и стандартизированные самоотчеты – опросники. 2) Экспертные,или методы понимания (так называемые «клинические» методы). Это про-ективные и диалоговые методы. В основе первой категории методов лежит соблюдение достаточнострогих и сформулированных в явной форме правил. Эти методы обеспе-чивают диагноз (и на его основе прогноз) лишь с вероятной точностью,этот диагноз оказывается более надежным по отношению к группе испы-туемых, чем по отношению к отдельным испытуемым. Экспертные методы в большей степени основаны на профессиональ-ном опыте, психологической интуиции самого психодиагноста. Эти мето-ды оказываются незаменимыми везде, где не разработаны (или неизвест-ны) стандартизированные процедуры. Они часто оказываются более эф-фективными по отношению к психическим явлениям, плохо поддающимсяобъективации (субъективные переживания, личностные смыслы, глубин-ные слои опыта), по отношению к чрезвычайно изменчивым явлениям, длякоторых трудно создать фиксированную операциональную модель (дина-мика идей, состояний, настроений, многоплановых отношений в группе).Если их применяет эксперт высокой квалификации, они оказываются бо-лее надежным средством в случае индивидуальной диагностики. Достоинства измерительных методов – объективный характер проце-дур, возможность перепроверки – обеспечивается не автоматически, а бла-годаря выполнению психометрических требований – требований репрезен-тативности, надежности, валидности (включая достоверность). Если этитребования не выполнены, то использование тестов ничуть не менее про-извольная процедура, чем стихийное «вчувствование» эксперта в испы-туемого. 1.3. Знание психометрики дает психологу необходимую критичность впонимании ограниченности методик, в понимании тех допущений, кото-рые сделаны при разработке той или иной оценочной шкалы, теста, опрос-ника, системы заданий и т.п. Специфика психодиагностической процедуры заключается в том, чточеловек активен в процессе заполнения теста и может применять такую тактику, которую психодиагност при разработке методики вовсе не преду-сматривал. Диапазон «срабатывания» теста довольно узок и фактически сводитсяк той популяции, на которой происходила эмпирика-статистическая разра-ботка теста, обеспечивающего его надежность, валидность, репрезентатив-ность тестовых норм. Для корректного применения теста на новой популяции или в новыхцелях (от целей зависит установка испытуемых в ситуации тестирования)психолог должен провести серию предварительных психометрическихэкспериментов, направленных на перепроверку надежности, валидности ирепрезентативности теста в новых условиях. Перенесение теста с одной популяции на другую без проверки какминимум однородности распределения тестовых баллов (устойчивоститестовых норм) может приводить к серьезным диагностическим ошибкамили к непроизводительным затратам на бесполезную психодиагностику. Кнемалым ошибкам может приводить попытка прогноза по результатам тес-та, не проверенного на прогностическую валидность, – в этом случае пси-холог должен ограничиться лишь текущим диагнозом. Строгое следование требованиям психометрики особенно необходимопри переносе тестов, разработанных за рубежом. В условиях недостаточ-ной разработанности отечественных методик многие психологи склоннырассматривать в качестве готовых зарубежные методики, тогда как реаль-ные языковые и социокультурные различия бывают столь сильны, чтополная эмпирическая адаптация зарубежной методики по своему объемуне уступает разработке оригинальной методики. Для того чтобы убедиться,в пригодности того или иного зарубежного теста, психолог должен уметьповторить процедуру, с помощью которой конструировался и обосновы-вался этот тест его авторами. Прежде чем психодиагностические методики могут быть использова-ны для практических целей, они должны пройти проверку по ряду фор-мальных критериев, доказывающих их высокое качество и эффективность.Эти требования в психодиагностике складывались годами в процессе рабо-ты над тестами и над их совершенствованием. В результате появилась воз-можность оградить психологию от всевозможных безграмотных подделок,претендующих на то, чтобы называться диагностическими методиками. 91 К числу основных критериев оценки психодиагностических методикотносят надежность, валидность и репрезентативность. 9.Понятие о репрезентативности тестовых норм. Порядок работы по проверке репрезентативности полученных результатов. 4.1. Зачем нужны тестовые нормы? Любые тестовые заключения прииспользовании статистических тестовых норм являются относительными.Они зависят от той выборки, на которой производилась стандартизациятеста. То, насколько выборка стандартизации позволяет применить тест наширокой популяции, называется репрезентативностью тестовых норм.(Популяция – категория испытуемых определенной социальной, профес- 101 сиональной или половозрастной принадлежности.) Норма теста – среднийдиапазон значений на шкале измеряемого свойства характерный для испы-туемых определенной группы. Их меняют каждые 5 лет. Репрезентативность (от фр. – показательный) тестовых норм – свойст-во выборочной совокупности представлять генеральную совокупность. Репрезентативность означает, что с некоторой наперед заданной илиопределенной статистической погрешностью можно считать, что пред-ставление в выборочной совокупности распределение изучаемых призна-ков соответствует их реальному распределению. Ошибка репрезентативно-сти – различие характеристик выборки и генеральной совокупности. Выборка, на которой определяется статистические тестовые нормы,называется выборкой стандартизации. Ее численность, как правило, неменьше 200 человек. 4.2. В репрезентативности тестовых норм рассматривают следующиепроблемы: 1. Стандартизация шкалы. 2. Статистическая природа тестовых шкал. Как повысить долю посто-янного компонента и сократить долю случайного в величине суммарногобалла по шкале теста. 3. Проблема меры в психометрике. В дифференциальной психометрикеотсутствуют физические эталоны: мы не располагаем индивидами, которыебыли бы постоянными носителями заданной величины измеряемого свой-ства. Роль косвенных эталонов в психометрике выполняют сами тесты. 4. Оценка типа распределения тестовых баллов и проверка устойчиво-сти распределения. Используют следующие параметры: среднее арифме-тическое, среднее квадратическое (стандартное) отклонение, асимметрия,эксцесс, общее неравенство Чебышева, критерий Колмогорова. Общая ло-гика проверки устойчивости распределения основывается на индуктивномрассуждении: если «половинное» (полученное на половине выборки) рас-пределение хорошо моделирует конфигурацию целого распределения, томожно предположить, что это целое распределение будет хорошо модели-ровать распределение генеральной совокупности. Доказательство устойчивости распределения означает доказательстворепрезентативности норм. Традиционный способ доказательства устойчи-вости сводится к выяснению хорошего приближения эмпирического рас- 102 пределения к какому-либо теоретическому (например, нормальному рас-пределению, хотя может быть и любое другое). 5. Тестовые эталоны (или тестовые нормы). 5.1. Сама сырая шкала может иметь практический смысл. 5.2. Стандартизированные шкалы: Шкала IQ, Т-шкала, шкала стэнай-нов (стандартная девятка), шкала стэнов. 5.З. Процентильная шкала. Процентиль – процент испытуемых из вы-борки стандартизации, которые получили равный или более низкий балл,чем балл данного испытуемого. Процентили указывают на относительноеположение индивида в выборке стандартизации. Их можно рассматриватькак ранговые градации, общее число которых равно ста, только (в отличиеот ранжирования) отсчет ведется снизу. Поэтому чем ниже процентиль,тем хуже позиция индивида. Процентили отличаются от процентных пока-зателей. Процентные показатели фиксируют качество выполненных зада-ний. Процентиль – это производный показатель, указывающий на долю отобщего числа членов группы. 5.4. Критериальные нормы. В качестве эталона используется целевойкритерий. Высокую эффективность показывают узкоспециализированныедиагностические методики, нацеленные на очень конкретные и узкие кри-терии. Хорошо зарекомендовали в сфере образования (тесты достижений иКОРТ). 5.5. Социально-психологический норматив. Независим от результатов испытаний и объективно задан. СПН реали-зуется в совокупности заданий, составляющих тест. Следовательно, самтест в полном его объеме и является таким нормативом. Для анализа дан-ных относительно их близости к СПН, рассматривается как 100% -ое вы-полнение теста, испытуемые делятся на 5 подгрупп. Для каждой из под-групп подсчитывается средний процент правильно выполнивших задания.10% – наиболее успешные, 20% – близкие к успешным, 40% – средние,20% – мало успешные, 10% – наименее успешные. 4.3. Стандартизация – это единообразие процедуры проведения иоценки выполнения теста. Стандартизация как выработка единых требова-ний к процедуре эксперимента и как определение единого критерия оценкирезультатов диагностических испытаний. 4.3.1. Стандартизация процедуры эксперимента подразумевает регла-ментацию процедуры, унификацию инструкций, бланков обследования, 103 способов регистрации результатов, условий проведения обследования, ха-рактеристика контингентов испытуемых (указывается область применениятеста). К числу требований, которые необходимо соблюдать при проведе-нии эксперимента относятся такие: инструкции следует сообщать испы-туемым одинаковым образом, как правило, письменно; в случае устныхуказаний они даются в разных группах одними и теми же словами, понят-ными для всех, в одинаковой манере; ни одному испытуемому не следуетдавать никаких преимуществ перед другими; в процессе эксперимента недавать отдельным испытуемым дополнительные пояснения; эксперимент сразными группами следует проводить в одинаковое, по возможности, вре-мя дня, в сходных условиях; временные ограничения в выполнении зада-ний для всех испытуемых должны быть одинаковыми. Обычно авторы методики в руководстве приводят точные и подроб-ные указания по процедуре ее проведения. Формулирование таких указа-ний составляет основную часть стандартизации новой методики, т.к. толь-ко строгое и соблюдение дает возможность сравнить между собой показа-тели, полученные разными испытуемыми. 4.3.2. Во втором случае под стандартизацией понимается преобразо-вание нормальной (или искусственно нормализованной) шкалы оценок вновую шкалу, основанную уже не на количественных эмпирических зна-чениях изучаемого показателя, а на оценке его относительного места враспределении результатов в выборке испытуемых. Первоначальный суммарный балл, подсчитанный с помощью ключа,не является показателем, который можно диагностически интерпретиро-вать. Его называют «сырым тестовым баллом». Для применения тестовыхнорм необходимо перевести тестовые баллы из «сырой» шкалы в «стан-дартную». Эта процедура называется «стандартизация тестового балла». При простейшей линейной стандартизации сначала высчитывается –Z-показатель (стандартный балл по стандартной шкале Z). X–X Z = ------------; Sxгде Z (с центром 0 и отклонением 1), Х – сырой балл по тесту, X – среднийбалл по выборке стандартизации, Sx (о) – стандартное отклонение по вы-борке стандартизации. 104 После получения стандартного балла Z можно перевести тестовый баллв любую стандартную тестовую шкалу, принятую в психодиагностике. Например, перевод в шкалу IQ, производится по формуле: X−X IQ = 100 + 15 ⋅ σ В шкале IQ центр равен 100, а отклонение равно 15. Если перевод требуемся в шкалу «стенов» (от англ. «standart ten» –стандартная десятка), то формула пересчета из шкалы Z выглядит так: X−X S = 5,5 + σ В шкале стенов центр равен 5.5, а отклонение равно 2. Т-шкала Маккола (MMPI) (центр равен 50, отклонение равно 10): X−X T = 50 + 10 ⋅ σ Для серьезных профессиональных тестов вместо простейшей линей-ной стандартизации используется более сложная процедура нелинейнойнормализации (форсированный переход к нормальному распределению). В результате этой, более точной процедуры разработчики снабжаютпользователей теста конверсионной таблицей для перевода сырых баллов встандартные баллы по заданной шкале. В ней приводится полный переченьсоответствий между интервалами сырой шкалы и интервалами стандартной. Таким образом, благодаря стандартизации методики достигается со-поставимость полученных результатов у разных испытуемых, появляетсявозможность выражения тестовых оценок в относительных к выборкестандартизации показателях, сопоставления таких оценок в разных тесто-вых методиках.10.Понятие валидности в психодиагностике. Основные типы валидности. Деятельность психолога по проверке валидности теста. Все методы психологической диагностики, начиная со стандартизованных и заканчивая нестандартизованными, направлены на измерение свойств личности и особенностей интеллекта.
Каждый метод предназначен для измерения какого-либо свойства, что и определяет содержание этого метода. Сведения о степени, в которой тест действительно измеряет то, для чего он предназначен, входят в понятие валидности. Например, методика "Кольца Ландольта" предназначена для измерения таких свойств внимания, как концентрация, переключаемость. В психологии существуют определения понятий концентрации внимания и его переключаемости. Считается, что выводы, сформулированные на основании результатов тестирования с помощью "Колец Ландольта", вполне отражают содержание определений этих свойств внимания. Значит, эта методика действительно измеряет то, для чего она предназначена.
Помимо общего значения в понятие валидности входят многие другие сведения. Существуют разные типы и виды валидности, в которых отражены эти сведения. Ниже приведены некоторые типы.
Практическая валидность характеризует тест не столько со стороны его психологического содержания, сколько с точки зрения его ценности в отношении достижения определенной практической цели (прогнозирования, диагностики). Выделяют подтипы практической валидности: прогностическая и совпадающая.
Тест с высокой прогностической валидностью позволяет сделать прогноз, насколько успешно испытуемый будет выполнять определенную деятельность впоследствии. Тест с высокой совпадающей валидностью позволяет ответить на вопрос: "Какова вероятность того, что индивид Х обладает свойством У в настоящий момент времени?"
Валидность по объему отражает степень, в какой объем теста выборочно репрезентирует тот класс ситуаций или учебного материала, относительно которого должны быть сделаны выводы. Валидность по объему показывает, в каком объеме, в какой мере психическое свойство отражено в методике.
Оценочная валидность выражает степень корреляции (соответствия) между показателями, полученными испытуемыми по данному методу, и оценками измерительного свойства со стороны экспертов. Например, при валидации (проверке теста на валидность) тестов оценки умственных способностей школьников в качестве экспертов обычно выступают учителя.
Внешняя валидность означает, что впечатление, которое создается у неспециалистов при знакомстве со стимульным материалом и сугубо внешней стороной тестирования, соответствует заявленному содержанию метода. Эффективная методика может быть создана, если она прошла все этапы валидации, то есть когда приняты меры для придания ей как содержательной валидности (см. общее значение понятия валидности выше), так и практической.
11.Понятие надежности и достоверности. Типы надежности и порядок действий по проверке надежности. Надежность [13]
О высокой надежности метода говорят в том случае, когда метод точно измеряет то свойство, для измерения которого он предназначен. В качестве критериев точности можно отметить следующие:
При повторном применении метода к тем же самым испытуемым в одних и тех же условиях через определенный интервал времени результаты обоих тестирований существенно не различаются между собой.
Действия случайных посторонних факторов не оказывают существенного влияния на результаты тестирования. В качестве посторонних факторов можно назвать следующие: эмоциональное состояние и утомление, если они не входят в круг исследуемых характеристик, температура, освещенность помещения и др. Такие посторонние случайные факторы еще называют факторами нестабильности измерительной процедуры.
При повторном применении метода к тем же самым испытуемым через определенный интервал времени в измененных условиях результаты обоих тестирований существенно не различаются между собой. Под измененными имеется в виду следующие условия: другой экспериментатор, состояние респондента и др. Существуют различные методы оценки надежности:
Ретестовый метод - повторное тестирование выборки испытуемых одним и тем же тестом через определенный интервал времени при одних и тех же условиях. Временной интервал зависит от возраста (например, у маленьких детей изменения могут произойти в течение одного месяца), а также событий, происходящих с испытуемым в жизни. ТЕСТ -> ИНТЕРВАЛ -> РЕТЕСТ
За индекс надежности принимается коэффициент корреляции между результатами двух тестирований. Полученная высокая корреляция может быть результатом тренированности испытуемого на заданиях подобного типа; низкая корреляция может быть результатом происшедших изменений с испытуемым, а также может свидетельствовать о ненадежности теста.
Надежность взаимозаменяемых форм - повторное тестирование выборки испытуемых параллельной формой теста через минимальный интервал времени при одних и тех же условиях.
ТЕСТ А -> ИНТЕРВАЛ -> ТЕСТ А'
За индекс надежности принимается коэффициент корреляции между результатами тестирования двумя параллельными формами теста. Высокий коэффициент корреляции и большой интервал между двумя испытаниями свидетельствуют о высокой надежности теста. Возможный обман со стороны испытуемого, его искушенность, события, происшедшие в интервале между тестированиями, не оказывают особого влияния (как в ретестовом методе) на степень надежности теста. Если фактор тренировки снижен при тестировании параллельными формами, то эффект переноса принципа заданий часто имеет место. Эффект переноса следует учитывать при построении параллельных форм. Требования к построению параллельных форм:
параллельные формы должны быть независимо построенными тестами, но отвечать одним и тем же требованиям; должны содержать одинаковое количество заданий со сходной степенью трудности; эквивалентность параллельных форм необходимо проверять ретестовым методом. Метод расщепления состоит в том, что тест разбивают на две сопоставимые части. Респондент выполняет задания этих двух частей в течение одного сеанса с получением двух результатов (например, тест Равена содержит две части: четные и нечетные задания).
За индекс надежности принимается коэффициент корреляции между результатами тестирования двумя этими частями. Он называется коэффициентом внутренней согласованности теста.
Валидность и надежность. Тест может быть надежен, но не валиден. Это означает, что он измеряет какое-то свойство очень точно, но какое именно - остается под вопросом. В такой ситуации необходима более точная валидизация теста, как содержательная, так и практическая.
12.Нормативные требования к психодиагностической литературе и методическим материалам ТРЕБОВАНИЯ К ПСИХОДИАГНОСТИЧЕСКОЙ ЛИТЕРАТУРЕ И МЕТОДИЧЕСКИМ МАТЕРИАЛАМ
Разработчик и пользователь методик взаимодействуют между собой прежде всего посредством методической литературы. Стандартные требования к оформлению руководств, методических указаний, писем и другой методической литературы приняты в качестве директивных документов обществами психологов целого ряда стран.
Целесообразно различать круг требований к документам разного типа: 1) к исследовательской литературе, публикуемой в научных журналах, сборниках и монографиях, 2) к обзорно-аналитическим руководствам и справочным изданиям, освещающим процедурные и количественные, а также содержательно-теоретические аспекты какой-либо методики или какого-либо класса методик, 3) к «подручным» методическим материалам, непосредственно инструктирующем пользователя о применении методики и содержащим стимульный материал, инструкции, тексты, задания, ключи, нормы, правила и интерпретации, 4) к популярным изданиям, освещающим психодиагностические методики и понятия.
1. Научные сообщения. Должны освещать: теоретические основания методики (концепт и методический прием), способ разработки и эмпирического обоснования, исследовательские данные о репрезентативности, надежности, валидности шкалы, тестовых показателей (коэффициенты корреляций, регрессионный и факторный вес). Для читателей в научном сообщении могут быть даны образцы, отдельные примеры тестовых заданий, позволяющие проиллюстрировать принципы, на которых построена методика. В научных сообщениях не должны освещаться: для методик с профессиональными ограничениями (П-методик) — полный текст заданий, ключи, тестовые нормы, детальные инструкции по проведению и интерпретации. Обо всей этой информации автор научного сообщения должен говорить лишь косвенно, используя ссылки на распространяемую с грифом «ДСП» инструктивную литературу. В научном сообщении могут быть приведены исчерпывающие описания методик, знание которых непрофессионалами
(и их возможное применение непрофессионалами) не может принести ущерба конкретным людям или психодиагностическому потенциалу самой методики. Этот класс методик предлагается условно обозначать термином «открытые методики» (О-методики).
Автор научного сообщения имеет право определить статус разработанной им методики как «открытой», но любые модификации или адаптации методики, уже определенной как «профессиональная» П-методика, должны освещаться в научных сообщениях в соответствии с указанными требованиями.
Во избежание опасности невольного разглашения профессиональных тайн автор О-методики должен получить санкцию на опубликование своей методики у соответствующего экспертного совета.
2. Справочно-методические издания. В этих изданиях могут быть приведены инструктивные материалы, включая текст заданий (вопросов), ключи, нормы, но при одном принципиальном условии — изданию придается статус «для научных библиотек», обеспечивающий ему распространение среди читателей, имеющих необходимую психологическую подготовку. Авторский коллектив такого издания лично отвечает перед Обществом психологов СССР за распространение тиража этого издания по назначению.
3. Инструктивные документы. Содержат описание методики, обеспечивающее ее адекватное использование в точном соответствии со стандартами: предмет диагностики, сфера применения, контингент испытуемых, процедура применения Описание обязательно должно снабжаться подробными сведениями о процедуре разработки методики, полученных при этом сведениях о надежности и валидности. Приведенные тестовые нормы должны сопровождаться однозначным описанием выборки стандартизации и характера диагностической ситуации в обследовании: добровольное участие испытуемых, бескорыстно сотрудничающих с психологом в целях помощи исследованию («научное сотрудничество»), участие платных испытуемых («платное участие»), использование методики в ходе запроса испытуемого на получение консультативной помощи («ситуация клиента»), использование методики в ходе принудительного (сплошного) административного обследования («ситуации экспертизы»).
Справочные издания и инструктивные материалы должны периодически (с определенным интервалом, зависящим от типа методики) пересматриваться, так как условия применения методик со временем неизбежно меняются, а следовательно, меняются и психометрические свойства.
В справочных и инструктивных материалах должны быть однозначно сформулированы требования к профессиональному статусу пользователя методики.
Инструктивные материалы должны пройти объективные испытания на однозначность указанных в них предписаний: пробная выборка пользователей методики (теста) должна прислать автору руководства копии протоколов по результатам обследования, на основании которых автор должен обеспечить идентичность стандартов авторского варианта методики и тех характеристик методики, которые выявляются при ее использовании пользователями. Последнее требование имеет принципиальное значение для методик, предполагающих значительное участие экспертной оценки (инструкции к контент-анализу, к интерпретации результатов проективной техники, полустандартизованного интервью и т.п.)
Процедуры подсчета тестовых баллов и интерпретации должны быть также описаны с однозначной ясностью, позволяющей получать идентичные результаты при обработке одинаковых протоколов разными пользователями руководства.
Предпочтительно включение и использование пользователями тестов локальных тестовых норм (по сравнению с неспециализированными по популяции).
4. В популярных изданиях авторы-психологи не имеют права разглашать профессиональную тайну: описывать смысл диагностических приемов, знание которых испытуемыми существенно вредит валидности методики.
Одной из важнейших обязанностей всех органов Общества психологов СССР (президиума, координационных комиссий, экспертных советов, секций и т.п.) является контроль за деятельностью средств массовой информации в целях соблюдения профессиональных тайн психодиагностических методик.