Лекция № 4. Требования к ПД методикам.
4.1.Общие требования к профессиональным психодиагностическим методикам.
В настоящее время созданы и практически используются множество психодиагностических методов. В начале ХХ в. в психодиагностике как науке были признаны и приняты требования, предъявляемые к наиболее развитым современным наукам, например физике. Это требования операционализации и верификации.
Операционализация – предполагает указания на практические действия или операции, которые может выполнить любой исследователь, чтобы убедиться в том, что определенное в понятии явление обладает именно теми свойствами, которые ему приписываются.
Верификация – т. е. всякое новое понятие, вводимое в научный оборот и претендующее на научность, должно пройти проверку на его непустоту, т. е. на реальность существования явления, определяемого этим понятием.
Стандартизация
Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована. Стандартизация — это единообразие процедуры проведения и оценки выполнения теста. Рассматривается она в двух планах:
· как выработка единых требований к процедуре эксперимента;
· как определение единого критерия оценки результатов диагностических испытаний.
Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.
К числу требований, которые необходимо соблюдать при проведении эксперимента, можно, например, отнести такие:
1) инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;
2) ни одному испытуемому не следует давать никаких преимуществ перед другими;
3) в процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;
4) эксперимент с разными группами следует проводить в одинаковое, по возможности, время дня, в сходных условиях;
5) временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и т. д.
Обычно авторы методики в руководстве приводят точные и подробные указания по процедуре ее проведения. Формулирование таких указаний составляет основную часть стандартизации новой методики, так как только строгое их соблюдение дает возможность сравнить между собой показатели, полученные разными испытуемыми.
Другим наиболее важным этапом в стандартизации методики является выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний. В традиционном тестировании это так называемая статистическая норма (тестовые нормы).
В общих чертах стандартизация диагностической методики, ориентированной на норму, осуществляется путем ее проведения на большой представительной выборке испытуемых, которая ничем не отличается от той, для которой данная методика предназначена. На этой группе испытуемых, называемой выборкой стандартизации, разрабатываются нормы, указывающие не только средний уровень выполнения, но и его относительную вариативность выше и ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в выполнении диагностической пробы. Это позволяет определить положение конкретного испытуемого относительно выборки стандартизации
Для вычисления статистической нормы используются методы математической статистики.
Надёжность.
В традиционной тестологии термин «надежность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.
Надежность теста - его помехоустойчивость, независимость его результата от воздействия случайных факторов: информационно-социальных обстоятельств, психического состояния обследуемого лица, физических условий обследования. Даже высоконадежные тесты подвержены некоторому влиянию этих факторов, имеют определенную "стандартную ошибку измерения" (Se), которая выявляется специальными корреляционными методами, сравнением результата применения теста при первом и последующем тестировании. Показатель надежности теста (R) должен быть достаточно высоким (0,8 - 0,9). Сам показатель надежности теста применим только к стабильным психическим свойствам индивида. Такие динамические характеристики, как установки личности, исследуются более сложными методами.
Степень надежности методик зависит от многих причин. Поэтому важной проблемой практической диагностики является выяснение факторов, снижающих точность измерений. Была сделана попытка составить классификацию таких факторов. Среди них наиболее часто называются следующие:
1) нестабильность диагностируемого свойства;
2) несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечетко сформулированы указания, как методику предъявлять испытуемым, и т. д.);
3) меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещенность помещения, наличие или отсутствие посторонних шумов и т. д.);
4) различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т. д.);
5) колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом — утомление и т. д.);
6) элементы субъективности в способах оценки и интерпретации результатов (когда ведется протоколирование ответов испытуемых, оцениваются ответы по степени полноты, оригинальности и т. п.).
Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерений, то можно добиться приемлемого уровня надежности теста.
Одним из важнейших средств повышения надежности психодиагностической методики является единообразие процедуры обследования, его строгая регламентация: одинаковые для обследуемой выборки испытуемых обстановка и условия работы, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми, порядок предъявления заданий и т. д. При такой стандартизации процедуры исследования можно существенно уменьшить влияние посторонних случайных факторов на результаты теста и таким образом повысить их надежность.
Краткий конспект:
Надежность (в широком смысле) – показатель того, в какой степени выявленные у испытуемых различия по тестовым результатам является отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным событиям или ошибкам.
Надежность – показатель того, насколько малы или велики воздействия побочных случайных факторов («дисперсии ошибки»)
Ретестовая надежность – надежность, которую получают путем повторного проведения тестирования. Интервал (маленькие дети) времени от 1 недели до 1 месяца; у взрослых – 1—несколько месяцев---год. Используется с методиками, на результат которых не влияет повторное тестирование.
Надежность параллельных форм получают путём сравнения результатов между двумя формами одного и того же теста (методики).
Надежность, получаемая методом расщепления – получают путем раздела однократного применения теста, разделенного на две равные части (матрицы Раввена коэффициент надежности между 1й и 2й частями теста)
Надежность, получаемая методом Кьюдера-Ричардсона – получают путём согласованности (однородности) ответов испытуемых по всем заданиям теста при однократном тестировании.
На согласованность влияют два источника дисперсии ошибки:
1.Объем содержания теста.
2.Неоднородность исследуемой области поведения
Надежность, получаемая методом субъективных оценок – на основе оценок экспертов, подсчитывающих тестовые показатели (например, в тестах творческих способностей, проективных методиках и т.д. Коэффициент надежности – корреляция между оценками экспертов.
ВЫВОД: любой коэффициент надежности можно представить как % дисперсии показателей (например, R=0,85 - показывает, что 85% дисперсии – разброса данных – зависят от истинной дисперсии, а 15% - от дисперсии ошибки). В ПД методика является надежной, если ее коэффициент =0,65 и >.
Валидность.
Вопрос о валидности представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: “ Валидность теста – понятие, указывающее нам, ЧТО тест измеряет и насколько хорошо он это делает ” (1982. С. 126). Валидность – это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность.
Валидность — как элемент достоверности психодиагностического измерения свойств субъекта есть мера соответствия тестовых оценок представлениям о сущности свойств или их роли в той или иной деятельности человека.
Валидность выражает практическую полезность теста, его диагностическую и прогностическую силу и возможность его использования в определенных целях.
Не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.
Типы валидности: внешняя валидность и внутренняя валидность.
Внешняя валидность — мера возможности распространения результатов тестирования на генеральную совокупность. Внешняя валидизация осуществляется путем отработки репрезентативности экспериментальной выборки при отработке теста и перекрестной валидизации, то есть определения валидности теста на выборке, отличающейся от той, на которой отрабатывался стимульный материал и задания к тесту.
Репрезентативность выборки — представительность экспериментальной выборки, которая отражает основные свойства генеральной совокупности. Репрезентативность определяется путем сопоставления качественных и количественных характеристик экспериментальной выборки с характеристиками исследуемой популяции с целью определить их однородность.
Внутренняя валидность (англ. internal validity) — вид валидности, степень влияния независимой переменной на зависимую переменную. Внутренняя валидность тем выше, чем больше вероятность того, что изменение зависимой переменной вызвано изменением именно независимой переменной (а не чего-либо ещё). Данное понятие можно рассматривать как междисциплинарное: оно широко применяется в экспериментальной психологии, а также в других сферах науки. Исследование, обладающее внутренней валидностью, дает основания утверждать: результаты, полученные измерением зависимой переменой, непосредственно связаны с независимой переменной, а не с каким-нибудь другим неконтролируемым фактором.
При любом психологическом эксперименте учёный может лишь максимально (но не абсолютно) удалить или минимизировать разнообразные факторы, угрожающие внутренней валидности. Какие факторы чаще других снижают внутреннюю валидность при проведении психологических экспериментов? В первую очередь это изменение во времени (зависимость субъектов и окружающей среды от времени суток, времён года, изменений в самом человеке — старение, усталость и рассеивание внимания при длительных исследованиях, изменение мотивированности испытуемых и экспериментатора и т. д., сюда же естественное развитие живых существ. Сюда же относят ряд типовых эффектов:
· Эффект последовательности - влияние одного из условий эксперимента на следующее за ним. Например, это послевкусие при дегустации; обучение испытуемого в ходе эксперимента; адаптация испытуемого к условиям эксперимента и др.
· Эффект Розенталя (эффект Пигмалиона) - ожидания личностью реализации пророчества во многом определяют характер её действий и интерпретацию реакций окружающих, что и провоцирует самоосуществление пророчества. В опытах по проверке паранормальных явлений, как правило, положительные результаты получают сторонники парапсихологии, а отрицательные — противники.
· Эффект Хоторна - условия, в которых новизна, интерес к эксперименту или повышенное внимание к данному вопросу приводят к искажённому, зачастую слишком благоприятному результату. Участники эксперимента действуют иначе, более усердно, чем обычно, только благодаря осознанию того, что они причастны к эксперименту.
· Эффект плацебо - действия внушения: под влиянием внушения человек будет верить в силу таблетки, хотя таблетка не содержит ничего...
· Эффект аудитории (эффект Зайонца, эффект фасилитации) — влияние постороннего присутствия на поведение человека. Примеры этого эффекта: мужчина пытается показать себя в лучшем свете перед женщиной (и наоборот); в присутствии посторонних человек может переживать сильные эмоции, волноваться, смущаться и т. д.; поведение и мысли человека наедине с собой и в компании зачастую разительно отличаются...
· Эффект первого впечатления - влияние мнения о человеке, которое сформировалось у субъекта в первые минуты при первой встрече, на дальнейшую оценку деятельности и личности этого человека.
· Эффект Барнума - люди склонны принимать на свой счет общие, расплывчатые, банальные утверждения, если ему говорят, что они получены в результате изучения каких-то непонятных ему факторов.
· Сопутствующее смешение - на зависимую переменную обычно влияют различные нерелевантные стимулы, от которых принципиально невозможно избавиться. Например, при исследовании влияния на поведение животных различных участков головного мозга сам факт перенесения операции по удалению соответствующего участка может изменить поведение подопытного животного.
На внутреннюю валидность влияют и факторы выборки, в том числе:
- Неправильная селекция (неэквивалентность групп по составу, вызывающая систематическую ошибку в результатах)
- Статистическая регрессия
- Экспериментальный отсев (неравномерное выбывание испытуемых из сравниваемых групп, приводящее к неэквивалентности групп по составу)
- Естественное развитие (общее свойство живых существ к изменению; ср. онтогенез) и др.
Виды валидности:
· Содержательная – прямое соответствие содержания тестовых заданий измеряемому свойству или черте
· Критериальная – показывает, насколько по результатам теста можно судить об интересующем нас аспекте поведения испытуемого в настоящем или будущем.Для этого надо результаты теста соотнести с критерием, т.е. мерой того, что должен предсказать тест.
Критериальная валидность подразделяется на:
· -текущая: установление соответствия результатов теста независимому критерию, который отражает состояние исследуемого тестом качества в момент проведения тестирования
· - прогностическая в.: информация о тесте, которая характеризует степень точности и обоснованности суждения о тестируемом психологическом качестве по его результату спустя определенное время после тестирования.
При определении валидности теста необходимо, чтобы результаты теста не сказывались на критериальном поведении испытуемых, с которыми потом будут сопоставляться результаты тестов. Для этого результаты тестов содержатся в тайне, пока не будут получены критериальные данные.
Критерии: Успеваемость, Последующее выполнение реальной деятельности, Данные врачебного диагноза
Субъективные оценки, Корреляции между новым и уже имеющимся тестом
Тестовые нормы.
Нормы тестовые - количественные и(или) качественные критерии оценки результатов теста, позволяющие определить уровень достижений или степень выраженности психологических свойств, которые являются объектами измерения. В качестве таких критериев выступают статистические показатели выборки стандартизации, а также различные признаки-симптомы, свидетельствующие о том или ином уровне выраженности диагностируемых качеств.
В психологической диагностике наиболее распространены количественные тестовые нормы, полученные на основании определения средних величин и дисперсии в выборке стандартизации. Рассчитанные для нормативной выборки х среднее и дисперсия являются основой для разработки шкальных оценок теста. Количественные тестовые нормы, упорядоченные в шкалы на основе процедур z-преобразования, содержатся в специальных таблицах, прилагаемых к руководствам по проведению тестирования. В этом виде тестовые нормы позволяют установить относительное место каждого конкретного результата по сравнению с выборочными данными, выраженными в долях дисперсии. Такие количественные тестовые нормы наиболее типичны для тестов интеллекта, опросников личностных и др. В проективных техниках, в силу известных затруднений, возникающих при формализации оценок первичных, вследствие сложности учитываемых диагностических показателей, количественные тестовые нормы не столь распространены.
Одна и та же психодиагностическая методика может иметь количественные и качественные тестовые нормы, взаимодополняющие и обогащающие интерпретацию результатов. Тестовые нормы обычно рассчитываются раздельно для каждой возрастной группы испытуемых, что является практически обязательным условием для тестов общих способностей. Закономерное изменение нормативных показателей здесь служит своеобразным критерием валидности теста. В методиках, применяющихся в клинической психодиагностике, иногда разрабатываются разные тестовые нормы для отдельных контингентов больных (например, для детей с отклонениями в умственном развитии и нормальных). Реже встречается дифференциация норм в зависимости от пола, профессиональных особенностей, уровня образования и т.д.
Наиболее сложным аспектом определения тестовых норм является отбор и комплектация выборки нормирования. Выборка должна соответствовать по своему объему назначению методики. Чем более генерализованной по области применения теста является методика, тем большим должно быть число испытуемых в нормативной выборке. Большое внимание должно при этом уделяться обеспечению репрезентативности выборки по отношению к обследуемой тестом популяции. При одинаковых объемах стратифицированная (т.е. уравновешенная по основным критериям с совокупностью генеральной) выборка более эффективна, чем случайная (рандомизированная). Наиболее частыми критериями стратификации являются: социальное положение, регион проживания, возраст, пол, материальный и образовательный уровень. Ряд психодиагностических методик требует периодического (один раз в 5-7 лет) пересмотра норм в связи с их «старением».
Виды психодиагностических норм:
Школьные нормы - разрабатываются на основе тестов школьных достижений или тестов школьных способностей. Они устанавливаются для каждой школьной ступени и действуют на всей территории страны.
Профессиональные нормы - устанавливаются на основе тестов для разных профессиональных групп, например: механиков разного профиля или машинисток.
Локальные нормы - устанавливаются и применяются для узкой категории людей отличающихся наличием общего признака, например возраста или пола, географического района, национальности, экономического статуса.
Национальные нормы разрабатываются для представителей данной народности, нации, страны в целом. Необходимость таких норм определяется конкретной культурой, моральными требованиями и традициями каждой нации.
Тестовые нормы получаются путем обследования испытуемых. Наиболее точно можно получить нормы путем испытания всей генеральной совокупности, для которой создан данный тест, однако такое обследование практически невозможно, к тому же это приводит к потере смысла дальнейшего использования теста. В связи с этим нормирование теста производиться на ограниченной части генеральной совокупности, которая называется выборкой стандартизации. Эта выборка должна быть репрезентативной, по отношению к генеральной совокупности, для этого выборка должна удовлетворять следующим условиям:
1. она должна быть достаточной по величине, эта величина должна быть не менее 200 испытуемых
2. она должна быть репрезентативной по составу, т.е. различные слои, составляющие генеральную совокупность, должны быть пропорционально представлены в выборке
3. распределение частот суммированных баллов по тесту в выборке должно быть таким же, как и в генеральной совокупности. Обычно это распределение имеет нормальную форму, поэтому для проверки репрезентативности по данному пункту необходимо проверить распределение частот суммарных баллов выборки на нормативность.
Для того чтобы выборка была репрезентативной она не только должна соответствовать генеральной совокупности по составу, но еще должна быть создана случайным образом.
В этом случае при достаточном объеме выборки распределение получается нормальным.
После того как создана выборка стандартизации производиться ее обследование с помощью нормированного теста, по полученным данным вычисляется среднее арифметическое суммарных баллов (
) и стандартное отклонение (Sх)
= 
n – число выборки стандартизации
xi - суммарный балл
Назовем среднюю арифметическую х, а стандартное отклонение σ (сигма малая). При нормальном распределении все изучаемые величины практически находятся в пределах х + 5 σ.
Рассмотрим как определялась статистическая норма для тестов Стэн-форд-Бине. В группу испытуемых входили 4498 человек от 2,5 до 18 лет. Усилия стэнфордских психологов были направлены на то, чтобы распределение полученных по каждому возрасту данных о выполнении тестов было близко к нормальному. Этого результата удалось добиться далеко не сразу; в некоторых случаях ученым приходилось заменять одни задания другими. В конце концов эта работа была закончена, и были подготовлены тесты по каждому возрасту со средней арифметической, равной 100, и со стандартным отклонением, равным 16. Принимается, что результаты в пределах х ± σ показывают границы наиболее характерной, представительной части распределения, границы нормы для данного возраста. При σ = 16 и х = 100 эти границы нормы будут от 84 до 116. Интерпретируется это так: результаты испытуемых, которые не выходят за эти границы, находятся в пределах нормы. Те, чьи результаты менее 84, находятся ниже нормы, а те, чьи результаты более 116, — выше нормы. Нередко этот же прием применяют и для дальнейшей классификации. Тогда результаты в пределах от х - σ до х - 2 σ интерпретируются как «несколько ниже нормы», а от х - 2 σ до х - З σ — как «значительно ниже нормы». Соответственно классифицируются результаты, находящиеся выше нормы.