Обзор обычных источников ошибок
В табл. G.5.1 приводятся обычные источники ошибок в исследованиях мероприятий по повышению безопасности дорожного движения. Под источниками ошибок понимаются все факторы, которые уменьшают действительность результатов исследования и которые могут создать ложное влияние мероприятия по повышению безопасности дорожного движения или замаскировать реальное влияние. Список источников ошибок является неполным, однако, он охватывает наиболее встречающиеся источники ошибок в исследованиях влияний мероприятий по повышению безопасности дорожного движения. Источники ошибок в табл. G.5.1 сгруппированы исходя из того, к каким требованиям действительности они, прежде всего, относятся. Это сделано для того, чтобы облегчить сохранение в памяти обзора источников ошибок.
Таблица G.5.1. Общие источники ошибок в исследованиях о влиянии мероприятий по повышению безопасности дорожного движения
| Наименование источника ошибок | Значение для результатов исследования |
| 1. ИСТОЧНИКИ ОШИБОК, КОТОРЫЕ СНИЖАЮТ СТАТИСТИЧЕСКУЮ ДЕЙСТВИТЕЛЬНОСТЬ | |
| 1.1. Случайное изменение количества происшествий | Рассчитанное влияние мероприятия будет ненадежным и часто статистически ненадежным. Нейтральный знак |
| 1.2. Случайная погрешность измерения | Рассчитанное влияние переменных, содержащее случайные погрешности измерения, будет более неточным, чем если бы погрешностей не было. Нейтральный знак |
| 1.3. Систематические ошибки измерения (например, недостаточная регистрация происшествий) | Неполная регистрация происшествий является систематической погрешностью измерения во всех исследованиях, которые строятся на данных регистров происшествий, неполноту которых нельзя предполагать |
| 1.4. Нечеткий метод выборки | Делает невозможным определения, является ли выборка представительной и какой ряд она представляет. Проблема обобщения |
| 1.5. Неправильная выборка | Делает невозможным обобщение результатов сверх выборки, к которой они относятся |
| 2. ИСТОЧНИКИ ОШИБОК, СОКРАЩАЮЩИХ ТЕОРЕТИЧЕСКУЮ ДЕЙСТВИТЕЛЬНОСТЬ | |
| 2.1. Неясный общий механизм влияния | Не ясно, влияет ли мера на интенсивность движения, распределение транспорта, риск происшествий или риск ранений, или комбинацию этих механизмов. Проблемы толкования результатов и знания о том, контролируются ли "правильные" контрольные переменные. Нейтральный знак |
| 2.2. Не ясно, на какие факторы риска влияет мера | Невозможно исследовать, имеется ли взаимосвязь между величиной изменения факторов риска и величиной изменения количества происшествий |
| 2.3. Не ясно, на какие типы происшествий влияет мера | Невозможно определить соответствующие типы происшествий, чтобы определить влияние мероприятия. Трудно найти подходящую контрольную группу. Нейтральный знак |
| 2.4. Неясное описание мероприятия | Трудно узнать, влияние какого мероприятия измеряется. Делает трудным обобщение результатов и их сочетание с другими исследованиями |
| 2.5. Неясный уровень эффективного измерения | Недостаточная спецификация того, что измеряется отдельные или совместные влияния, затрудняет толкование и сопоставление с другими исследованиями |
| 3. ИСТОЧНИКИ ОШИБОК, СНИЖАЮЩИЕ ВНУТРЕННЮЮ ДЕЙСТВИТЕЛЬНОСТЬ | |
| 3.1. Эффект регрессии в количестве происшествий | Снижение случайного высокого количества происшествий и увеличение случайного низкого. Недостаточный контроль за эффектом регрессии в большинстве случаев приводит к переоценке влияния мероприятия на происшествия |
| 3.2. Конкретные события | Например, может быть так, что одновременно вводятся другие мероприятия или другие события, которые, как можно предположить, влияют на количество происшествий. Нейтральный знак |
| 3.3. Общее развитие происшествий | Общее развитие происшествий в обществе является чистым результатом всех факторов, влияющих на количество происшествий, недостаточный контроль за общим развитием происшествий может привести к переоценке влияния мероприятия в периоды с общим снижением происшествий, недооценки в периоды общего увеличения происшествий. |
| 3.4. Миграция происшествий | Введение мероприятия в одном месте в группе мест означает, что происшествия смещаются или переносятся в другие места или группы. Недостаточный контроль за миграцией происшествий означает всегда переоценку влияния мероприятия. Имеет взаимосвязь с неясной спецификацией механизмов влияния (п. 2.1 выше) |
| 3.5. Асимметричный самовыбор | Лица или единицы, добровольно выбравшие применение мероприятия, часто отличаются систематически от людей или единиц, которые выбрали вариант не применять мероприятия. Недостаточный контроль за неправильным самовыбором почти всегда приводит к переоценке влияния мероприятия на происшествия или тяжесть ранений. |
| 3.6. Двусмысленное направление причины | Отдельная мера может иметь обратное влияние, что затрудняет точное определение их влияния. Может привести к недооценке влияний мероприятия. |
| 3.7. Ошибочная спецификация моделей | Если мультивариантная модель определена как ошибочная, результаты будут иметь систематическую ошибку, например, изза исключенных или слишком грубо разделенных контрольных переменных или неправильной формы функционирования. |
| 3.8. Недостаточное согласование | В исследованиях, в которых единицы согласованы, непреднамеренный выбор переменных согласования может ввести систематические ошибки в результаты. Нейтральный знак. |
| 3.9. Эффекты прибора - эффекты регистрации | Эффекты, возникающие в результате измерения величин. Например, внимание может возрасти, когда известно, что оно измеряется. Увеличенный контроль полиции может привести к тому, что полиция узнает о большем количестве происшествий (возросшая степень регистрации). Нейтральный знак. |
| 3.10. Эффекты эксперимента | Проведение эксперимента создает эффекты, которые связаны с экспериментом, а не с мерой, с которой проводится эксперимент. |
| 4. ИСТОЧНИКИ ОШИБОК, СНИЖАЮЩИЕ ВНЕШНЮЮ ДЕЙСТВИТЕЛЬНОСТЬ | |
| 4.1. Специфические эффекты по контексту | Если имеются эффекты, являющиеся специфическими для контекста исследования, результаты нельзя обобщать с другими контекстами. |
| 4.2. Методологический плюрализм | Применение различных методик в различных исследованиях по одной и той же мере может затруднить сравнение результатов. |
Первые два источника ошибок [1.1) случайное изменение количества происшествий и 1.2) случайные погрешности измерения основных данных] встречаются во всех исследованиях и являются независимыми от применявшейся методики исследования. Первый из этих источников ошибок можно уменьшить путем увеличения величины выборки, т.е. исследовать большее количество происшествий. Напротив, встречающиеся погрешности измерений следует предположить приближающимися к независимым от величины выборки.
|
|
|
|
|
|
Систематические погрешности измерений (1.3), в особенности в недостаточной или ненадежной регистрации происшествий, также приближаются к независимым от методики исследования. Значение этого источника ошибок можно уменьшить, создав специальные правила регистрации происшествий, приспособленные к потребностям отдельного исследования.
Если существуют рамки выборки, представительную выборку можно вывести и тем самым избежать проблемы с неясными критериями выборки (1.4) или асимметричные выборки (1.5). Для водителей транспортных средств в большинстве западных стран с высоким уровнем автомобилизации имеются подробные общественные регистры, дающие основание для вывода статистически представительных выборок. Для мероприятия по повышению безопасности дорожного движения на сети дорог проблемы выборки больше. Для таких мероприятий часто не бывает полных регистров. Поэтому единицы, которые исследуются, не могут выбираться таким образом, чтобы обеспечить статистическую представительность. Статистическую представительность выборки мест на сети дорог, где исследуется мера по повышению безопасности дорожного движения, часто нельзя оценить. Проблемы с неясными критериями выборки или асимметричными выборками не связаны с определенными методиками исследований; следует предположить, что они встречаются реже в экспериментах, чем в неэкспериментальных исследованиях.
Источники ошибок, относящиеся к теоретической действительности, прежде всего имеют значение для возможности подробно раскрыть механизм причины, который объясняет, почему мера влияет или не влияет согласно назначению. Эти источники ошибок имеют меньшее значение для основания причинных выводов. Ни один из источников ошибок, приведенных в табл. G.5.1, специально не связан с определенными методиками исследований. Неясность относительно того, на какие типы происшествий влияет мера (2.3), может иметь решающее значение для толкования исследований "до" и "после" с так называемым внутренним контролем происшествий. Например, обычным методом изучения влияний дорожного движения является применение происшествий в дневное время в качестве контрольной группы и происшествий в темное время суток - в качестве опытной группы. Такой способ верен только в том случае, если дорожное освещение не влияет на происшествия в дневное время. Если не ясно, на какие типы происшествий влияет мера, нельзя применять определенный тип происшествия в качестве контрольной группы в исследованиях "до" и "после".
Источники, относящиеся к внутренней действительности, охватывают различные формы недостаточного контроля третьих переменных, имеющих значение для возможности делать причинные выводы. Три источника ошибок (3.1-3.3) являются особо актуальными в исследованиях "до" и "после", по-скольку все они связаны с изменениями количества происшествий во времени. Поэтому в каждом исследовании "до" и "после" должен осуществляться контроль всех этих источников ошибок, чтобы можно было сказать, что мероприятие является причиной изменений количества происшествий. Это же самое относится и к анализам временных промежутков, в которых дополнительно появляются автокорреляции и сезонные изменения временного промежутка в качестве возможных источников ошибок (эти два источника ошибок не представлены в табл. G.5.1).
Миграция происшествий (3.4) может представлять источники ошибок как в исследованиях "до" и "после", так и в поперечных исследованиях (с исследованиями и без них и мультивариантных анализов). Этот возможный источник ошибок не изучен основательно в методической литературе, как другие источники, опасные для внутренней действительности. Не разработаны также хорошие методики для определения и возможного контроля миграции происшествий. Возможным решением является то, чтобы группа происшествий, которая как предполагается, перемещается внутрь, входила в опытную группу в дополнении к той или тем группам происшествий, которые, как предполагается, перемещаются извне. Изменения количества происшествий в такой определенной опытной группе покажут чистые влияния после осуществления миграции. Важно, чтобы группа, связанная с миграцией происшествий, не входила в контрольную группу.
Асимметричность самовыбора (3.5), двусмысленное направление причины (3.6) и недостаточное согласование (3.8) являются наиболее актуальными в качестве возможных источников ошибок в поперечных изучениях, особенно в исследованиях "с" и "без". Поперечное исследование, которое не контролирует эти источники ошибок, возможно с документальным подтверждением того, что они не имеют значения в актуальном исследовании; нельзя сказать, что они доказали причинную взаимосвязь между исследовавшейся мерой и доказанными изменениями количества происшествий.
Неправильная спецификация моделей анализа (3.7) является источником ошибок, который, в особенности, актуален в анализах временных промежутков и мультивариантных анализах. Обычно не хватает достаточно хорошей теоретической основы или достаточно хороших знаний из прежних исследований, чтобы можно было с уверенностью утверждать, что определенная модель неправильно определена более подробным способом.
Влияние приборов (3.9) и технологии эксперимента (3.10) являются наиболее важными в экспериментах. При экспериментах учитывают, в принципе, все другие препятствия к внутренней действительности, перечисленные в табл. G.5.1 (3.1-3.8). Проблема с экспериментом состоит в том, что создаются "искусственные" условия, при которых, как можно предположить, возникают эффекты, которые не должны были бы возникнуть. Очевидно, что в лабораторных экспериментах ситуация является искусственной и что их результаты нельзя использовать вне лаборатории. Однако и полевые эксперименты могут иметь отдельные "искусственные" элементы, которые делают внешнюю действительность результатов сомнительной.
Источниками ошибок, которые могут уменьшить внешнюю действительность исследований, являются эффекты специфики текста (4.1) и то, что называется методологическим плюрализмом (4.2). То, что влияние мероприятия является специфичным и для контекста, относящегося к исследованию, не является методологической слабостью исследования. Скорее это специфика действительности. Тем не менее такая зависимость от контекста затрудняет обобщение результатов исследования. Методологический плюрализм обозначает то обстоятельство, что в различных исследованиях влияний мероприятия часто применялись различные методики. В этом заключается и сила, и слабость. Если различные методики, имеющие различные источники ошибок, дают один и тот же результат, то, с одной стороны, можно утверждать, что результат надежный и, вероятно, показывает реальные влияния мероприятия. С другой стороны, если все исследования имеют методологические слабости, можно утверждать, что ни одно из исследований не смогло измерить влияния мероприятия, независимо от совпадений между результатами.