Введение
Производственные компании предъявляют требования по оценки качества процессов, показателем этой тенденции является внесение их в ряд отраслевых стандартов для систем менеджмента качества. В то время как оценке достоверности проведенных экспериментов (испытаний) не уделяется внимание совсем.
В рамках эксперимента так или иначе, экспериментатор выступает как наблюдатель. Наблюдение может быть «включенным» и «не включенным». Во втором случае мы претендуем на объективность, особенно если применяли статистические методы, позволяющие повысить объективность данных. Любое эмпирическое исследование начинается с того что исследователь фиксирует выраженность интересующих его свойств у объекта или объектов исследования. Как правило – при помощи чисел. Таким образом, следует различать объекты исследования (процессы, предметы, явления), их свойства – то что составляет предмет изучения и признаки, отражающие в числовой шкале выраженность свойств. При этом нам исключительно важно отдавать себе отчет в том, что точность, с которой признак отражает измеряемое свойство, зависит от процедуры, измерения.
Но так ли все просто?
Каждую секунду времени наш мозг обрабатывает триллионы различных процессов. Неудивительно, что он ищет стратегии и, своего рода, правила, которые можно использовать в различных ситуациях. Паттерны, которые позволяют уменьшить количество мозговых процессов, тем самым, сохранив больше энергии. Это полезно, когда мы сталкиваемся с задачами, требующими от нас принятия сложных решений. Однако в попытке упростить информационные процессы мы можем использовать алгоритмы, которые могут повести нас по неправильному пути. Ошибки мышления, которые мы допускаем при обработке информации, называются когнитивными искажениями.
Когнитивные искажения - это систематические ошибки в мышлении или паттерны отклонений в суждениях, которые происходят в определённых ситуациях. К примеру в Wikipedia описаны 192 когнитивных искажения, разбитых на разные категории.
Рисунок 1 – Виды когнитивных искажений [???] Рисунок красоты невероятной, но редакция у нас такой точно не примет, так как очень мелко (примечание Я.А.). Но как-то его нужно переделать и оставить, я считаю.
Когнитивные искажения влияют на внешнюю валидность экспериментов. Очень много на тему субъективности объективных инструментов получения эмпирических сведений писали прямые специалисты по человеческому фактору и когнитивным искажениям - психологи. Психолог Ричард Грегори в результате своих наблюдений сделал вывод что мозг автоматически достраивает изображение по имеющиеся у него данные и делает то же самое с выводами из не полных сведений. Р. Розенталь в ходе эксперимента доказал, что экспериментатор, который твердо верит в гипотезу или надежность информации, неосознанно действует таким образом, чтобы получить соответствующие результаты, подтверждающие гипотезу (завышение значения определенного параметра или определенной задачи по экспериментальной серии, Избегание крайних оценок как низких, так и высоких, группировки данных только вокруг среднего значения и т.д.). Тему разрабатывали так же физик Джеральд Холтон (ученый изначально настроен на то что хочет открыть), Майкл Полани (концепция личностного не явного знания), Менделеев (точность измерений и важность метрологии), Эрнст Мах (данные полученные человеком при помощи опыта – это единственная реальность с которой имеет дело человек, аналогия с расписанием автобусов), Мориц Шлк (принципы верификации, толератнтности и физикализма), Эдвард Торндайк и Фил Розенцвейгом (эффект Ореола), а так же многие современные авторы [???].
Известные методы повышения объективности результатов эксперимента
В 1796 г произошло интересное событие, вскрывшее, на сколько не надежными могут быть «объективные», точные измерения. Директор Гринвичской лаборатории Масклайн уволил ассистента Киннбурка, который определял время прохождения звезды чуть ли не на секунду позже него. Он счел его работу небрежной и безответственной. Через некоторое время знаменитый немецкий астроном Бессель, заинтересовавшись конфликтом Масклайна с его сотрудником, снял с последнего обвинение в недобросовестности. Он пришёл к выводу, что нет двух астрономов, в наблюдениях которых не было бы непроизвольных различий. И эту составляющую очень сложно контролировать так как она связанна с особенностями нервной системы и индивидуальными различиями разных людей. Этот эпизод дал старт исследованиям влияния человеческого фактора на объективность научных исследований.
Инженеры обычно сводят все к следующей парадигме: «есть ошибки прибора, измерения и обработки.» Как правило, берется их среднее геометрическое и они считаются статистически независимыми. Ошибка измерения определяется производителем или половина цены деления. То же считается и про ошибку измерения - они ограничены половиной цены деления прибора - и она определяется глазом наблюдателя. Ошибка обработки зависит от того, насколько сложная и много ступенчатая обработка должна быть проделана с данными прежде, чем получится результат. Если закон известен или предполагается, то её можно найти из формулы. Таким образом, чем более хорошие измерительные приборы имеет наука и чем меньше цена деления, тем более точные результаты.
Известные методы повышения объективности исследований, зачастую применяемые психологами, в то время как инженеры не применяют их на практике.
На сегодняшний день научным сообществом признаются два критерия, на основе которых оно отличает научное знание от псевдонаучного:
1. Принцип верификации, в силу которого только то знание является научным, которое можно подтвердить (так или иначе, прямо или косвенно, раньше или позже). Этот принцип был предложен Бертраном Расселом.
2. Принцип фальсификации, в силу которого только то знание является научным, которое можно (так или иначе, прямо или косвенно, раньше или позже) опровергнуть. Этот принцип предложен Карлом Поппером.
Противодействовать ошибкам эксперимента можно также с помощью специальных методических приемов:
3. Метод «плацебо» или двойной слепой метод. Подбираются идентичная контрольная выборка объектов исследования. Экспериментальная процедура осуществляется в обоих случаях. Сам исследователь не знает, какая выборка получает «нулевое влияние», а какая подлежит реальному влиянию. Существует также модификация исследования, когда его проводит приглашенный ассистент, который не знает настоящую гипотезу исследования и то, какая из выборок подвергается реальному воздействию. Такой план позволяет преодолеть эффект ожиданий экспериментатора.
4. Описание результатов эксперимента в полевых условиях. Минус этого этом метода - неконтролируемые факторы оказывающие влияние на результат.
5. Больше статистики
6. Параллельные опыты
Параллельные опыты.
Многократно проведённые измерения.
В некоторых случаях единственный способ, помнить про все эти «эффекты» и проверять себя на стадии планирования, на стадии реализации эксперимента и, особенно, на стадии интерпретации результатов. Чек-лист возможных ошибок эксперимента учитываемых экспериментатором. Вот его то мы и хотим предположить.
Эксперименты могут быть вовсе не связаны с людьми, как испытуемыми. Объектом и способом исследования может быть что угодно: математическое моделирование факторов безопасности конструкции моста, или оценка работы технических систем в определенных условиях. Но управляет течением эксперимента, планирует и реализует его все равно человек - экспериментатор. Субъект исследования.
Ошибки эксперимента - это экспериментальный результат, который возникает из-за отклонений в проведении исследования или дефектов используемых методик. Источником ошибок в эксперименте может быть, как само окружение, так и деятельность исследователя. Причиной ошибок может стать также неадекватность используемой экспериментальной процедуры, когда исследователь не может предсказать факторы, изменяющие поведение объектов.