Самооценка
Объективности исследователя
про проведении эмпирических экспериментов
Причиной ошибок эксперимента может стать не только не верно подобранная оценочная процедура, но и «когнитивные искажения» - распространённые, подсознательные, ошибки мышления, которые мы все систематически совершаем. Такие ошибки не индивидуальны (они присущи большинству людей) и предсказуемы. Данная методика позволяет отследить самые распространенные когнитивные искажения и минимизировать их влияние на результаты эксперимента.
Просим Вас прочитать 2 утверждения, и отметить на шкале, какое из них и насколько отражает Вашу деятельность во время проведения текущего эксперимента.
| I. Искажения, связанные с беспокойством за успех при организации эксперимента | ||||||
| 1. Детальное планирование данного эксперимента началось в условиях отсутствия в достаточном объёме исходных данных и наличия сильно влияющих на результат неопределённых или случайных факторов | 2. Планирование эксперимента началось лишь после детального изучения всех возможных переменных и факторов, способных повлиять на результат | |||||
| 3. Я допускал выполнение работы со скоростью большей, чем необходимо или даже допустимо | 4. Работа велась размеренно, в соответствии с изначально разработанным графиком. | |||||
| 5. Я не изучал влияние не релевантных стимулов на изучаемую зависимую переменную. | 6. Изучал возможную степень влияния не релевантных стимулов на зависимую переменную, чтобы быть уверенным в том, какое влияние на неё оказывает изменение независимой переменной. (Например, при исследовании влияния на поведение животных различных участков головного мозга сам факт перенесения операции по удалению соответствующего участка может изменить поведение подопытного животного) | |||||
| 7. Не учитывал изменение объекта исследования во времени | 8. Учитывал изменение объекта исследования во времени | |||||
| 9. Допекал влияние одного из условий эксперимента за следующие за ним | 10. Не допускал влияния одного из условий эксперимента на следующие за ним | |||||
| 11. Не заострял внимание на эквивалентности группы изучаемых объектов | 12. Стремился не допустить неэквивалентность группы объектов по составу, вызывающую систематическую ошибку | |||||
| 13. Недооценил время выполнения задач, стоимость и длительность реализации исследования | 14. Как гласит закон Мерфи, всякая работа требует больше времени чем вы думаете. При планировании были корректно посчитаны ключевые точки, временные и материальные ресурсы. | |||||
| 15. Разрабатывал теоретическую гипотезу на основании правил, принятых для конкретной специальности или процессии | 16. Разрабатывал теоретическую гипотезу на основании более общей, междисциплинарной точки зрения. | |||||
| 17. Проверял гипотезы исключительно путем прямого тестирования | 18. Дополнительно использовал косвенные методы проверки гипотезы | |||||
| 19. Допускал «предпочтение нулевого риска». переоценил возможности контроля и предпочел более контролируемую, но потенциально вредоносную ситуацию | 20. Понимаю, что снижение одного не самого большого риска до нуля иногда дает иллюзию избавления от рисков. Учитывал это при организации эксперимента. Например, большинство людей предпочли бы уменьшить вероятность террористических актов до нуля вместо снижения аварийности на дорогах, даже если бы второй эффект давал больше сохранённых жизней | |||||
| 21. Оценивал способы решения задач по окончательным результатам «Победителей не судят» | 22. Оценивал качество решений по обстоятельствам того момента, когда они были приняты. | |||||
| II. Искажения, связанные с «Гало-эффектом» - результат воздействия общего впечатления о чем-либо на восприятие его частных особенностей. Оказывает влияние на оценку вероятностей и формирование стереотипов. | ||||||
| 23. Если я считаю, что одна зафиксированная ситуация гарантирует содержание другой то в отчете об исследовании я сообщаю только о последней. | 24. Я стремлюсь не подменять одно высказывание другим и полностью описываю результаты эксперимента. | |||||
| 25. При оценки роли и веса факторов я предпочитаю обращаться к статистике | 26. При оценке роли и веса факторов я предпочитаю обращаться к интуиции | |||||
| 27. Я склонен апеллировать к тому что доказательством, подтверждающее какую-либо точку зрения, является установленный или общепринятый факт. | 28. Я не склонен считать общепринятые факты достаточным и значимым доказательствами в рамках эксперимента. Авторитетные ученые так же могу ошибаться. | |||||
| 29. При анализе результатов я предавал большее значение изначальным событиям чем последующим | 30. Я не считаю, что отдельные случайные события испытывают влияние предыдущих случайных событий, если их связь не доказана статистически. | |||||
| 31. Когда по одной группе («выжившим») есть много данных, а по другой («погибшим») — практически нет, я склонен искать общие черты среди «выживших» и упускаю из вида, что не менее важная информация скрывается среди «погибших». | 32. Я не склонен недооценивать не доступные прямому наблюдения данные из группы «погибших». Например, пробоины на вернувшихся самолётах показывают места, в которых они могут получить повреждения и выжить. А. получившие повреждения в других местах не смогли вернуться на базу. Так же понимаю, что если испытание оказалось неудачным при наличии других, более удачных, его, скорее всего, не опубликуют, и изделие— как минимум поначалу— будут переоценено | |||||
| 33. Я склонен оценивает частоту или возможность события по легкости, с которой примеры или случаи приходят на ум», т. е. легче вспоминаются | 34. Я не склонен оценивает частоту или возможность события по легкости, с которой примеры или случаи приходят на ум», т. е. легче вспоминаются | |||||
| 35. При анализе и интерпретации результатов экспериментальных исследований я склонен воспринимать события, которые уже произошли, или факты, которые уже были установлены, как очевидные и предсказуемые, несмотря на отсутствие достаточной первоначальной информации для их предсказания | 36. Я стараюсь избегать эффекта «я знал», Стремлюсь рассматривать возможные альтернативные объяснения события и открытост к различным точкам зрения | |||||
| 37. Обладая информацией о частоте некоторого события (базовый процент) и специфической информацией об этом событии, я имею склонность игнорировать первое и фокусироваться на втором. | 38. Я не склонен игнорировать базовый процент. Наример, Джон носит готическую одежду. Какова вероятность, что он христианин, и какова вероятность, что он сатанист? Если людям задать этот вопрос, они, скорее всего, недооценят вероятность того, что он христианин, и переоценят вероятность того, что он сатанист. Они проигнорируют, что базовый процент христианства (в мире исповедуют около 2 млрд людей) значительно больше базового процента сатанизма (оценивается в несколько тысяч). | |||||
| 39. Я стремятся выбрать метод решение задачи, для которого вероятность благоприятного исхода известна, по сравнению с методом, вероятность благоприятного исхода которого была мне не известна | 40. Я использовал различные методы решения задачи в том числе те по в результате которых вероятность благоприятного исхода была мне не неизвестна | |||||
| 41. Увиливал или преуменьшал значение одного из параметров в сравнении с только что обнаруженным контрастным периметром | 42. Учитывал влияние эффекта контраста при анализе параметров объекта | |||||
| 43. Допускал перенос характеристика частных случаев на обширные совокупности | 44. Не допускал голословной генерализации частных случаев, косвенными методами проверял наличие в других совокупностях, выделенных на частном случае характеристик. | |||||
| III. Искажения, связанные с эффектом Розенталя - Ожидания экспериментатора на подсознательном уровне определяют характер полученных им данных | ||||||
| 45. Я допускал деформацию шкалы и сближение результатов до среднего значения | 46. Я не избегал крайних оценок, не занижал слишком высокие результаты и не завышал слишком низкие | |||||
| 47. Я придавал особое значение ряду параметров или задач в экспериментальной серии. | 48. Я искусственно не занижал и не завышал значение определенной задачи ли определенного параметра по экспериментальной серии | |||||
| 49. Я искал только те данные которые подтверждают гипотезу | 50. При сборе и анализе данных старался быть максимально не предвзятым опираясь на корреляции, полученные при помощи математического аппарата | |||||
| 51. Я искал только те данные которые противоречат гипотезе чтобы не казаться предвзятым | 52. При сборе и анализе данных старался быть максимально не предвзятым опираясь на корреляции, полученные при помощи математического аппарата | |||||
| 53. Оценивал логическую силу аргумента в зависимости от веры в истинность и ложность заключения. | 54. При оценке логической силы аргумента опирался на дополнительное мнение не осведомленного о гипотезе исследования эксперта. | |||||
| 55. При проведении серии экспериментов получив «хорошие» и «плохие» данные в первых сериях эксперимента я стремился первые «улучшить» а вторые «ухудшить» в последующих сериях | 56. Стремился минимизировать свое влияние на условия эксперимента после получения данных по первым сериям. | |||||
| IV. Искажения, связанные с «Ошибкой меткого стрелка» который сначала стреляет по амбару, а уже потом, в месте, где появилось самое большое количество пробоин, рисует мишень. | ||||||
| 57. Для анализа использовал только сходные данные и игнорировал отличающиеся. | 58. Анализировал не только группирующиеся данные, но и «выбросы» | |||||
| 59. Оптимизировал параметры для прогнозирующего алгоритма и проверял правильность модели прогноза на основании одних и тех же экспериментальных данных | 60. При проверке статистических гипотез и создании метода проверки использовал разные выборки экспериментальных данных. |