Цель экспертизы неотделима от главной цели – разрешения проблемы, то есть является по сути одной из подцелей дерева ликвидации проблемной ситуации, если мы таковое построим или вообразим. В этом смысле она не требует отдельной формулировки. Только здесь, на этапе экспертизы, она выступает в качестве самостоятельной цели и прописывается более подробно с детальным обозначением задач, решение которых она требует.
Не приводя отвлеченные примеры, дадим формулировки цели и задач экспертного оценивания элементов качественной модели исполнительской деятельности.
^ Цель экспертизы:
Определить адекватность предложенной языковой модели исполнительской деятельности и обеспечить количественную интерпретацию еe элементов для создания шкалы метода оценки исполнительской деятельности.
Задачи экспертизы:
^ Уточнить качественный и количественный состав элементов дерева исполнительской деятельности по подмножествам «задание» и «исполнитель».
Получить количественную интерпретацию каждого элемента подмножества элементов «задания» и подмножества элементов «исполнителя» для формирования шкалы (или таблицы) оценки исполнительской деятельности.
^ Определить, удовлетворяет ли целевым критериям языковая модель исполнительской деятельности.
Выяснить, могут ли быть предложены, хотя бы в первом приближении, еще какие – либо альтернативы в плане построения модели исполнительской деятельности. Если такой информации окажется достаточно для формулировки альтернативного решения, вернуться на этап разработки языковой модели, что предполагает алгоритм исследования.
8. Формирование рабочей группы специалистов-аналитиков.
Формирование рабочей группы специалистов.
Подбор экспертов
.
Количество членов экспертной группы значительно меньше в сравнении с количеством респондентов, опрашиваемых при массовом опросе. Отбор экспертов, формирование экспертных групп — достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений.
Предварительная группа.
Подбор специалистов для участия в экспертном опросе, начинается с определения научных, технических и административных проблем, непосредственно связанных в решением поставленной задачи.
Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов.
Формирование группы потенциальных экспертов начинается методом «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы.
Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. Слишком большое число экспертов затрудняет формирование согласованного мнения. Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными.
Принципиальное значение имеет возможность обеспечения «равноправия» учёных-специалистов различных направлений, различного уровня компетентности с учётом специфики исследуемой проблемы.
Тем не менее, можно установить некоторые общие требования, подразумевающие выяснение следующих параметров:
компетентность потенциального эксперта в исследуемой области
эрудированность в смежных областях
учёная степень
звание
стаж научной или практической работы в определённой сфере
должностное положение
принципиальность
объективность
способность творчески мыслить
интуиция.
Реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:
креативность, то есть способность творчески решать задачи, метод решения которых полностью или частично не известен
эвристичность, то есть способность видеть или создавать неочевидные проблемы
интуиция — способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению
предикаторность, то есть способность предсказывать, предчувствовать будущее состояние исследуемого объекта
независимость, то есть способность противопоставлять предубеждениям и массовому мнению свою точку зрения
всесторонность, то есть способность видеть проблему с различных точек зрения.
Рабочая группа.
Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию.
Так, подбор экспертов может быть:
экспериментальным (с использованем тестирования, проверки эффективности их прежней экспертной деятельности)
документальным (на основе социально-демографических данных)
при помощи голосования (на основе аттестации потенциальных экспертов их коллегами)
при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).
Кроме указанных способов возможен расчёт достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. В этом случае специалистов-экспертов можно рассматривать как «прибор», дающий информацию о вероятности каких-либо предстоящих событий или гипотез, объясняющих происходящие события. Следует определить точность и достоверность этой информации, подобно тому, как это делается для измерительных приборов. Рассматривая эксперта именно в таком ключе, определяют достоверность и точность его оценок по результатам прошлой деятельности. Для этого рассчитывают степень надёжности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще делится на количество сбывшихся прогнозов). Под степенью точности эксперта при вынесении им суждения о значении вероятности для некоторого события понимается степень соответствия его персональной оценки корректности того класса гипотез, которым он приписал эту вероятностную оценку. Понятие надёжности и точности эксперта базируется на предположении о том, что существует класс задач для решения которых эксперт либо подходит, либо не подходит.
9. Разработка процедуры опросов.
Разработка процедуры опроса.
Подготовка экспертов к работе.
Работа социолога, организующего экспертный опрос, включает в себя ещё и подготовку экспертов к работе, в частности обеспечение их максимально объективными данными по проблеме. Следует заботиться о достаточной информированности участников об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом.
В работу социолога входит:
составление специальных опросных листов для экспертов (по сравнению с массовым опросами, специфика опросных листов состоит в том, что не применяются вопросы-ловушки, ибо эксперт является осведомленным лицом, а кроме того, преобладают вопросы открытого типа)
разработка способа и процедуры опроса экспертов
проведение опроса
анализ полученных данных.
Особые требования.
Необходимо, чтобы условия проведения опроса способствовали получению наиболее достоверных оценок. С целью обеспечения независимости оценок, следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон всех остальных дискуссий (для этого при выступлении сначала предоставляется слово «простым» участникам, а потом наиболее известным и авторитетным).
10. Отбор и формирование группы экспертов.
11. Проведение опроса.
Опишите методы проведение опросов.
Ме́тод опро́са — психологический вербально-коммуникативный метод, заключающийся в осуществлении взаимодействия между интервьюером и опрашиваемыми посредством получения от субъекта ответов на заранее сформулированные вопросы. Иными словами, опрос представляет собой общение интервьюера и респондента, в котором главным инструментом выступает заранее сформулированный вопрос.
Общие сведения
Опрос можно рассматривать как один из самых распространённых методов получения информации о субъектах — респондентах опроса. Опрос заключается в задавании людям специальных вопросов, ответы на которые позволяют исследователю получить необходимые сведения в зависимости от задач исследования. К особенностям опроса можно причислить его массовость, что вызвано спецификой задач, которые им решаются. Массовость обуславливается тем, что психологу, как правило, требуется получение сведений о группе индивидов, а не изучение отдельного представителя.
Опросы разделяют на стандартизированные и не стандартизированные. Стандартизированные опросы можно рассматривать как строгие опросы, дающие прежде всего общее представление об исследуемой проблеме. Не стандартизированные опросы менее строгие в сравнении со стандартизированными, в них отсутствуют жёсткие рамки. Они позволяют варьировать поведение исследователя в зависимости от реакции респондентов на вопросы.
При создании опросов сначала формулируют программные вопросы, соответствующие решению задачи, но которые доступны для понимания лишь специалистам. Затем эти вопросы переводятся в анкетные, которые сформулированы на доступном неспециалисту языке.
Виды опросов:
Анкетирование
Личностные тесты
Метод лестницы
Интервью относят как и к методу опроса, так и к методу беседы.
Классификация опросов по способу взаимодействия с респондентом:
Личные опросы. Проведение таких опросов проходит при прямом контакте исследователя с респондентом.
Метод анкетирования — психологический вербально-коммуникативный метод, в котором в качестве средства для сбора сведений от респондента используется специально оформленный список вопросов — анкета. Анкетирование — опрос при помощи анкеты.
Виды анкетирования:
По числу респондентов
Индивидуальное анкетирование (один респондент)
Групповое анкетирование (несколько респондентов), Аудиторное анкетирование - методическая и организационная разновидность анкетирования, состоящая в одновременном заполнении анкет группой людей, собранных в одном помещении в соответствии с правилами выборочной процедуры.
Массовое анкетирование (от сотни до тысяч респондентов)
По полноте охвата:
Сплошное (опрос всех представителей выборки)
Выборочное (опрос части выборки)
По типу контактов с респондентом
Очное (в присутствии исследователя-анкетёра)
Заочное (анкетёр отсутствует)
Рассылка анкет по почте
Публикация анкет в прессе
Публикация анкет в Интернете
Вручение и сбор анкет по месту жительства, работы и т. д.
Онлайн анкетирование.
С ростом популярности Интернета всё более востребованным способом сбора данных становится онлайн анкетирование. Дизайн онлайн опросников часто влияет на результат опроса. К таким факторам дизайна относят качество руководства опросников, доступные форматы представления данных (вопросов), способы управления, проработанность и этические составляющие опросника.
Метод лестницы или лэддеринг — метод опроса, применяемый в маркетинговых исследованиях, один из методов частично стандартизированных качественных опросов. Целью лэддеринга является установление причинно-следственных связей между свойствами (attributes) продукта или бренда, выгодами от использования (consequences) и ценностями (values) потребителей. Например, домохозяйка может покупать дорогой стиральный порошок, чтобы удовлетворить потребность в чистом, опрятном внешнем виде (выгода). Ценностный ориентир, который определяет выбор бренда/продукта — стремление быть образцовой женой и матерью и заслужить таким образом уважение в обществе. Другим мотивом (выгодой) может быть сохранение первоначального цвета белья и потребность модно выглядеть. За последней выгодой стоят уже иные ценностные ориентиры — например, стремление выделиться из общей массы.
Опрос происходит таким образом: интервьюер задает вопрос: «Почему Вы покупаете этот продукт/бренд»? Респондент отвечает, после этого интервьюер задает вопрос: «А почему?», «Почему?» и т. д. Таким образом, постоянно повышается уровень абстракции — отсюда название метода.
Метод основан на теории means-end-chain, разработанной Т.Дж. Рэйнолдсом и Дж. Гутманом.
На основе собранных данных может быть построена Диаграмма связей, отражающая частоту связей между различными свойствами, выгодами и ценностями. Наиболее частые пути соединений могут использоваться, например, для позиционирования брендов.
Проблемой такой процедуры является то, что респонденты могут начать выдумывать причины и пытаться объяснить своё поведение даже в том случае, если на самом деле их решения являются привычными или малоосознанными (например, в случае импульсных, спонтанных покупок). Соответственно, данный метод имеет смысл применять только для товаров с высоким уровнем (рациональной) вовлечённости потребителей.
Метод интервью — психологический вербально-коммуникативный метод, заключающийся в проведении разговора между психологом или социологом и субъектом по заранее разработанному плану.
Виды интервью:
По степени формализации.
Стандартизированное, полустандартизированное и свободное. В таком интервью заранее определены формулировки вопросов и последовательность, в которой они задаются.
Нестандартизированное, свободное или ненаправленное интервью. При таком интервью психолог следует лишь общему плану, сформулированному соответственно задачам исследования, задавая вопросы по ситуации. Благодаря своей гибкости располагает к более хорошему в сравнении со стандартизированным интервью контакту между психологом и респондентом.
Полустандартизированное или фокусированное интервью. При проведении данного вида интервью психолог руководствуется перечнем как строго необходимых, так и возможных вопросов.
По стадии исследования.
Предварительное интервью. Используется на стадии пилотажного исследования.
Основное интервью. Используется на стадии сбора основных сведений.
Контрольное интервью. Используется для проверки спорных результатов и для пополнения банка данных.
По количеству участников.
Индивидуальное интервью — интервью, в котором участвует только корреспондент (психолог) и респондент (испытуемый).
Групповое интервью — интервью, в котором участвует более двух человек.
Массовое интервью — интервью, в котором участвуют от сотни до тысяч респондентов. В основном используется в социологии.
Метод беседы — психологический вербально-коммуникативный метод, заключающийся в ведении тематически направленного диалога между психологом и респондентом с целью получения сведений от последнего.
Виды беседы.
Беседы различаются в зависимости от преследуемой психологической задачи. Выделяют следующие виды:
Терапевтическая беседа
Экспериментальная беседа (с целью проверки экспериментальных гипотез)
Автобиографическая беседа
Сбор субъективного анамнеза (сбор информации о личности субъекта)
Сбор объективного анамнеза (сбор информации о знакомых субъекта)
Обычно беседа двух людей бывает похожа на вербальный пинг-понг — собеседники говорят по очереди. Однако в консультировании и психотерапии все происходит иначе, особенно в начале беседы. Здесь вербальная активность консультанта должна быть минимальной, чтобы клиент смог сосредоточить внимание на раскрытии своих проблем и трудностей. Консультант должен не столько говорить, сколько выслушивать. Умение выслушать означает выражение искренней заинтересованности другим человеком.
Существуют два важных аспекта, связанных с этим умением. Во-первых, каждый человек испытывает потребность общаться с другим человеком по важным для него делам. Во-вторых, наша склонность поддерживать других или соглашаться с ними зависит от того, насколько они выслушивают нас. Можно смело утверждать, что качество отношений между людьми в немалой степени зависит от умения выслушать и услышать.
Однако существуют некоторые обстоятельства, мешающие внимательно выслушивать. Часто то, что говорит клиент, не соответствует установке консультанта, и он слушает невнимательно. Широко распространена манера, нередко и в консультировании, когда мы не столько слушаем собеседника, сколько реагируем на его сообщения, в мыслях заранее сформулировав реплики, ответы, вопросы и т.п. Это только видимость слушания. Одним из последствий социального обучения является избегание излишней информации о другом человеке, что иногда побуждает консультанта сопротивляться рассказу клиента о глубоко личных делах, а результат такого сопротивления — опять же невнимательное слушание. Порой рассказываемые клиентом события или затронутые темы вызывают неприятные чувства: тревогу, напряжение. Консультант, стремясь избежать неприятного состояния, может не услышать в повествовании некоторые важные подробности. Трудности выслушивания вызывают и клиенты, которые непрестанно жалуются на свои проблемы, особенно на соматические симптомы (например, психосоматические пациенты).
Выслушивание прежде всего представляет собой обратную связь с мыслями и чувствами клиента, побуждает клиента далее говорить о своей жизни, о ее затруднениях и проблемах. Если консультант внимателен, клиент, "заменяет точку в конце предложения запятой, и то, что казалось концом раскрытия, становится прелюдией к более глубокому откровению".
В любом случае правильное выслушивание — это активный процесс. Он, охватывает "все виды ощущений плюс интуиция, отражение и эмпатия". Имеется в виду огромное внимание к деталям, какими бы незначительными они ни были. Слушателю необходимо проявлять заинтересованность и понимание, однако не мешать рассказчику оставаться в потоке переживаний; консультант, слушающий клиента, должен быть раскрепощен и наблюдателен, чтобы услышанные признания порождали обильный ассоциативный поток. Возникающие ассоциации служат определенными "ключами" к пониманию проблем клиента. Но не следует цепляться за них, поскольку часть возникших ассоциаций и идей позднее не подтверждается и отбрасывается. Не нужно делиться с клиентом своими ассоциациями, потому что они могут быть абсолютно ошибочными. Ассоциации скорее — это руководство к дальнейшему выслушиванию, задаванию вопросов, поощрению клиента к "исследованию" новых областей субъективного мира. Активное слушание такого рода помогает увязывать отдельные фрагменты повествования клиента, вследствие чего и реализуется главная задача консультирования — понимание клиента.
Дистанционные опросы. Проведение таких опросов возможно при опосредованном участии исследователя, либо же вовсе без его участия.
Одним из наиболее активно используемых в современном мире дистанционных методов выступает – телефонный опрос.
Правила составления вопросов
Каждый вопрос должен быть логичным и отдельным и совмещать отдельные подвопросы.
Запрещено употребление малораспространённых, малопонятных слов и специальных терминов.
Вопросы должны быть краткими.
При необходимости вопрос может сопровождаться пояснением, но сама формулировка должна оставаться лаконичной.
Вопросы должны быть конкретными, а не абстрактными.
Вопросы не должны содержать подсказку. Если в нём упомянуты возможные варианты ответов, то их список следует дать полным.
Формулировка вопроса должна предотвратить получение шаблонных ответов.
Вопрос не должен принуждать респондентов к неприемлемым для них ответам.
Язык вопросов не должен вызывать отвращение (к примеру, быть слишком экспрессивным).
Недопустимы вопросы суггестивного (внушающего) характера.
Виды вопросов в соответствии с решаемыми задачами
Закрытые — открытые
Закрытые (структурированные) вопросы предполагают выбор ответа из списка. Закрытые вопросы могут быть дихотомическими («да/нет») или же с множественным выбором, то есть предоставлять более двух вариантов ответа. Ответы на закрытые вопросы легко поддаются обработке; недостатком же можно считать высокую вероятность необдуманности ответов, случайный их выбор, автоматизм у респондента.
Открытые (неструктурированные) вопросы не содержат никаких заготовленных ответов, а респондент отвечает в свободной форме. Данные, полученные из ответов на такие вопросы, обрабатывать труднее, чем в случае с закрытыми вопросами.
Субъективные — проективные
Субъективные вопросы спрашивают респондента об его отношении к чему-либо или о его поведении в определённой ситуации.
Проективные вопросы спрашивают о третьем лице, не указывая на респондента.
12. Анализ и обработка информации, полученной от групп экспертов.
13. Синтез информации об объектах экспертизы и результатов групповой (индивидуальной) экспертной оценки, приведение их в форму, удобную для принятия решений
14. Основные идеи статистики объектов нечисловой природы.
15. Статистика конкретных видов объектов нечисловой природы.
16. Статистика в пространствах общей (произвольной) природы.
17. Таблица «Голоса потребителя».
18. Обобщение и структурирование требований.
19. Дом качества.
20. Прогнозирование и его роль.
21. Сущность функционально-стоимостной анализ.
22. Сущность анализа вида и последствий отказов.