Благоприятная психологическая обстановка опроса, способствующая заинтересованности эксперта. Необходимо стремиться к установлению благожелательного контакта между экспертом и проводящим опрос техническим работником. При применении анкет пояснительная записка должна быть составлена в уважительном тоне.
Должны быть исключены возможности сознательного или бессознательного навязывания эксперту мнения интервьюера, т.е. экспертные оценки должны отражать независимое суждение эксперта. Нежелательна ситуация, при которой эксперт административно подчинен интервьюеру. Эксперт должен быть уверен, что выносимые им оценки не будут использоваться в неблагоприятных для него целях. В отдельных случаях может быть поставлено условие о конфиденциальности информации об оценках эксперта.
Приемлемая, т.е. не слишком большая трудоемкость опроса. Операции, составляющие процесс экспертной оценки, можно разделить на две группы – творческие и вспомогательные. К творческим относятся все оценочные операции, к вспомогательным – расчетные и графические. Правильное проведение опроса должно обеспечить освобождение экспертов от всех нетворческих операций, которые целесообразно выполнять рабочей группе.
Понимание экспертом задаваемых ему вопросов. Желательно, чтобы до начала процесса вынесения оценок эксперт получил необходимый инструктаж, который может быть дан техническим работником или устно, или письменно, либо в тексте пояснительной записки, либо и тем и другим способом вместе. В отдельных случаях рекомендуется проведение предварительного, тренировочного опроса. Задаваемые эксперту вопросы не должны иметь двусмысленный характер и требовать дополнительных пояснений. Необходимо использовать общепринятые термины, по мере возможности стандартизированные.
|
|
Специфические требования к технике интервьюирования. При экспертной оценке предпочтительнее использовать стандартизированное интервью. Начало интервью должно быть доверительным, располагать к откровенности. В некоторых случаях для проверки того насколько эксперт уверен в правильности выносимых им оценок, может оказаться целесообразным спровоцировать эксперта на аргументацию своих оценок путем оспаривания его ответа. Членам рабочей группы следует быстро и экономно кодировать ответы эксперта.
Методы групповой экспертной оценки. Такиеметоды, основанные на проведении опроса группы экспертов с последующим анализом и обработкой полученной от них информации. Целью этих методов является получение групповой экспертной оценки для принятия окончательных решений.
Основанием для выбора служит необходимость принятия сложных решений в ситуации неопределенности или составление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области или многих областях знаний (например, знаний однородной группы товаров или всех продовольственных либо непродовольственных товаров).
Основные преимущества групповой экспертной оценки заключаются в возможности разностороннего анализа количественных и качественных аспектов проблем определения и/или прогнозирования отдельных характеристик товаров или их совокупности. Взаимодействие экспертов позволяет значительно увеличить объем суммарной информации, которой владеет группа экспертов, по сравнению с информацией любого члена группы.
|
|
К тому же количество факторов, учтенных при групповой оценке и влияющих на результативность принимаемого решения, больше, чем сумма факторов, учтенных одним экспертом. При групповой оценке меньше вероятность ошибки принятия в качестве основных факторов и показателей, не имеющих существенного значения для решения проблемы. Поэтому важным преимуществом групповой оценки является возможность получения обобщенного и более представительного результата.
В большинстве случаев групповая оценка более надежна, чем оценка отдельного эксперта. Кроме того, коллективная ответственность позволяет специалистам принимать более рискованные решения.
К недостаткам групповых оценок относятся:
- трудности в получении надежной и согласованной оценки;
- получение неодинаковых ответов на один и тот же вопрос с большим разбросом мнений из-за разной компетентности экспертов;
- получение однозначных ответов не гарантирует их обоснованности и достоверности, причем при проведении экспертизы это невозможно проверить;
- большее количество неверной информации у группы экспертов, чем у отдельного эксперта, может привести к значительным ошибкам в конечных результатах;
- возможность конфронтации, когда отдельные эксперты в силу неуверенности или иных причин могут соглашаться с мнением большинства.
Экспериментально установлено, что при соблюдении определенных требований групповая оценка, несмотря на указанные недостатки, более надежна, чем индивидуальная.
|
|
К таким требованиям относятся:
- приемлемое распределение оценок, полученных от экспертов, указывающих на независимость их мнений, при этом должны быть установлены причины разных мнений и даны их обоснования. Приемлемое распределение оценок может быть рассчитано математико-статистическим методом для выявления грубых погрешностей (ошибок) и их устранения;
- групповая надежность, выражающаяся в совпадении или близости конечных результатов, которые получены при обобщении оценок по определенной проблеме двумя подгруппами экспертов, выбранных случайным образом.Групповая надежность оценок во многом определяется индивидуальной степенью надежности экспертов как одного из важнейших критериев их оценки. Под степенью надежности эксперта понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, которые впоследствии подтвердились;
- подготовка экспертизы, снижающая систематические и случайные погрешности при ее проведении.
Для получения информации от экспертов используют следующие технические приемы: анкетирование и смешанное анкетирование.
Анкетирование – опрос экспертов с помощью вопросов анкеты, на которые эксперт дает письменные ответы. Чаще всего анкетирование проводится заочным методом без контакта с рабочей группой. Для повышения степени информированности эксперта к анкете прилагается пояснительная записка.
При разработке анкет группа аналитиков должна предусмотреть уровень детализации проблемы, зависящий от специфики и целей экспертизы. От этого зависит достоверность результатов экспертизы, причем с увеличением степени детализации согласованность экспертных оценок, как правило, увеличивается. Однако излишняя детализация проблемы может привести и к снижению надежности информации, полученной от экспертов.
Детализация проблемы осуществляется путем включения в анкету тестов (закрытых вопросов) с элементами готовых ответов или без ответов (открытых вопросов). Элементы готовых ответов в дальнейшем позволяют облегчить обобщение и формализацию ответов экспертов, однако они ограничивают информативность оценки одним или несколькими альтернативными ответами, при этом возникает опасность навязывания эксперту ответов. При включении в анкету открытых вопросов эксперт может дать ответ в любой форме и с любым объемом информации. В этом случае появляется возможность обнаружения с помощью экспертов новых, порой неожиданных для аналитиков аспектов проблемы.
Конкретный вопрос с определенным набором готовых альтернативных ответов называется признаком анкеты. Набор ответов может быть качественного и количественного характера. При качественном характере набора ответов задача эксперта заключается в выборе из предлагаемых элементов ответов, которые, по его мнению, наиболее полно отражают сущность проблемы по данному вопросу. При количественном характере набора ответам на вопросы присваивают числовые значения.
Все вопросы в анкете можно разделить в зависимости от их содержания на три группы:
- объективные анкетные данные об эксперте – возраст, образование, профессия, стаж работы, научное звание, узкая специализация;
- характеристики, позволяющие оценить мотивы, которыми руководствовался эксперт при оценке исследуемой проблемы;
- основные вопросы, касающиеся существа исследуемой проблемы.
Смешанное анкетирование — опрос эксперта с помощью анкет и постоянного контакта с членом рабочей группы.
По информативности наибольшими возможностями обладают методы интервью, интервью-анкета и смешанное анкетирование, а по объективности – анкетирование. Минимальная объективность свойственна способу интервью. Однако исходя из разных целей экспертизы, на практике может применяться любой из указанных способов.
При этом предпочтение одной из указанных разновидностей отдается в следующих случаях:
- при отсутствии ограничений времени проведения опроса целесообразно проводить интервью-анкету или смешанное анкетирование;
- при значительном количестве экспертов и возможности собрать их всех вместе применяют анкетирование;
- при невозможности задать четко сформулированные вопросы, которые будут поняты всеми экспертами однозначно, а также при затруднениях эксперта выразить ответы на задаваемые вопросы в виде числовых оценок применяют смешанное анкетирование.
Специфические требования к технике анкетирования. Для обеспечения четкого и однозначного понимания экспертами характера выполнения операций к каждой анкете целесообразно прикладывать пояснительную записку (3-4 страницы), в которой дается постановка задачи, описывается последовательность и методы выполнения операций. Желательно, чтобы пояснительная записка была проиллюстрирована примерами.
Предпочтительнее применение закрытых вопросов, так как они облегчают работу эксперта. Необходимо стремиться к тому, чтобы все нужные для заполнения данные содержались в пояснительной записке или анкете. Приветствуется единообразие в составлении анкет и пояснительных записок для облегчения работы с ними.
Желательно придерживаться случайного характера перечисления свойств, которым эксперт должен дать цифровые оценки, причем эксперты должны быть предупреждены об этом, в противном случае может иметь место бессознательное завышение числовых оценок свойств, стоящих в списке первыми.
Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколько экспертных методов группового опроса:
- метод Дельфи,
- метод ПАТТЕРН,
- комбинированный метод.
Метод Дельфы (в некоторых источниках – Дельфи – от названия местечка Дельфи, где жили оракулы-прорицатели при храме бога Аполлона в Древней Греции) – многоэтапный метод опроса экспертов, предусматривающий первоначальное изолированное вынесение экспертами своих суждений и дальнейшую многократную их корректировку на базе ознакомления каждого эксперта с суждениями других экспертов до тех пор, пока величина разброса оценок не будет находиться в рамках заранее устанавливаемого желаемого интервала варьирования оценок. Этот метод разработан Олафом Хельмером, математиком из корпорации «Рэнд» (США) и его коллегами в 50-х гг. ХХ в.
Данный метод наиболее часто применяется при технологическом прогнозировании, данные которого используются затем в планировании производства и сбыта продукции.
Метод Дельфы относится к классу количественных методов групповых экспертных оценок. Получаемые посредством данной методики оценки носят статичный и одноразовый характер, в результате чего возникает необходимость повторного обращения к экспертам. В зависимости от цели экспертизы для получения экспертных оценок может привлекаться от 10 до 150 экспертов. Качественный подход позволяет оценить специфику каждой конкретной ситуации. Большим недостатком этого метода является чрезмерная субъективность оценок.
Метод Дельфы характеризуется следующими чертами:
- анонимность мнений экспертов;
- регулируемая обработка, обратная связь, которые осуществляются аналитической (рабочей группой) за ряд туров опроса, причем результаты каждого тура сообщаются экспертам;
- отказ от совместной работы экспертов (чтобы избежать конформизма);
- групповой ответ, который получается с помощью статистических методов и отображает обобщенное мнение участников экспертизы.
Основными этапами проведения опроса являются нижеследующие:
Этап 1. Формирование рабочей и экспертной групп. Для использования этого метода необходимо сначала создать рабочую группу. Задача рабочей группы заключается в организации процедуры экспертного опроса и статистической обработки полученной информации. Группа экспертов должна включать 10-15 специалистов в данной области. Компетентность экспертов определяется путем анкетирования, анализа уровня реферирования (количества ссылок на работы данного специалиста), использования листов самооценки.
Этап 2. Формулирование вопросов. Формулировки вопросов должны быть четкими, однозначно трактуемыми и предполагать однозначные ответы.
Этап 3. Установление желаемого интервала варьирования оценок. Рабочая группа определяет область предпочтительных количественных значений объектов.
Этап 4. Проведение опроса. Метод Дельфы предполагает повторение нескольких шагов проведения опроса. Каждый эксперт высказывает свое мнение в анкете без группового обсуждения. Могут применяться и другие технические приемы индивидуального опроса, например ответы на вопросы могут вводиться экспертами в компьютер.
К процедурам опроса предъявляются следующие требования:
- поставленные вопросы должны допускать возможность выражения ответа в виде чисел;
- достаточная информированность экспертов для выставления оценок;
- наличие обоснований эксперта на каждый из заданных вопросов.
Этап 5. Подведение итогов опроса. Для проведения первого тура экспертам предлагаются вопросы. Ответы должны быть представлены в виде количественных оценок на поставленный вопрос. Ответ должен быть обоснован экспертом.
Рабочая группа проводит статистическую обработку полученной от всех экспертов информации следующим образом:
- рассчитывается среднее значение исследуемого параметра (Пср) по формуле
,
где П j – значение даваемое параметру n -м экспертом; N – количество экспертов в группе.
- определяется медиана (Me) – характеристика группового ответа.
Медиана – это величина изучаемого параметра, которая находится в середине упорядоченной совокупности. Половина чисел этой совокупности имеют значения большие, чем медиана, а половина чисел имеют значения меньшие, чем медиана. Для определения медианы значения параметров, полученных от экспертов, располагают в порядке возрастания (убывания), и каждому значению параметра присваивается порядковый номер (n). Значение медианы – это порядковый номер значения параметра.
Если количество экспертов в группе нечетное, то медиана определяется по формуле
Ме = ½·(N +1)
Если количество экспертов в группе четное, то медиана определяется по формуле
Ме = N /2
где N – количество экспертов в группе.
- определяется область доверительности. Область доверительности исследуемого параметра находится в интервале [(Пmin + КВ) (Пmax – КВ)], где Пmin– минимальное значение параметра, Пmax – максимальное значение параметра, КВ – квартиль. Когда говорят о квартилях, обычно имеют в виду верхний квартиль (q3) и нижний квартиль (q1), а второй квартиль (q2) равен медиане.
Нижний квартиль – это значение, ниже которого в упорядоченном множестве данных находится четверть данных, а верхний квартиль – это значение, выше которого в упорядоченном множестве данных находится четверть значений. Таким образом, три точки – нижняя квартиль, медиана и верхняя квартиль – делят выборку на четыре равные части. наблюдений лежит между минимальным значением и нижней квартилью, – между нижней квартилью и медианой, – между медианой и верхней квартилью, – между верхней квартилью и максимальным значением выборки.
Медиана и квартили образуют на оси ряда четыре интервала, среди которых два средних (между нижней квартилью и медианой и между медианой и верхней квартилью) считаются наиболее предпочтительными. Этот предпочтительный диапазон квартилей является показателем разброса индивидуальных оценок.
Значение квартилей определяется по формуле:
КВ = (Пmax – Пmin): 4.
Этап 6. После первого тура каждому эксперту сообщается значение медианы и размах между крайними квартилями. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т.е. обосновать причины расхождения с групповым мнением. Эксперты по результатам представленных расчетов могут увидеть, как корреспондируется их мнение с мнением всей группы экспертов. Они могут изменить свои мнения или оставить прежними, но в этом случае выдвинуть контраргументы в свою пользу. При этом строго соблюдается принцип анонимности.
После проведения второго тура повторяется процедура статистической обработки оценок, результаты которой вновь сообщаются экспертам. Все участники экспертизы во время второго тура должны обосновать свои оценки. Их просят учесть возражения и прокомментировать их. Количество туров (до четырех) зависит от того, насколько быстро удается добиться сближения оценок экспертов в группе. Анонимность опроса позволяет уменьшить конформное и авторитарное влияние отдельных доминирующих экспертов, а регулируемая обратная связь уменьшает влияние индивидуальных и групповых интересов. Введение обратной связи также повышает критерий объективности и надежность оценок.
Если по итогам статистической обработки последнего тура опроса выясняется, что предпочтительный диапазон квартилей совпадает с заранее установленным желаемым интервалом варьирования оценок, то опрос экспертов считают завершенным. Медиана окончательных ответов экспертов принимается за оценку, наиболее близкую к единому мнению группы. В результате опроса получается достаточно точная групповая оценка экспертов.
Достоинством метода является повышение критерия объективности за счет анонимности ответов экспертов, благодаря чему мнение эксперта не искажается вследствие внушения или приспособления к мнениям других экспертов. Кроме того, возрастает и информированность экспертов за счет ознакомления с оценками других экспертов после окончания очередного тура, а также обоснования собственных оценок. Выявление преобладающих мнений позволяет сблизить точки зрения разных экспертов, сформировать групповое, но не единое, мнение.
Недостатки метода, проявившиеся на начальном этапе его применения, — нестабильность состава экспертных групп, значительные разрывы во времени между турами, нечеткие формулировки вопросов, недоучет разной компетентности экспертов, необоснованность выбранного метода усреднения экспертных оценок – были частично устранены путем разработки модификаций этого метода (метод СИИР, Дельфы – Перт и др.). В результате этого метод Дельфы в настоящее время стал одним из наиболее применяемых, особенно для целей прогнозирования, а также при изучении ряда экономических и социальных проблем.
При использовании этого метода для целей экспертной оценки качества потребительских товаров проявляются следующие его недостатки: сложность опроса экспертов и заполнения анкет, трудоемкость оценки в связи с большим количеством показателей качества (иногда до 20-40) и заполнением нескольких анкет (3-10), громоздкость пояснительных записок из-за отсутствия прямого контакта организатора с экспертами.
Из-за указанных недостатков использование метода Дельфы при экспертной оценке качества товаров затруднено, а в ряде случаев и нецелесообразно.
Метод Дельфы имеет несомненные преимущества по сравнению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов. Он позволяет уменьшить колебания по всей совокупности индивидуальных ответов, ограничивает колебания внутри группы. Этот метод перспективен для получения групповой экспертной оценки и углубленного анализа событий в ситуациях неопределенности.
Метод ПАТТЕРН – основан на делении сложной проблемы на более мелкие проблемы до тех пор, пока каждая подпроблема не сможет быть разносторонне (по различным критериям) и надежно оценена экспертами в количественном выражении. Методика примечательна тем, что сочетает несколько методов анализа, которые могут быть использованы и сами по себе – речь идет о построении «дерева целей», присвоения показателям коэффициентов весомости и оценка показателей качества (в количественном выражении).
Название метода складывается из первых букв английских слов, означающих «Помощь планированию посредством количественной оценки технических данных». Метод разработан в 60-х гг. ХХ в. в американской фирме для оценки проектов новых систем вооружения.
Метод ПАТТЕРН предусматривает несколько этапов:
Этап 1. Формирование рабочей и экспертной групп. Рабочая группа формируется с целью организации процедуры экспертного опроса и статистической обработки полученной информации. В соответствии с методом ПАТТЕРН группа экспертов может включать до 10 – 15 специалистов в данной области. Компетентность экспертов определяется путем использования эвристических и тестовых методов оценки качества экспертов.
Этап 2. Построение «дерева целей». «Дерево целей» – иерархическая структурная схема, связывающая друг с другом проблему, подпроблемы и задачи (единичные и комплексные показатели). «Дерево целей» разрабатывает рабочая группа.
Этап 3. Выявление критериев оценки показателей и определение их коэффициентов весомости. Критериями являются те закономерности, которые влияют на исследуемые показатели (степень эффективности, финансовые затраты, временной фактор и т.д.). Сумма коэффициентов весомости критериев должна быть в рамках единицы. Данные критерии выявляет и оценивает рабочая группа.
Этап 4. Определение результирующих коэффициентов весомости показателей. Экспертным методом присваиваются коэффициенты весомости для каждого единичного и/или комплексного показателя, при этом эксперты выносят решения после открытого обсуждения в экспертной группе. Такое открытое обсуждение наряду с положительным фактором – взаимодействие экспертов, стремящихся к принятию положительного решения, – имеет и отрицательные последствия из-за конформизма, т. е. искажения действительного мнения экспертов за счет внушения или приспособления к мнению большинства.
Этап 5. Составление матрицы для определения результирующих коэффициентов весомости исследуемых показателей (табл. 4.2).
Таблица 4.2. Матрица результирующих коэффициентов весомости исследуемых показателей
| Критерии | Коэффициент весомости критерия | Коэффициенты весомости исследуемых показателей | ||
| П 1 | …. | П i | ||
| К1 | ||||
| ….. | ||||
| К j |
Такие матрицы составляем для каждого уровня «дерева целей».
Результирующий коэффициент весомости каждого показателя определяется по формуле
,
где n – количество критериев; КВ j – коэффициент весомости j -го критерия; КВ пij – коэффициент весомости i -го единичного и/или комплексного показателя относительно j -го критерия.
Этап 6. Вычисляем итоговую весомость единичных показателей относительно комплексного показателя нулевого уровня по формуле:
КВ j = КВ jr · КВ jr- 1 · КВ j 1,
где КВ j – коэффициент весомости j- го единичного показателя относительно комплексного показателя нулевого уровня; КВ jr, КВ jr- 1, КВ j 1 – коэффициенты весомости показателей вышележащих уровней относительно соответствующего показателя уровня, номер которого на единицу меньше.
Достоинством метода ПАТТЕРН по сравнению с методом Дельфы является упрощение процедуры экспертного опроса. Однако наряду с достоинствами метод имеет и ряд недостатков: отсутствие обоснований оптимального числа членов экспертной группы, а также методики отбора в экспертную группу компетентных специалистов; обработка результатов опроса без учета различий в качестве отдельных экспертов; отсутствие барьеров для проявления конформизма экспертов; недостаточная разработка и неопределенность принципов построения «дерева целей».
Поскольку у каждого из перечисленных методов имеются недостатки, то был разработан комбинированный метод. В нем были использованы положительные особенности предыдущих экспертных методов и исключены их недостатки.
Комбинированный метод – метод, основанный на сочетании индивидуальных и коллективных экспертных оценок.
При экспертной оценке товаров комбинированный метод имеет следующий алгоритм операций:
1. Подготовительный этап.
1.1. Разработка принципов формирования рабочей группы.
Определение функций рабочей группы.
Определение структуры рабочей группы.
Определение обязанностей членов рабочей группы.
Определение количественного состава рабочей группы.
1.2. Разработка принципов формирования экспертной группы (осуществляется рабочей группой).
Количественное определение качества экспертов.
Определение необходимого и достаточного количества экспертов.
1.3. Разработка принципов классификации продукции и потребителей для целей оценки качества(осуществляется экспертной группой).
Разработка принципов классификации продукции по назначению.
Разработка принципов классификации продукции в соответствии с характером удовлетворения потребностей.
1.4. Разработка принципов построения структурной схемы показателей качества (осуществляется экспертной и рабочей группами). Разработка методологии построения структурной схемы (иерархии) показателей качества. Эксперты получают пояснительную записку и анкету, в которых они должны дать перечень показателей качества, объединенных в однородные группы.
Определение необходимого и достаточного количества показателей качества и числа уровней иерархии. Заполненные анкеты поступают в рабочую группу. Она составляет сводный перечень показателей и групп, в которые они объединяются. Этот перечень служит основным информационным материалом для построения иерархии.
2. Этап получения индивидуальных экспертных оценок.
2.1.Разработка процедуры обсуждения оценок экспертами(осуществляется рабочей группой).
Разработка процедуры открытого обсуждения.
Разработка процедуры письменных обоснований.
2.2.Разработка методов получения информации от экспертов(осуществляется рабочей группой).
Разработка оценочных шкал.
Разработка методологии анкетирования экспертов (пояснительные записки и анкеты).
2.3. Разработка методов планирования опроса.
Определение количества туров опроса.
Определение последовательности предъявления объектов оценки.
Разработка оптимальной с точки зрения трудоемкости опроса и обработки матрицы «объекты – эксперты».
Анализ иерархии показателей качества с указание коэффициента весомости каждого уровня в рамках единицы.
3. Этап получения групповых экспертных оценок.
3.1. Обобщение индивидуальных экспертных оценок. Составление матрицы индивидуальных коэффициентов весомости (табл. 4.3);
Таблица 4.3. Матрица индивидуальных коэффициентов весомости
| Показатели | Значения индивидуальных коэффициентов весомости экспертов Mjn | Mj | Sj | kv | |||
| ….. | n | ||||||
| ……. | |||||||
| j |
Примечание. Mjn – весомость, даваемая j -му показателю n -м экспертом; Mj – средняя весомость, даваемая j- му показателю; Sj – среднее квадратическое отклонение весомости j -го показателя; kv – коэффициент вариации.
3.2. Определение согласованности индивидуальных экспертных оценок. Для этого рассчитываем среднее арифметическое индивидуальных коэффициентов весомости по каждому показателю по формуле
,
где n – количество экспертов в группе.
Затем рассчитываем среднеквадратическое отклонение индивидуальных коэффициентов весомости, назначенных экспертами, по формуле
.
Затем рассчитываем коэффициент вариации по формуле
.
Коэффициент вариации служит характеристикой рассеяния индивидуальных коэффициентов весомости j -го показателя.
Если kv ≤ 0,25, то согласованность назначенных экспертами индивидуальных коэффициентов весомости считается достаточной.
Если kv ≥ 0,25, то согласованность назначенных экспертами индивидуальных коэффициентов весомости считается недостаточной. В этом случае проводят повторное определение коэффициентов весомости данного показателя путем опроса экспертов (групповым методом с взаимодействием).
3.3. Определение объективности коллективных экспертных оценок. Если согласованность назначенных экспертами индивидуальных коэффициентов весомости достаточна, то вычисляем итоговую весомость единичных показателей качества относительно комплексного показателя качества нулевого уровня по формуле
Mj = Mjr · M jr- 1 · Mj 1,
где Mj – коэффициент весомости j -го единичного показателя качества относительно комплексного показателя нулевого уровня; Mjr, Mjr- 1, Mj 1 – коэффициенты весомости показателей вышележащих уровней относительно соответствующего показателя уровня, номер которого на единицу меньше.
Достоинствами комбинированного метода наряду с вышеперечисленными являются также достаточная гибкость, позволяющая исключить ошибки при опросе экспертов и повысить достоверность результатов экспертизы, четкое определение стратегии путем классификации задач по степени значимости и операций по их выполнению, высокая воспроизводимость результатов.
К недостаткам метода относится многооперационность, требующая значительных затрат времени и средств. Однако этот недостаток окупается повышенной достоверностью и воспроизводимостью результатов.