МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК

Кафедра правовой информатики, информационного права

И естественнонаучных дисциплин

 

 

УТВЕРЖДАЮ

Заведующий кафедрой

к.т.н., доцент

А.В. Мишин

«____» _______ 2018 г.

 

ПЛАН

Лекционного занятия

Дисциплина: «СИСТЕМНЫЙ АНАЛИЗ »

Тема 8: «МЕТОДЫКАЧЕСТВЕННОГО ОЦЕНИВАНИЯ СИСТЕМ»

 

для студентов 5 курса очной формы обучения

по направлению подготовки (специальности) 40.05.03 – Судебная экспертиза

Профиль (специализация) Криминалистические экспертизы

 

Разработал: профессор кафедры

д.т.н., доцент

 

Л.Е. Мистров

 

 

Материалы обсуждены и одобрены

на заседании кафедры ПИИПЕД

Протокол №

от «» 2018 г.

 

 

Воронеж

 

 

План

и методические указания студентам на лекционное занятие

Тема 8: «М етоды качественного оценивания систем»

Занятие 9. « М етоды качественного оценивания систем»

Цели занятия

1. Дать общее представление о методах качественного оценивания систем.

2. Ознакомить более детально с методами типа экспертных оценок, дерева целей и морфологическими методами, находящими широкое применение в экспертных исследованиях.

Учебно-материальное обеспечение

1. План и методические указания студентам на занятие по данной теме.

2. Персональный компьютер, проектор.

ПЛАН ПРОВЕДЕНИЯ ЗАНЯТИЯ

Учебные вопросы	Время, мин.
Вступительная часть ……………………………………………. 1. Методы типа «мозговая атака» или «коллективная генерация идей» ………….………………………………………………….... 2. Методы типа сценариев …………….….……………………… 3.Методы экспертных оценок ……………………………………. 4. Методы типа Дельфи ………………………………………….. 5. Методы типа дерева целей ……………………………………. 6. Морфологические методы ………………………………….. Заключительная часть……………………………………………

Литература:

основная:

1. Антонов А.В. Системный анализ: Учебное пособие для вузов. – М., Высшая школа, 2004. – 454 с.

2. Спицнадель В. Н. Основы системного анализа:Учебное пособие– Санкт-Петербург, «Издательский дом «Бизнес-пресса», 2000 – 208 с.

3. Анфилатов В.С., Емельянов А.А., Кукушкин А.А. Системный анализ в управлении: Учебное пособие. – М., Финансы и статистика, 2002. – 368 с.

дополнительная:

4. Сурмин Ю.П. Теория систем и системный анализ: Учебное пособие. – Киев, МАУП, 2003. – 368 с.

СОДЕРЖАНИЕ ЗАНЯТИЯ И МЕТОДИКА ЕГО ПРОВЕДЕНИЯ

Подготовительная часть. В часы самоподготовки студенты изучают рекомендованную литературу.

МЕТОДЫТИПА «МОЗГОВАЯ АТАКА» ИЛИ «КОЛЛЕКТИВНАЯ

ГЕНЕРАЦИЯ ИДЕЙ»

Методы оценивания систем разделяются на качественные и количественные. Качественные методы используются на начальных этапах моделирования, если реальная система не может быть выражена в количественных характеристиках или отсутствуют описания закономерностей систем в виде аналитических зависимостей (результатом такого моделирования является разработка концептуальной модели системы). Количественные методы используются на последующих этапах моделирования для количественного анализа вариантов системы.

Между этими методами имеются и такие, с помощью которых стремятся охватить все этапы моделирования от постановки задачи до оценки вариантов, но для представления задачи оценивания привлекают разные исходные концепции и терминологию с различной степенью формализации. К ним относят:

кибернетический подход к разработке адаптивных систем, проектирования и принятия решений (применительно к организационным системам);

информационно-гносеологический подход к моделированию систем (основанный на общности процессов отражения и познания в системах различной физической природы);

структурный и объектно-ориентированные подходы системного анализа;

метод ситуационного моделирования;

метод имитационного динамического моделирования.

Такие методы обеспечивают разработку как концептуальных, так и строго формализованных моделей, обеспечивающих требуемое качество оценки систем.

Во всех методах содержание задачи оценивания основывается на сопоставлении рассматриваемой системы и вектора из критериального пространства , координаты точек которого рассматриваются как оценки по соответствующим критериям. Например, пусть множество разбито на подмножеств . Для элемента необходимо указать, к какому из подмножеств он относится. В этом случае элементу сопоставляется одно из чисел 1,2,..., , в зависимости от номера содержащего его подмножества.

Простейшей формой задачи оценивания является обычная задача измерения, когда оценивание есть сравнение с эталоном, а решение задачи находится подсчетом числа эталонных единиц в измеряемом объекте. Например, пусть – отрезок, длину которого надо измерить. В этом случае отрезку сопоставляется действительное число – его длина.

Более сложные задачи оценивания разделяются на задачи: парного сравнения, ранжирования, классификации и численной оценки. При этом задача парного сравнения заключается в выявлении лучшего из двух имеющихся объектов, ранжирования – в упорядочении объектов, образующих систему, по убыванию (возрастанию) значения некоторого признака, классификации – в отнесении заданного элемента к одному из подмножеств, численной оценки – в сопоставлении системе одного или нескольких чисел. Перечисленные задачи могут быть решены непосредственно лицом, принимающим решение (ЛПР), или с помощью экспертов (термин «эксперт» происходит от латинского слова expert – «опытный») – специалистов в исследуемой области. Во втором случае решение задачи оценивания называется экспертизой.

Качественные методы измерения и оценивания характеристик систем, используемые в системном анализе, достаточно многочисленны и разнообразны.

К основным методам качественного оценивания систем относят:

методы типа мозговой атаки или коллективной генерации идей;

типа сценариев;

экспертных оценок;

типа Дельфи;

типа дерева целей;

морфологические методы.

Концепция «мозговая атака» получила широкое распространение с начала 50-х гг. как метод тренировки мышления, нацеленный на открытие новых идей и достижение согласия группы исследователей на основе интуитивного мышления. Методы этого типа известны также под названиями «мозговой штурм», «конференция идей», «коллективная генерация идей» (КГИ).

Применение метода КГИ основывается на выполнении определенные правил:

обеспечения как можно большей свободы мышления участников КГИ и высказывания ими новых идей;

высказывания любых идей, даже если вначале они кажутся сомнительными или абсурдными (обсуждение и оценка идей производятся позднее);

не допущения критики любой идеи, не объявляя ее ложной и не прекращая обсуждения;

рассмотрения как можно больше идей, особенно нетривиальных.

В зависимости от принятых правил их выполнения различают прямую «мозговую атаку», метод обмена мнениями и другие виды коллективного обсуждения идей и вариантов принятия решений. В последнее время стараются ввести правила, помогающие сформировать некоторую систему идей, т.е. предлагается, например, считать наиболее ценными те из них, которые связаны с ранее высказанными и представляют собой их развитие и обобщение. Участникам не разрешается зачитывать списки предложений, которые они подготовили заранее. В то же время, чтобы предварительно сориентировать участника на обсуждаемый вопрос, при организации сессий КГИ заранее или перед началом сессии участникам представляется некоторая предварительная информация об обсуждаемой задаче в письменной или устной форме. Подобием сессий КГИ можно считать разного рода совещания, заседания научных советов по проблемам, заседания специально создаваемых временных комиссий и другие собрания компетентных специалистов.

Так как на практике трудно собрать специалистов ввиду их занятости, возможно привлекать компетентных специалистов, не требуя обязательного их присутствия на общих собраниях КГИ и устного высказывания своих соображений хотя бы на первом этапе системного анализа при формировании предварительных вариантов.

 

МЕТОДЫТИПА СЦЕНАРИЕВ

Методы подготовки и согласования представлений о задаче или анализируемом объекте, приведенные в письменном виде, объединены под общим названием сценария. Первоначально метод ориентировался на подготовку текста, содержащего логическую последовательность событий или возможные варианты решения задачи, упорядоченные по времени. Однако требование временных координат позднее было снято, и сценарием стали определять любой документ, содержащий анализ рассматриваемой задачи или предложения по ее решению независимо от формы ее представления.

Сценарий предусматривает содержательные рассуждения, которые помогают не упустить детали, обычно не учитываемые при формальном представлении системы (в этом и заключалась первоначально основная роль сценария), и содержит результаты количественного технико-экономического или статистического анализа с предварительными выводами, которые можно получить на их основе. Группа экспертов, подготавливающих сценарии, пользуется правом получения необходимых справок от различных организаций и консультаций специалистов. Понятие сценариев расширяется в направлении областей применения, форм представления и методов их разработки: в сценарий не только вводятся количественные параметры и устанавливаются их взаимосвязи, но и предлагаются методики составления сценариев с использованием ЭВМ.

На практике по типу сценариев разрабатывались прогнозы в некоторых отраслях промышленности. В настоящее время разновидностью сценариев считают предложения к комплексным программам развития отраслей хозяйства, подготавливаемые организациями или специальными комиссиями. Весьма перспективной считается разработка специализированных информационно-поисковых систем, накапливающих прогнозную информацию по данной отрасли и по смежным отраслям.

Сценарий является предварительной информацией, на основе которой проводится дальнейшая работа по прогнозированию или разработке вариантов проекта. Таким образом, сценарий помогает составить представление о задаче и затем приступить к более формализованному представлению системы в виде графиков, таблиц для проведения других методов системного анализа.

 

МЕТОДЫЭКСПЕРТНЫХ ОЦЕНОК

Группа методов экспертных оценок наиболее часто используется в практике оценивания сложных систем на качественном уровне.

При использовании экспертных оценок предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. Предположение не является очевидным, но при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К таким требованиям относят: распределение оценок, полученных от экспертов, должно быть «гладким»; две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.

Все множество задач, решаемых методами экспертных оценок, делится на два класса. К первому классу относятся такие, для которых имеется достаточное обеспечение информацией. При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя», т.е. эксперт – источник достоверной информации; групповое мнение экспертов близко к истинному решению. Ко второму классу относятся задачи, в отношении которых знаний для уверенности в указанных гипотезах недостаточно. В этом случае экспертов нельзя рассматривать в качестве «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертизы.

Экспертные оценки несут в себе как узко субъективные черты, присущие каждому эксперту, так и коллективно-субъективные, присущие группе экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, независимо от способов их обработки.

Этапы экспертизы:

формирование цели;

разработка процедуры экспертизы;

формирование группы экспертов;

опрос, анализ и обработка информации.

При формулировке цели экспертизы ее разработчик должен выработать четкое представление о том, кем и для каких целей будут использоваться результаты.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов используется коэффициент конкордации , который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах , где =0 означает полную противоположность, a =1 – полное совпадение результатов ранжировок (достоверность считается хорошей, если =0,7-0,8).

Небольшое значение коэффициента конкордации, характеризующее слабую согласованность мнений экспертов, является следствием того, что в группе экспертов отсутствует общность мнений или внутри группы экспертов существуют подгруппы с высокой согласованностью мнений, однако обобщенные мнения таких подгрупп противоположны.

Для наглядности представления о степени согласованности мнений экспертов А и В служит коэффициент парной ранговой корреляции , принимающий значения . Значение =+1 характеризует полное совпадение оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а значение =-1 – двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

Тип используемых процедур экспертизы зависит от задачи оценивания.

К наиболее часто используемым процедурам экспертных измерений относятся:

ранжирование;

парное сравнивание;

множественные сравнения;

непосредственная оценка;

Черчмена-Акоффа;

метод Терстоуна;

метод Неймана-Моргенштерна.

Целесообразность применения того или иного метода во многом определяется характером анализируемой информации. Если необходимы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения.

Если характер анализируемой информации позволяет получить численные оценки объектов, то используют методы численной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и Неймана-Моргенштерна.

При описании каждого из данных методов предполагается, что имеется конечное число измеряемых или оцениваемых альтернативных свойств (объектов) и сформулированы один или несколько признаков сравнения, по которым осуществляется сравнение свойств объектов. Следовательно, методы измерения будут различаться лишь процедурой сравнения объектов, которая включает построение отношений между объектами эмпирической системы, выбор преобразования и определение типа шкал измерений. С учетом изложенных обстоятельств рассмотрим возможность применения каждого метода измерения.

Ранжирование – метод представляет процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные альтернативы упорядочения объектов.

Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только отношение строгого порядка. В результате сравнения всех объектов по отношению строгого порядка составляется упорядоченная последовательность , где объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов и т.д. Полученная система объектов с отношением строгого порядка при условии сравнимости всех объектов по этому отношению образует полный строгий порядок. Для этого отношения доказано существование числовой системы, элементами которой являются действительные числа, связанные между собой отношением неравенства >. Это означает, что упорядочению объектов соответствует упорядочение чисел , где . Возможна и обратная последовательность , в которой наиболее предпочтительному объекту приписывается наименьшее число и по мере убывания предпочтения объектам приписываются большие числа.

Соответствие перечисленных последовательностей, т.е. их гомоморфизм, можно осуществить, выбирая любые числовые представления в предположении наличия единственного ограничения – монотонности преобразования. Следовательно, допустимое преобразование при переходе от одного числового представления к другому должно обладать свойством монотонности. Таким свойством допустимого преобразования обладает шкала порядков, поэтому ранжирование объектов представляет измерение в порядковой шкале.

В практике ранжирования чаще всего применяется числовое представление последовательности в виде натуральных чисел: т.е. используется числовая последовательность. Числа в этом случае называются рангами и обычно обозначаются буквами . Применение строгих численных отношений «больше» (>), «меньше» (<) или «равно» (=) не всегда позволяет установить порядок между объектами. Поэтому наряду с ними используются отношения для определения большей или меньшей степени какого-то качественного признака (отношения частичного порядка, например полезности), отношения типа «более предпочтительно» (), «менее предпочтительно» (), «равноценно» (=) или «безразлично» (~). Упорядочение объектов при этом может иметь вид: . Такое упорядочение образует нестрогий линейный порядок.

Для отношения нестрогого линейного порядка доказано существование числовой системы с отношениями неравенства и равенства между числами, описывающими свойства объектов. Любые две числовые системы для нестрогого линейного порядка связаны между собой монотонным преобразованием. Тогда ранжирование при условии наличия эквивалентных объектов представляет собой измерение в порядковой шкале.

В практике ранжирования объектов, между которыми допускаются отношения строгого порядка и эквивалентности, числовое представление выбирается следующим образом. Наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтительности – ранг, равный двум и т.д. Для эквивалентных объектов удобно с точки зрения технологии последующей обработки экспертных оценок назначать одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам – такие ранги называют связанными рангами. Для приведенного примера упорядочения на основе нестрогого линейного порядка при N =10 ранги объектов будут равными =(3+4+5)/3=4.

В этом же примере ранги объектов также одинаковы и равны среднеарифметическому =(9+10)/2=9,5. Связанные ранги могут оказаться дробными числами. Удобство использования связанных рангов состоит в том, что сумма рангов N объектов равна сумме натуральных чисел от единицы до N. При этом любые комбинации связанных рангов не изменяют эту сумму, что существенно упрощает обработку результатов ранжирования при групповой экспертной оценке.

При групповом ранжировании каждый S -й эксперт присваивает каждому -му объекту ранг . В результате проведения экспертизы формируется матрица рангов размерности , где – число экспертов; N – число объектов; ; . Результаты группового экспертного ранжирования представляются в виде табл. 1.

Аналогичный вид имеет таблица, если осуществляется ранжирование объектов одним экспертом по нескольким показателям сравнения. При этом в таблице вместо экспертов в соответствующих графах указываются показатели (ранги объектов определяют только порядок расположения объектов по показателям сравнения; они как числа не дают возможности сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим).

Достоинство ранжирования как метода экспертного измерения – простота реализации процедур, не требующая обучения экспертов. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. Как показывает опыт, при числе объектов, большем 10-15, эксперты затрудняются в их ранжировке. Это объясняется тем, что в процессе ранжирования эксперт должен установить взаимосвязь между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов количество связей между ними растет пропорционально квадрату числа объектов. Сохранение в памяти и анализ большой совокупности взаимосвязей между объектами ограничиваются психологическими возможностями эксперта. Психологи утверждают, что оперативная память человека позволяет оперировать в среднем не более чем 7±2 объектами одновременно. Поэтому при ранжировании большого числа объектов эксперты могут допускать существенные ошибки.

Таблица 1

Результаты группового ранжирования

Объект			…
			…
			…
…	…	…	…	…
			…

Парное сравнение – метод представляет процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов представляет более простую задачу. При сравнении пары объектов возможны отношения строгого порядка или эквивалентности, то есть парное сравнение так же, как и ранжирование, представляют измерения в порядковой шкале.

В результате сравнения пары объектов , эксперт упорядочивает ее, высказывая либо , либо , либо . Выбор числового представления возможно осуществить в виде: если , то ; если предпочтение в паре обратное, то знак неравенства заменяется на обратный, т.е. . Если объекты эквивалентны, то можно считать, что .

В практике применения процедуры парного сравнения используются следующие числовые представления:

(1) (2)

Результаты сравнения всех пар объектов удобно представлять в виде матрицы. Пусть, например, имеются пять объектов и проведено парное сравнение этих объектов по предпочтительности. Результаты сравнения представлены в виде

Используя числовое представление (1), составим матрицу измерения результатов парных сравнений (см. табл. 2).

В табл. 2 по диагонали всегда располагаются единицы, поскольку объект эквивалентен себе. Представление (2) характерно для отображения результатов спортивных состязаний, в которых за выигрыш начисляются два очка, за ничью одно и за проигрыш ноль очков (футбол, хоккей и т.п.). Предпочтительность одного объекта перед другим трактуется в данном случае как выигрыш одного участника турнира у другого. Таблица результатов измерения при использовании числового представления не отличается от таблиц результатов спортивных турниров за исключением диагональных элементов (обычно в турнирных таблицах диагональные элементы заштрихованы). В качестве примера в табл. 3 приведены результаты измерения пяти объектов с использованием представления (2), соответствующие табл. 2.

Таблица 2 Таблица 3

Вместо представления (2) часто используют эквивалентное ему представление вида

которое получается из (2) заменой 2 на +1, 1 на 0 и 0 на -1.

Если сравнение пар объектов производится отдельно по различным показателям или сравнение осуществляет группа экспертов, то по каждому показателю или эксперту составляется своя таблица результатов парных сравнений. Сравнение во всех возможных парах не дает полного упорядочения объектов, поэтому дальше решается задача ранжирования объектов по результатам их парного сравнения.

Однако, как показывает опыт, эксперт далеко не всегда последователен в своих предпочтениях. В результате использования метода парных сравнений эксперт может указать, что объект предпочтительнее объекта , предпочтительнее объекта и в то же время предпочтительнее объекта .

В случае разбиения объекта на классы эксперт может к одному классу отнести пары и , и , но в то же время объекты и отнести к различным классам. Такая непоследовательность эксперта может объясняться различными причинами: сложностью задачи, неочевидностью предпочтительности объектов или разбиения их на классы (в противном случае, когда все очевидно, проведение экспертизы необязательно), недостаточной компетентностью эксперта, недостаточно четкой постановкой задачи, многокритериальностью рассматриваемых объектов и т.д. Непоследовательность мнений эксперта приводит к тому, что в результате парных сравнений при определении сравнительной предпочтительности объектов не получается ранжировка и даже отношений частичного порядка, не выполняется свойство транзитивности.

Если целью экспертизы при определении сравнительной предпочтительности объектов является получение ранжирования или частичного упорядочения, необходима их дополнительная идентификация. В этих случаях в качестве результирующего отношения выбирать отношение заданного типа, ближайшее к полученному в эксперименте.

Множественные сравнения – отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки,..., -ки (n<N) объектов. Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей экспертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения в результате одновременного соотнесения объекта не с одним, а с большим числом объектов. С другой стороны, при ранжировании объектов их может оказаться слишком много, что затрудняет работу эксперта и сказывается на качестве результатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступающей к эксперту информации.

Непосредственная оценка – метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа. На рис. 1 в качестве примера приведено такое представление для пяти объектов на отрезок числовой оси [0,1].

Поскольку за начало отсчета выбрана нулевая точка, то в данном примере измерение производится в шкале отношений. Эксперт соединяет каждый объект линией с точкой числовой оси и получает числовые представления объектов (см. рис. 1): =0,28; =0,75; =0,2; =0,5.

Измерения в шкале интервалов могут быть достаточно точными при полной информированности экспертов о свойствах объектов. Эти условия на практике встречаются редко, поэтому для измерения применяют балльную оценку. При этом вместо непрерывного отрезка числовой оси рассматривают участки, которым приписываются баллы.

Эксперт, приписывая объекту балл, тем самым измеряет его с точностью до определенного отрезка числовой оси. Применяются 5-, 10- и 100-балльные шкалы.

Метод Черчмена-Акоффа (последовательное сравнение) – метод относится к числу наиболее популярных при оценке альтернатив. В нем предполагается последовательная корректировка оценок, указанных экспертами. Основные предположения, положенные в основу метода, состоят в следующем:

- каждой альтернативе , ставится в соответствие действительное неотрицательное число ;

- если альтернатива предпочтительнее альтернативы , то , если же альтернативы и равноценны, то ;

- если и оценки альтернатив и , то соответствует совместному осуществлению альтернатив и .

Наиболее сильным является последнее предположение об аддитивности оценок альтернатив.

Согласно методу Черчмена-Акоффа альтернативы , ,..., ранжируются по предпочтительности. Пусть для удобства изложения альтернатива наиболее предпочтительна, за ней следует и т.д. Эксперт указывает предварительные численные оценки для каждой из альтернатив. Иногда наиболее предпочтительной альтернативе приписывается оценка 1, остальные оценки располагаются между 0 и 1 в соответствии с их предпочтительностью. Затем эксперт производит сравнение альтернативы и суммы альтернатив ,..., . Если предпочтительнее, то эксперт корректирует оценки так, чтобы В противном случае должно выполняться неравенство

Если альтернатива оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив , ,..., и т.д. После того как альтернатива оказывается предпочтительнее суммы альтернатив ,..., ( >2), она исключается из рассмотрения, а вместо оценки альтернативы рассматривается и корректируется оценка альтернативы . Процесс продолжается до тех пор, пока откорректированными не окажутся оценки всех альтернатив.

При достаточно большом N применение метода Черчм