Кафедра правовой информатики, информационного права
И естественнонаучных дисциплин
УТВЕРЖДАЮ
Заведующий кафедрой
к.т.н., доцент
А.В. Мишин
«____» _______ 2018 г.
ПЛАН
Лекционного занятия
Дисциплина: «СИСТЕМНЫЙ АНАЛИЗ »
Тема 9: «МЕТОДЫКОЛИЧЕСТВЕННОГО ОЦЕНИВАНИЯ
СИСТЕМ»
для студентов 5 курса очной формы обучения
по направлению подготовки (специальности) 40.05.03 – Судебная экспертиза
Профиль (специализация) Криминалистические экспертизы
Разработал: профессор кафедры
д.т.н., доцент
Л.Е. Мистров
Материалы обсуждены и одобрены
на заседании кафедры ПИИПЕД
Протокол №
от «» 2018 г.
Воронеж
План
и методические указания студентам на лекционное занятие
Тема 9: «Методы количественного оценивания систем»
Занятие 11. «Методы количественного оценивания систем»
Цели занятия
1. Дать общее представление о методах и критериях количественного оценивания системв условиях неопределенности.
2. Ознакомить с методами количественной оценки сложных систем на основе метода ситуационного управления.
Учебно-материальное обеспечение
1. План и методические указания студентам на занятие по данной теме.
2. Проектор.
ПЛАН ПРОВЕДЕНИЯ ЗАНЯТИЯ
| Учебные вопросы | Время, мин. |
| Вступительная часть ……………………………………………………. 1. Оценка сложных систем в условиях неопределенности …….….…... 1.1. Критерий среднего выигрыша ……………………………………... 1.2. Критерий Лапласа …………………………………………………… 1.3. Критерий осторожного наблюдателя (Вальда) …………………… 1.4. Критерий максимакса ……………………………………………….. 1.5. Критерий пессимизма-оптимизма (Гурвица) ……………………... 1.6. Критерий минимального риска (Сэвиджа) ………………………... 2. Оценка систем на основе модели ситуационного управления …….. Заключительная часть…………………………………………….……… |
Литература:
основная:
1. Антонов А.В. Системный анализ: Учебное пособие для вузов. – М., Высшая школа, 2004. – 454 с.
2. Спицнадель В. Н. Основы системного анализа:Учебное пособие– Санкт-Петербург, «Издательский дом «Бизнес-пресса», 2000 – 208 с.
3. Анфилатов В.С., Емельянов А.А., Кукушкин А.А. Системный анализ в управлении: Учебное пособие. – М., Финансы и статистика, 2002. – 368 с.
дополнительная:
4. Сурмин Ю.П. Теория систем и системный анализ: Учебное пособие. – Киев, МАУП, 2003. – 368 с.
ОЦЕНКА СЛОЖНЫХ СИСТЕМ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ
Особенности систем не позволяют свести все проводимые ими операции к детерминированным или вероятностным. Такими особенностями являются:
- наличие в системе в качестве элементов (подсистем) целенаправленных индивидуумов и включаемых в систему управления ЛПР, осуществляющих управление на основе субъективных моделей – это приводит к большому разнообразию поведения системы в целом;
- стратегии управления часто формирует сама система, преследуя помимо предъявляемых старшей системой целей собственные цели, не всегда совпадающие с внешними;
- при оценке ситуации в ряде случаев исходят не из фактической ситуации, а из модели, которая пользуется ЛПР при принятии решений по управлению системой;
- процесс принятия решения в системе в большей степени базируется на логических рассуждениях ЛПР, не поддающихся формализации методами математического моделирования;
- при выборе управляющего воздействия ЛПР может оперировать нечеткими понятиями, отношениями и высказываниями;
- в большом классе задач управления системами отсутствуют объективные критерии оценивания достижения целевого и текущего состояний объекта управления, а также статистика, достаточная для построения соответствующих вероятностных распределений (законов распределения исходов операций) для конкретного принятого решения.
Таким образом, несводимость операций, проводимых сложными системами к детерминированным или вероятностным, затрудняет использование для их оценки детерминистские и вероятностные критерии.
Условия оценки эффективности систем для неопределенных операций можно представить в виде табл. 1, в которой обозначены:
– вектор управляемых параметров, определяющий свойства системы, 
;
– вектор неуправляемых параметров, определяющий состояние обстановки, 
;
– значение эффективности системы для состояния обстановки ;
– эффективность системы .
Таблица 1
Оценка эффективности для неопределенных операций
|
|
|
| ||||
| 
| 
| ||||
|
| 
| 
| … | 
| ||
|
…
| 
…
| 
…
| … … | 
…
| … | |
|
| 
| 
| … | 
|
Каждая строка таблицы содержит значения эффективности одной системы для всех состояний обстановки , а каждый столбец – значения эффективности для всех систем при одном и том же состоянии обстановки. В случае задания состояний обстановки одним параметром матрица эффективности может быть представлена диаграммой (рис. 1).
В неопределенной операции могут быть известны множество состояний обстановки и эффективность систем для каждой из них, но отсутствуют данные о вероятности появления того или иного состояния.
В зависимости от характера неопределенности операции разделят на игровые и статистически неопределенные. В игровых операциях неопределенность вносит своими сознательными действиями противник (конкурент, нарушитель), обусловливая для исследования применение теории игр. Условия статистически неопределенных операций зависят от объективной действительности, называемой природой. Природа рассматривается как незаинтересованная, безразличная к операции сторона (она пассивна по отношению к ЛПР) – такие операции могут исследоваться с применением теории статистических решений.
При проведении системой уникальных операций для разрешения возникающих в них неопределенностей при оценке систем используют субъективные предпочтения ЛПР. Поэтому единый критерий оценки эффективности для неопределенных операций отсутствует, а используют для принятия решений общие требования к критериям и процедурам оценки и выбора оптимальных систем.
Основными требованиями общие требования к критериям и процедурам оценки и выбора оптимальных систем являются:
оптимальное решение не изменяется при перестановке строк и столбцов матрицы эффективности;
оптимальное решение не изменяется при добавлении тождественной строки или тождественного столбца к матрице эффективности;
оптимальное решение не изменяется от добавления постоянного числа к значению каждого элемента матрицы эффективности;
оптимальное решение не становится неоптимальным, а неоптимальное оптимальным при добавлении новых систем, среди которых отсутствуют более эффективные системы;
если системы и 
оптимальны, то вероятностная смесь этих систем тоже оптимальна.
В зависимости от характера предпочтений ЛПР в неопределенных операциях используются критерии:
среднего выигрыша;
Лапласа;
осторожного наблюдателя (Вальда);
максимакса;
пессимизма-оптимизма (Гурвица);
минимального риска (Сэвиджа).
Рассмотрим эти критерии применительно к оценке одного из 3 разрабатываемых программных продуктов для борьбы с одним из 4 типов программных воздействий 
для исходных данных, представленных матрицей эффективности в виде табл. 2, где: 
– 
-й программный продукт, ={1,2,3}, – результаты оценки эффективности применения -го программного продукта при 
-м программном воздействии 
={1,2,3,4}.
Таблица 2
Матрица эффективности программных продуктов
|
|
| |||
| 
| 
| 
| |
| 0,1 | 0,5 | 0,1 | 0,2 |
| 0,2 | 0,3 | 0,2 | 0,4 |
| 0,1 | 0,4 | 0,4 | 0,3 |
1.1. Критерий среднего выигрыша – критерий предполагает задание (знание) вероятностей состояний обстановки 
. Эффективность систем оценивается как среднее ожидаемое значение (математическое ожидание) оценок эффективности по всем состояниям обстановки в виде:
Оптимальной системе будет соответствовать максимальное значение критерия эффективности, определяемого зависимостью:
Если в рассматриваемом примере вероятность применения “противником” программных воздействий равна 
=0,4, 
=0,2, 
=0,1 и 
=0,3, то значения оценки систем будут соответственно равны:
=0,4 • 0,1 + 0,2 • 0,5 + 0,1 • 0,1 + 0,3 • 0,2=0,21;
=0,4 • 0,2 + 0,2 • 0,3 + 0,1 • 0,2 + 0,3 • 0,4=0,28;
=0,4 • 0,1 + 0,2 • 0,4 + 0,1 • 0,4 + 0,3 • 0,3=0,25.
Оптимальное решение (по существу представляет средний выигрыш) – система .
Для применения критерия необходимо по существу перевести произвольным образом операцию из неопределенной в вероятностную.
1.2. Критерий Лапласа – в основе критерия лежит предположение о равновероятном знании состояния обстановки, позволяющем оценку систем представить в виде:
Тогда эффективность систем по данному критерию применительно к рассматриваемому примеру буде равна:
=0,25 (0,1 + 0,5 + 0,1 + 0,2)=0,225;
=0,25 (0,2 + 0,3 + 0,2 + 0,4)=0,275;
=0,25 (0,1 + 0,4 + 0,4 + 0,3)=0,3.
Оптимальное решение – система 
.
Критерий Лапласа представляет собой частный случай критерия среднего выигрыша.
1.3. Критерий осторожного наблюдателя (Вальда) – это максиминный критерий, гарантирующий определенный выигрыш при наихудших условиях обстановки проведения операции системой. Критерий основывается на предположении – что если состояние обстановки неизвестно, то необходимо поступать осторожным образом, ориентируясь на минимальное значение эффективности системы.
Для его определения в каждой строке матрицы эффективности находится минимальное значение из оценок системы для различных состояний обстановки в виде:
, 
Оптимальной считается система из строки с максимальным значением эффективности: 
,
Применение критерия максимина для рассматриваемого примера позволяет получить следующие оценки:
=min(0,l; 0,5; 0,1; 0,2)=0,1;
=min(0,2; 0,3; 0,2; 0,4)=0,2;
=min(0,l; 0,4; 0,4; 0,3)=0,1.
Оптимальное решение – система .
Максиминный критерий ориентирует на решение, исключающее элементы риска: при любом из возможных состояний обстановки выбранная система получит результат операции не хуже найденного максимина. Такая осторожность является в ряде случаев недостатком критерия. Другой недостаток – он не удовлетворяет третьему требованию (добавление постоянного числа к каждому элементу столбца матрицы эффективности влияет на выбор системы).
1.4. Критерий максимакса – критерием предписывает оценивать системы по максимальному значению эффективности и выбирать в качестве оптимального решения систему, обладающую эффективностью с наибольшим из максимумов:
,
,
Оценки систем на основе максимаксного критерия применительно к рассматриваемому примеру примут значения:
=max(0,1; 0,5; 0,1; 0,2)=0,5;
=max(0,2; 0,3; 0,2; 0,4)=0,4;
=max(0,1; 0,4; 0,4; 0,3)=0,4.
Оптимальное решение – система 
.
Критерий максимакса – самый оптимистический критерий, который все предпочитают использовать, надеясь на лучшее состояние обстановки с большой степенью риска.
1.5. Критерий пессимизма-оптимизма (Гурвица) – критерий обобщенного максимина. В соответствии с ним при оценке и выборе систем неразумно проявлять как осторожность, так и азарт, а следует, учитывая самое высокое и самое низкое значения эффективности, занимать промежуточную позицию (взвешиваются наихудшие и наилучшие условия). С этой целью вводится коэффициент оптимизма 
(
), характеризующий отношение к риску ЛПР. Эффективность систем находится как взвешенная с помощью коэффициента сумма максимальной и минимальной оценок:
, 
Условие оптимальности представляется в виде:
, ,
Задавшись значением =0,6 эффективность систем для рассматриваемого примера будет равна:
=0,6 • 0,5+(1– 0,6) • 0,1 = 0,34;
=0,6 • 0,5+(1– 0,6) • 0,2 = 0,32;
=0,6 • 0,4+(1– 0,6) • 0,1 = 0,34.
Оптимальной системой будет являться .
При =0 критерий Гурвица сводится к критерию максимина, а при 
=1 – к критерию максимакса. Значение может определяться методом экспертных оценок. Очевидно, что, чем важнее (опаснее) оцениваемая ситуация, тем ближе величина должна быть к единице – тогда гарантируется наибольший из минимальных выигрышей или наименьший из максимальных рисков.
На практике пользуются значениями коэффициента в пределах 0,3-0,7. В критерии Гурвица не выполняются 4 и 5 требования.
1.6. Критерий минимального риска (Сэвиджа) – минимизирует потери эффективности применения систем при наихудших условиях обстановки. Для оценки систем на основе данного критерия матрица эффективности табл. 2 преобразоввывется в матрицу потерь (риска). Каждый элемент матрицы потерь определяется как разность между максимальным и текущим значениями оценок эффективности в столбце:
После преобразования матрицы используется критерий минимакса в виде:
Оценим эффективность систем из приведенного примера в соответствии с данным критерием. Матрице эффективности (см. табл. 2) соответствует матрица потерь, приведенная в табл. 3.
Эффективность систем для рассматриваемого примера равна:
=max(0,l; 0; 0,3; 0,2)=0,3;
=max(0; 0,2; 0,2; 0)=0,2;
=max(0,1; 0,1; 0; 0,1)=0,1.
Таблица 3
Матрица потерь
| 
| |||
| 
| 
| 
| |
| 0,1 | 0,3 | 0,2 | |
| 0,2 | 0,2 | ||
| 0,1 | 0,1 | 0,1 |
Оптимальное решение – система .
Критерий минимального риска отражает сожаление по поводу того, что выбранная система не оказалась наилучшей при определенном состоянии обстановки. Так, если произвести выбор системы , а состояние обстановки , то сожаление, что не выбрана наилучшая из систем (
), составит 0,3. Критерий Сэвиджа, как и критерий Вальда относится к числу осторожных критериев. По сравнению с критерием Вальда в нем придается несколько большее значение выигрышу, чем проигрышу. Основной недостаток критерия – не выполняется требование 4.
Таким образом, эффективность систем в неопределенных операциях может оцениваться по целому ряду критериев.
На выбор того или иного критерия оказывает влияние ряд факторов:
обстановка проводимой системой конкретной операции и ее цель: в одних операциях допустим риск, а в других – требуется гарантированный результат;
причины неопределенности, являющиеся случайным результатом действия объективных законов природы или когда она вызывается действиями “разумного” противника, стремящегося помешать в достижении цели;
характер ЛПР – одни исследователи склонны к риску с целью добиться большего успеха, другие предпочитают действовать всегда осторожно.
Выбор какого-то одного критерия приводит к принятию решения по оценке эффективности системы отличного от решений, получаемых на основе других критериев. Это подтверждают результаты оценки эффективности систем применительно ко второму примеру по рассмотренным критериям. Сравнительные результаты критериев оценки систем приведены в табл. 4.
Таблица 4
Сравнительные результаты оценки систем
Тип критерия для выбора рационального варианта системы должен быть заранее определен на начальном этапе анализа систем и согласован с заказывающей организацией, так как процесс выбора критерия для учета неопределенности достаточно сложен. Устойчивость выбранного рационального варианта системы желательно оценивать по нескольким критериям. При этом если существует совпадение вариантов решений, то повышается вероятность (уверенность) в правильности выбора принятого варианта системы.
В случае, когда выбранные системы по различным критериям конкурируют между собой, для окончательного выбора могут использоваться процедуры, основанные на мажоритарной обработке результатов оценки простым большинством голосов. Особенностью мажоритарной обработки является возможность выбора системы, не являющейся лучшей, на основе многоэтапного выбора при группировке альтернатив.
В любом случае при выделении множества предпочтительных систем по разным критериям окончательный выбор системы осуществляется ЛПР. При этом в операциях, которым в зависимости от характера соответствует пороговая или монотонная функция полезности, эффективность систем необходимо оценивать непосредственно по показателям их исходов.
Для детерминированных операций критерием эффективности является сам показатель эффективности, а вероятностных – вероятность получения допустимого значения показателя (при пороговой функции полезности) или математическое ожидание значения показателя (при линейной функции полезности).
Оценка эффективности систем на основе показателей исходов в некоторых случаях может приводить к неправильному выбору, поэтому переход к оценке эффективности систем без введения функции полезности должен всегда основываться на результатах анализа и последующего обоснования.