КРИТЕРИИ ЭФФЕКТИВНОСТИ СИСТЕМ. КОЛИЧЕСТВЕННЫЕ ОЦЕНКИ
Методические указания
к выполнению лабораторной работы
по дисциплине «Основы системного анализа»
Для студентов, обучающихся по направлению 09.03.02
«Информационные системы и технологии»
по учебному плану подготовки бакалавров
дневной и заочной форм обучения
Севастополь
УДК 004.732
Критерии эффективности систем, количественные оценки. Методические указания к лабораторным занятиям по дисциплине «Основы системного анализа» / Сост., Н.П. Тлуховская, Ю.В. Доронина – Севастополь: Изд-во СевГУ, 2019.
Методические указания предназначены для проведения лабораторных работ по дисциплине «Основы системного анализа». Целью методических указаний является помощь студентам в изучении основ системного анализа. Излагаются теоретические и практические сведения необходимые для выполнения лабораторной работы, требования к содержанию отчета.
Методические указания рассмотрены и утверждены на методическом семинаре и заседании кафедры «Информационные системы»
протокол № от 28 января 2019 г.
Рецензент
Доцент кафедры ИиУТС
к.т.н., доц. В.Н. Мирянова
Цель работы
Углубление теоретических знаний в области системного анализа, исследование способов расчета критериев эффективности. Приобретение практических навыков использования количественных оценок для систем.
КРАТКИЕ ТЕОРЕТИЧЕСКИЕ СВЕДЕНИЯ
2.1 Критерий эффективности системы
Системный анализ ориентирован на принятие решений касающихся сложных систем. Принятие решений, как правило, осуществляется в условиях неопределенности и требует учета многочисленных факторов, участия специалистов из различных областей знаний (экспертов).
Эффективность – это обобщенная характеристика, отражающая степень соответствия результатов функционирования системы своему целевому назначению, т.е. степень достижения поставленной цели. Критерий эффективности – это мера оценки эффективности в целом. В количественном значении критерия эффективности интегрируются все свойства системы.
Построение обобщенного (интегрального) критерия эффективности сложных систем, показывающего взаимозависимость многочисленных факторов, влияющих на функционирование системы, производится в соответствии с теорией полезности на основе аддитивного преобразования:
(2.1)
где q1, …, qn – частные критерии эффективности, bi – коэффициенты, отражающие полезность (ценность) критерия.
Определение значений bi производится группой из m экспертов. В начале каждый j -й эксперт выставляет оценку i -му критерию, затем они масштабируются:
(2.2)
затем вычисляются коэффициенты bi:
(2.3)
где 
– количество экспертов.
Существуют два основных метода получения экспертных оценок 
.
2.2 Метод ранжировки критериев
В этом случае эксперт размещает частные критерии по убыванию ценности слева направо (на одном месте могут стоять несколько критериев), затем проводят новую нумерацию слева направо и определяют ранг rij, который равен новому номеру критерия (если он на позиции один) или среднеарифметическому новых номеров (если на одной позиции несколько критериев).
Затем вычисляют оценку сij, по формулам:
, (2.4)
где n – количество частных критериев.
2.3 Метод ранжировки пример
Найти интегральный критерий эффективности, пользуясь методом ранжировки, если дано 8 частных критериев, которые эксперт разместил (по столбцам) следующим образом:
Рисунок 1 – Исходная постановка задачи
В кружках отмечены новые номера критериев. В таблице 1 приведены значения ранга rij , оценки критериев сij и весового коэффициента 
.
Таблица 1 – Значения rij , сij и 
| I | ||||||||
| rij | 8.0 | 3.5 | 1.5 | 5.0 | 1.5 | 3.5 | 7.0 | 6.0 |
| сij | 0,125 | 0,688 | 0,94 | 0,5 | 0,94 | 0,688 | 0,25 | 0,375 |
| bij | 0,03 | 0.15 | 0.21 | 0,11 | 0,21 | 0,15 | 0,06 | 0,08 |
Согласованность экспертов определяется коэффициентом конкордации
, 
, (2.5)
где m – количество экспертов, n – количество критериев, коэффициент S определяется по формуле:
. (2.6)
kij – новые номера критериев.
Если W > 0,7 – эксперты согласованы, при W < 0,7 – не согласованы. Для примера1: W = 1.
2.4 Метод последовательных предпочтений
Этот алгоритм предполагает предварительное выставление экспертом оценок сij, а затем проведение (n - 2) сравнений типа
, где R 
[>,<,=] (2.7)
Условия проверяются от последнего к первому, при этом оценки располагаются изначально так, чтобы ряд слева направо был не возрастающим и начинался с 1. Если какое-либо сравнение не выполняется, изменяется текущая оценка, но при этом должен остаться не возрастающий справа налево ряд.
2.5 Метод последовательных предпочтений пример
Вычислить интегральный критерий, если эксперт выставил следующие оценки восьми частным критериям (Таблица 2).
Таблица 2 – Oценки эксперта
| i | ||||||||
| Cij | 0.6 | 0.9 | 0.7 | 0.8 | 0.5 | 0.3 | 0.2 |
Система сравнения: R[>, <, >, <, ==, ==].
1. Строится невозрастающий ряд.
2. Выставленные экспертом оценки проверяются знаками (n -2) отношения R (знаки считываются справа налево).
3. Строится таблица уточнения оценок (таблица 3).
4. Если знак отношения не выполняется, то меняются не уточненные оценки эксперта, при этом ряд должен оставаться невозрастающим.
Таблица 3 – Уточненные оценки эксперта
| i | R | ||||||||
| C | 0.9 | 0.8 | 0.7 | 0.6 | 0.5 | 0.3 | 0.2 | =(0.5=0.5) | |
| 0.9 | 0.8 | 0.7 | 0.6 | 0.5 | 0.3 | 0.2 | =(0.6≠1) | |
| 1.9 | 1.8 | 1.8 | 1.7 | 0.5 | 0.3 | 0.2 | <(1.8<2.7) | |
| 1.9 | 1.8 | 1.8 | 1.7 | 0.5 | 0.3 | 0.2 | >(1.8<4.5) | |
| 2.5 | 2.3 | 2 | 1.8 | 1.7 | 0.5 | 0.3 | 0.2 | <(2.3<6.5) |
| 2.5 | 2.3 | 2 | 1.8 | 1.7 | 0.5 | 0.3 | 0.2 | >(2.5<8.8) |
| 10.1 | 2.3 | 1.8 | 1.7 | 0.5 | 0.3 | 0.2 | 
| |
| 0.53 | 0.12 | 0.11 | 0.09 | 0.09 | 0.03 | 0.02 | 0.01 |
Варианты заданий
3.1 Записать интегральный критерий эффективности СТК для m=3 и n=8, если оценки получены методом ранжировки (Таблица 4). Определить согласованность экспертов.
Таблица 4 – Варианты заданий
| Критерий | 1 Эксперт | 2 Эксперт | 3 Эксперт | ||||||||
| места | |||||||||||
| 1,78 | 4,6 | 2,5 | 3,5 | 6,8 | 1,4 | 2,7 | 1,6,8 | 4,7 | 2,3,5 | ||
| 3,4 | 1,5 | 2,8 | 6,7 | 4,5 | 1,6,8 | 2,7 | 2,3,7 | 1,5,6 | 4,8 | ||
| 3,6 | 4,5,8 | 1,2 | 1,3 | 2,5,6 | 4,7 | 1,4,7 | 2,5,8 | 3,6 | |||
| 1,5 | 2,6 | 3,7 | 4,8 | 1,5 | 3,7 | 4,8 | 2,6 | 1,2,З | 4,8 | 5,6,7 | |
| 1,8 | 4,5,6 | 2,7 | 3,5 | 1,2,7 | 4,6 | 4,5 | 1,2,8 | 3,6,7 | |||
| 3,7 | 2,5 | 1,6 | 4,8 | 4,8 | 1,2,З | 5,7 | 1,2,5 | 6,7,8 | 3,4 | ||
| 1,2,3 | 6,8 | 4,7 | 1,5,6 | 3,7,8 | 1,4,5,6 | 2,8 | 3,7 | ||||
| 2,5 | 1,4,7,8 | 1,3 | 2,6 | 4,7 | 3,5 | 4,6 | 1,2,7,8 | ||||
| 2,3 | 5,8 | 2,6 | 4,7 | 1,5,6 | 2,3,4 | 3,4 | 1,2,5,6 | 7,8 | |||
| 4,5 | 1,2 | 3,7,8 | 6,7 | 1,2,4 | 3,5 | 1,3 | 5,6,7,8 | 2,4 | |||
| 1,2,3,4 | 5,6 | 1,4,5 | 2,6 | 3,7 | 1,4,5 | 6,7 | 2,3,8 | ||||
| 4,8 | 3,7 | 2,6 | 1,5 | 3,6,7 | 1,4 | 2,8 | 2,5 | 3,4,6,8 | 1,7 | ||
| 2,4,6 | 1,8 | 3,7 | 4,7,8 | 2,3 | 1,5 | 4,7 | 2,8 | 1,3,5,6 | |||
| 6,8 | 1,2,5 | 4,7 | 2,3,6 | 1,7,8 | 2,3,5,7 | 1,8 | 4,6 | ||||
| 4,6,7 | 3,5,8 | 1,3 | 4,8 | 2,6,7 | 2,4,6,8 | 3,5,7 | |||||
| 2,4,5 | 1,6 | 3,7,8 | ---- | 4,5,7 | 2,3,8 | 3,4,5 | 1,6,7,8 | ||||
| 3,7 | 1,2,4 | 6,8 | 4,6,7 | 1,3,8 | 2,5 | ---- | 1,2,3,4 | 5,6,7 | |||
| 1,2,5 | 6,7 | 3,8 | 3,7,8 | 4,5,6 | 3,5,6,8 | 1,2,4,7 | |||||
| 4,5 | 1,6,7 | 2,3,8 | ---- | 1,2,8 | 5,6,7 | 5,6 | 3,4,7 | 1,2,8 | |||
| 5,6 | 2,4,8 | 1,3 | 2,6 | 1,3,4 | 5,7,8 | 2,5,7 | 1,3,4 | 6,8 | |||
| 2,3,4 | 1,5 | 6,7 | 1.7 | 2,3 | 4,5,6 | 3,4,6,7 | 1,2,5,8 | ---- | |||
| 4,5 | 1,2,3 | 6,7,8 | ---- | 4,8 | 6,7 | 1,2,3 | 3,7,8 | 1,2 | 4,5,6 | ||
| 1,5 | 2,6 | 3,7 | 4,8 | 2,3,8 | 1,6,7 | 4,5 | 2,3,4 | 1,5 | 6,7,8 | ||
| 1,2,3,4 | 6,7 | 1,8 | 3,4,6,7 | 4,5,6,7, | 1,2,З,8 | ---- | |||||
| 6,7 | 4,5 | 1,2,3,4 | 1,2 | 3,4 | 5,6 | 7,8 | 4,5 | 1,2,3 | 6,7,8 |
3.2 Решить задачу получения экспертных оценок методом
последовательных приближений. Число частных критериев n =8, m =l. Придумать первичный ряд оценок самостоятельно (наивысшая оценка – 1, наименьшая – 0) и уточнить их с помощью системы решений, заданной вариантом (Таблица 5).
Таблица 5 – Варианты заданий
| № вар. | Отношения | |||||
| < | > | > | < | < | = | |
| < | < | > | > | = | > | |
| < | < | < | > | > | > | |
| < | < | > | > | < | < | |
| > | < | > | < | > | = | |
| > | > | < | < | < | < | |
| = | = | < | > | > | = | |
| < | < | > | > | < | < | |
| < | = | > | > | = | > | |
| < | < | = | = | < | > | |
| < | > | < | > | < | > | |
| > | = | = | < | < | > | |
| < | < | < | = | > | = | |
| < | < | = | = | > | > | |
| > | < | < | < | < | = | |
| > | > | < | < | = | < | |
| < | < | = | = | > | = | |
| < | < | < | > | > | > | |
| < | = | > | = | < | > | |
| < | > | > | > | < | < | |
| > | = | < | = | = | < | |
| < | < | > | > | > | = | |
| < | < | = | = | < | > | |
| < | > | > | < | < | < | |
| < | < | > | > | = | = |
3 Контрольные вопросы
1. Назовите основные критерии эффективности системотехнических комплексов.
2. Назовите методы построения обобщенных критериев эффективности.
3. Как определяется согласованность экспертов, имеющих разные квалификации?
4. Дайте определение ранга, оценки критериев и весового коэффициента.