Построение интегральной модели оценки эффективности реализации образовательного проекта

 

Оценка эффективности реализации проекта должна выражаться количественно, поэтому смысл построения интегральной модели оценки эффективности реализации образовательного проекта (далее – оценки эффективности) заключается в выборе математической модели, позволяющей адекватно оценить эффективность проекта. Выбранная математическая модель должна также быть достаточно универсальной и сравнительно простой.

Универсальность модели заключается в ее несложной модификации в зависимости от специфики проекта. Простота характеризуется тем, что методика расчетов и возможности модификации должны быть доступны для пользователя без специального математического образования. При этом представляется целесообразным сохранить в модели стандартный подход к оценке экономической эффективности проекта.

В предыдущем пункте отмечалось, что интегральная оценка должна строиться на основании экономических и социальных показателей путем сопоставления результатов от внедрения проекта и необходимых затрат. Для осуществления подобного сопоставления необходимо осуществить переход от целей к критериям (показателям), которые можно рассматривать как количественные модели качественных целей. Иными словами, цели просто формулируются, а критерии измеряются в тех или иных шкалах. Сформированные критерии в дальнейшем как бы в некотором смысле замещают цели, поэтому от них требуется возможно большее соответствие целям, сходство с ними. Но в то же время критерии не могут полностью совпадать с целями, поскольку они фиксируются по-разному и способы их задания могут приводить к существенному различию интегральной оценки. Поэтому очень важно самым детальным образом описать методику сопоставления целей образовательного проекта и количественных показателей (критериев).

Анализ работ, посвященных разработке подобной методики в сферах менеджмента и управления ([Маз], [Матв], [Сафр], [Кир], [Гус], [Кар1], [Кар2], [Нов] и др.), показывает, что общий смысл сопоставления целям количественных показателей и построения на их основе интегральных оценок заключается в следующем. Отдельные показатели должны быть приведены к соизмеримому виду, т.е. подвергнуться нормированию. Нормированное значение обычно измеряется в диапазоне [0; 1], причем значения 0 и 1 соответствуют наименьшему и наибольшему значениям показателя соответственно. Например, показатель отражает степень достижения определенного результата, то значение 0 свидетельствует о том, что результат не достигнут вообще, а значение 1 – что результат достигнут в полной мере. В частности, если признак является альтернативным, то он измеряется в дихотомической шкале, принимая значения 0 и 1. Затем на основании нормированных значений рассчитывается интегральная оценка как среднее значение показателей (по методу справедливого компромисса, равномерной оптимальности и т.п.). Если необходимо дифференцировать показатели по степени значимости, то каждому показателю присваивается вес и интегральная оценка рассчитывается как средневзвешенная.

Анализ научных работ, посвященных применению математико- статистических методов в педагогических исследованиях, показывает, что многие исследователи считают, что для сопоставления большого числа показателей наиболее целесообразно использовать метод анализа иерархий Саати. В.С. Киреев [Кир] отмечает, что данный метод хорошо себя зарекомендовал в различных сферах деятельности и, в частности, в сфере образования. А.И. Гусева и Е.Б. Весна [Гус], анализируя различные подходы к построению интегральных оценок для эффективности сетевых образовательных программ, указывают преимущества метода иерархий. Т. Саати в своей работе [Саати], опубликованной в 1993 году, в качестве примера применения описываемого им метода иерархий рассматривает модель планирования будущего высшего образования в США на 1995-2000 гг. М.Г. Коляда и Т.М. Бургаева в [Коляда] в качестве практического применения метода иерархий Саати приводят следующие примеры задач из педагогической практики: обобщенный анализ и распределение образовательных и информационных ресурсов по схеме: «эффективность занятия – затраты на его подготовку», «качество знаний обучаемых – время на их усвоение», «продуктивность педагогической технологии – стоимость на ее реализацию», планирование и поиск разного рода компромиссов в образовательном и воспитательном процессах, оценка качества разного рода образовательных объектов (например, при аттестации педагогических работников или координации образовательных услуг учебного заведения), исследования востребованности той или иной специальности высшего (среднего) профессионального учебного заведения на рынке образовательных услуг.

Смысл данного метода заключается в построении многоступенчатой иерархической схемы показателей. На каждом уровне иерархии показателям присваиваются коэффициенты значимости (веса), принимающие значения от 0 до 1. Суммы коэффициентов значимости на каждом уровне иерархии должны быть равны 1. Значения этих коэффициентов могут определяться, например, на основании экспертных оценок. Данный метод достаточно подробно представлен в учебно-методической и научной литературе ([Горш], [Шик] и др.) и может быть легко алгоритмизирован, поэтому в рамках данной работы мы опускаем его описание. Таким образом, на каждом уровне иерархии рассчитывается средняя оценка показателей с учетом их веса.

Таким образом, для построения модели оценки эффективности реализации образовательного проекта целесообразно использовать метод иерархии Саати. Значение интегральной оценки, находящейся на первом уровне иерархии, должно представлять собой сопоставление получаемых результатов и произведенных затрат. Однако на втором уровне иерархии целесообразно выделить не результаты и затраты, а две оценки эффективности: экономическую и социальную. Объясняется это тем, что методика оценки экономической эффективности проекта детально разработана и представлена в учебно-методической литературе ([Глуш], [Ков], [Кос] и др.). Экономическая эффективность проекта основывается на показателях, имеющих реальное стоимостное выражение:

§ индекса доходности PI;

§ срока окупаемости PP;

§ внутренней нормы доходности (IRR), характеризующую степень риска окупаемости проекта.

Показатель PI принимает положительные значения. Если PI ≤1, то проект не окупается с финансовой точки зрения, если PI >1, то окупается. Финансовая неокупаемость проекта является веским основанием для признания его неэффективным. Поэтому представляется целесообразным ввести пятибалльную шкалу для оценки PI:

Таблица 1.

Определение нормированной оценки коэффициента окупаемости.

PI	<1	(1; 2)	(2; 3)	(3;4)	(4; 5)	> 5
Оценка финансовой окупаемости	неокупаемость	низкая	средняя	выше средней	высокая	очень высокая
нормированное значение финансовой окупаемости,		0,2	0,4	0,6	0,8

 

Cрок окупаемости также играет достаточно важную роль, поэтому он должен быть «заложен» в оценке экономической эффективности проекта. Однако ввести подобную PI количественную градацию для его значений в общем случае сложно. Все зависит от специфики проекта. Поэтому предлагается следующая шкала:

Таблица 2.

Определение нормированной оценки сроков окупаемости

PP	неокупаемость	длительная окупаемость	среднесрочная окупаемость	быстрая окупаемость	очень быстрая окупаемость
нормированное значение сроков окупаемости,		0,25	0,5	0,75

 

Показатель внутренней нормы доходности IRR характеризует степень риска проекта с точки зрения его окупаемости. Если IRR принимает значения, меньшие ожидаемого уровня инфляции, это свидетельствует о неокупаемости проекта, т.е. проект может быть признан неэффективным. Если IRR превышает ожидаемый уровень инфляции, то предлагается ввести следующую шкалу для нормированной оценки IRR (обозначим уровень инфляции через h):

Таблица 3.

Определение нормированной оценки внутренней нормы доходности

IRR	до h	(h; 2 h)	(2 h; 3 h)	(3 h; 5 h)	Более 5 h
Характеристика риска	не окупаемость	высокий уровень риска	средний уровень риска	низкий уровень риска	Практически безрисковой проект
Нормированное значение внутренней нормы доходности,		0,25	0,5	0,75

 

Таким образом, оценку экономической эффективности реализации образовательного проекта можно представить в виде средневзвешенной величины:

,

где , и – коэффициенты значимости коэффициента окупаемости, сроков окупаемости и внутренней нормы доходности соответственно. Оценка экономического эффекта имеет положительную направленность и принимает значения из промежутка [0; 1].

Как уже говорилось выше, нефинансовые результаты и затраты от внедрения проекта обычно не имеют явного количественного выражения, и стандартизированного подхода к оценке социальной эффективности проекта нет. Поэтому предлагается на третьем уровне иерархии выделить оценки нефинансовых результатов и нефинансовых затрат.

Поскольку «первым условием, определяющим необходимость появления на рынке того или иного проекта, является спрос на него» [Домр], в качестве важной оценки нефинансовых результатов любого образовательного проекта следует считать востребованность проекта. Востребованность проекта может оцениваться на основании субъективных показателей его участников и потребителей, а также объективных оценок, опирающихся на статистическую информацию, нормативные и законодательные документы и т.п. Кроме того, для оценки нефинансовых результатов должны использоваться специализированные показатели, т.е. показатели, определяемые целями проекта.

При оценке нефинансовых затрат возьмем за основу перечень, предлагаемый Л.Н. Борониной и З.В. Сенук [Бор]. Ими выделены следующие типы затрат (ресурсов):

Таблица 4.

Структура затрат (ресурсов) образовательного проекта

Тип затрат (ресурсов)	Составляющие ресурсов
Интеллектуальные	Необходимый уровень знаний субъектов проектной деятельности
Материально-технические	Наличие помещения, оборудования, технических средств, канцелярских принадлежностей и т.п.
Профессиональные	Профессиональный уровень проектной команды
Правовые	Наличие нормативно-правовых документов, обеспечивающих реализацию проекта
Управленческие	Наличие менеджеров команды, способных двигать проект
Нравственно-волевые	Инновационная готовность персонала
Информационные	Наличие системы поиска регулярной информации
Технологические	Наличие необходимых технологий

 

Мы выделим следующие группы показателей затрат:

– материально-технологические (материально-технические, технологические, информационные);

– связанные с человеческим потенциалом (управленческие, интеллектуальные, профессиональные, нравственно-волевые).

Отдельные показатели нефинансовых затрат определяются в зависимости от специфики проекта. К ним относятся наличие необходимых ресурсов (материально-технической базы, педагогических кадров, учебно- методической литературы и т.п.).

Таким образом, оценка нефинансовых затрат может проводиться как до, так и после реализации проекта.

На рисунке 1 иерархию показателей, на основании которых рассчитывается интегральная оценка эффективности реализации образовательного проекта.

 

Рис.1. Иерархическая система показателей для расчета

интегральной оценки эффективности реализации образовательного проекта

Для расчета средней оценки нефинансовых результатов и затрат все отдельные их показатели нужно выразить количественно и привести к сопоставимому виду. Такая операция называется нормированием показателей.

Каждый показатель может быть атрибутивным (качественным, измеренным в порядковой шкале), количественным или альтернативным.

· если показатель альтернативный, то он отражает наличие либо отсутствие некоторого признака. Поэтому он измеряется в двоичной шкале, принимая значения 0 и 1. Если показатель имеет положительную направленность, то значение 1 означает, что признак имеет место, а значение 0 – что признак отсутствует. Если показатель имеет отрицательную направленность, то наоборот, значение 0 означает, что признак имеет место, а значение 1 – что признак отсутствует.

· если показатель атрибутивный (измеренный в порядковой шкале), то вводится количественная шкала для измерения его значений. Например, может быть введена следующая шкала: очень низкое – 0, низкое – 0,25, среднее – 0,5, высокое – 0,75 и очень высокое значение признака – 1.

· если показатель количественный, то ему соответствует явное числовое значение.

Приведение показателей к сопоставимому виду подразумевает операцию нормирования (измерения значения каждого из признаков в промежутке от 0 до 1). Поскольку альтернативные и атрибутивные показатели можно считать нормированными, операции нормирования должны подвергнуться количественные показатели.

Расчет нормированных показателей чаще всего определяется по следующей формуле:

Наибольшее и наименьшее значение показателя могут определяться двумя способами: как минимум и максимум наблюдаемых значений и как значения нормативные. Первый способ применяется в том случае, когда ставится задача из нескольких альтернатив выбрать оптимальную (в рамках рассматриваемой тематики – из нескольких проектов выбрать проект с наибольшим значением эффективности). Однако в данном случае ставится задача оценить эффективность конкретного проекта, поэтому наибольшие и наименьшие значения устанавливаются нормативно, исходя из специфики проекта.

На каждом уровне иерархии отдельным показателям присваиваются коэффициенты значимости и рассчитывается средневзвешенное значение нормированных показателей. Представление показателей в виде иерархической системы предполагает «движение снизу-вверх», т.е. от низшего уровня иерархии к высшему. Сначала рассчитывается средневзвешенная оценка на четвертом уровне иерархии, затем – средневзвешенная оценка на третьем уровне иерархии. Таким образом, появляются оценки нефинансовых результатов и нефинансовых затрат .

Поэтому при переходе ко второму уровню иерархии оценку социальной эффективности проекта можно представить в виде произведения

= ,

где и – коэффициенты значимости результатов и затрат. Эта оценка имеет положительную направленность и принимает значения из промежутка [0; 1]. Получение оценки экономической эффективности проекта описано выше.

Для перехода на первый уровень иерархии (окончательного расчета оценки эффективности реализации проекта) задаются уровни значимости экономической и социальной эффективности. Таким образом, интегральная оценка эффективности реализации проекта представляется в виде взвешенной средней:

= ,

Предлагаемая интегральная модель обладает необходимыми свойства: универсальностью (возможностью ее модификации в зависимости от специфики проекта) и сравнительной простотой с математической точки зрения.

Универсальность модели обеспечивается, во-первых, возможным изменением набора специфических показателей, а во-вторых, возможностью вариации коэффициентов значимости. Изменение коэффициентов значимости позволяет рассматривать различные описанные выше подходы к оценке эффективности проекта как частные случаи данной модели. Действительно, допускается, например, сведение оценки эффективности проекта к оценке его финансовой окупаемости, к оценке его результативности на основании специфических показателей (оценка результатов педагогического эксперимента). Схему расчетов интегральной оценки представим на рисунке 2.

 

Рис.1. Схема расчета интегральной оценки эффективности реализации проекта

 

Кроме того, предлагаемая интегральная модель дает возможность оценить риск проекта. В научной и учебно-методической литературе встречаются различные определения риска, но общий их смысл состоит в том, что риск отражает реальную возможность возникновения некоторой отрицательной ситуации, влекущей за собой несоответствие фактических и ожидаемых характеристик рассматриваемого объекта. Для выявления возможных рисков часто используется метод диаграммы Исикавы [Кане], при котором выделяются следующие причины риска:

· «люди» – причины, обусловленные влиянием человеческого фактора;

· «методы» – причины, обусловленные тем, каким образом делается работа;

· «механизмы» – причины, связанные с оборудованием;

· «материалы» – факторы, определяющие качество материала, участвующего в процессе производства;

· «контроль» – обстоятельства, влияющие на своевременное и надежное обнаружение ошибочных действий;

· «среда» – факторы, обусловленные влиянием внешней среды.

Поскольку в рамках данной работы речь идет о выявлении риска при реализации образовательного проекта, необходимо пояснить, какой смысл будет вкладываться в перечисленные причины риска. Прежде человек, группу причин «материалы» рассматривать нецелесообразно. В таблице 5 приведем сопоставление остальных факторов риска и групп показателей результатов и затрат, представленных на рис. 1.

Таблица 5

Факторы риска образовательного проекта

Фактор риска	Показатели результатов и затрат
«люди»	Показатели ресурсов, связанных с человеческим потенциалом (профессиональные, нравственно-волевые, интеллектуальные)
«методы»	Показатели ресурсов, связанных с человеческим потенциалом (управленческие, профессиональные)
«механизмы»	Показатели материально-технологических ресурсов (наличие помещения, оборудования, программного обеспечения)
«контроль»	Показатели материально-технологических ресурсов (обеспечение поступления своевременной и надежной информации о ходе разработки и реализации проекта)
«среда»	Показатели востребованности проекта (рост конкуренции на рынке образовательных услуг, изменение законодательства и т.п.)

 

Таким образом, диаграмма Исикавы будет выглядеть следующим образом.

Рисунок 3. Диаграмма Исикавы.

Однако выявление причин риска не дает представления о серьезности риска, т.е. о размере его последствий. В целях оценки риска Ф. Найт в своей работе "Risk, Uncertainty and Profit", выпущенной в 1921 году и являющейся одной из самых авторитетных книг по теории риска в мировой литературе, определяет риск как «неопределенность, которую можно измерить» (measurable uncertainty). Стандартизированные количественные методы измерения риска разработаны, в основном, для проектов в экономической области (в частности, инвестиционных проектов). В этом случае анализируемые показатели имеют явное количественное выражение, а оценка риска опирается на вероятностно-математические методы и предполагает наличие информации о законе распределения признаков, являющихся «носителями» риска. Подобный подход является слишком сложным для пользователя, не имеющего специального математического образования. Поэтому в рамках данной работы мы продемонстрируем, каким образом можно измерить риск с помощью предлагаемой интегральной оценки эффективности проекта.

При оценке риска будет опираться на следующее его определение: «риск – возможная опасность потерь» [Бал]. В соответствии с этим определением оценка риска может осуществляться путем расчета сравнения интегральных оценок эффективности при различных сценариях: пессимистическом и наиболее вероятном (ожидаемом). При этом в пессимистический сценарий могут отдельно закладываться неблагоприятные значения отдельных показателей (или группы показателей). Уровень риска проекта с точки зрения этих показателей оценивается путем сравнения ожидаемой и пессимистической интегральных оценок:

Градацию риска представим в таблице 6.

Таблица 6

Оценка уровня риска при реализации проекта

r	до 5%	5% – 10%	(2 h; 3 h)	(3 h; 5 h)	Более 5 h
Уровень риска при реализации проекта	Практически безрисковой проект	Малый уровень риска	Средний уровень риска	Высокий уровень риска	Очень высокий уровень риска

 

Подобным образом можно осуществить сравнение предполагаемой и фактической интегральной оценки эффективности проекта. Степень различия между этими оценками позволяет сделать вывод о том, насколько качественно проведена работа по разработке и внедрению проекта и в какой степени учтены его риски.

Выводы по главе 1

· Под оценкой эффективности образовательного проекта понимается соотношение между достигнутыми результатами и затратами от его внедрения. Цель образовательного проекта затрагивает различные сферы деятельности, поэтому результаты и затраты характеризуются достаточно обширной системой разноплановых показателей, что вызывает сложности в их сопоставлении.

· Под интегральной моделью оценки эффективности реализации образовательного проекта понимается количественная оценка его эффективности на основании системы отдельных показателей его результатов и затрат. Несмотря на то, что необходимость педагогической практики и педагогического менеджмента в подобной оценке эффективности образовательных проектов, стандартизированных процедур построения подобных оценок пока не представлено. В связи с этим на практике оценка эффективности образовательного проекта:

o подменяется оценкой его результативности, т.е. сравнением результативных показателей до и после внедрения проекта;

o сводится к оценке финансовой эффективности проекта (окупаемости проекта);

o ограничивается представлением системы показателей без их детального сопоставления.

· Интегральная модель оценки эффективности реализации образовательного проекта должна удовлетворять следующим требованиям:

o оценивать не только экономический, но и социальный эффект от реализации образовательного проекта в количественном выражении;

o обладать универсальностью с точки зрения возможности модификации в зависимости от специфики конкретного проекта;

o обладать достаточной простотой с математической точки зрения;

o строиться таким образом, чтобы различные применяемые подходы к оценке эффективности проекта (сведение оценки эффективности к оценке окупаемости, к оценке результативности и т.п.) являлись ее частными случаями;

o давать возможность количественно оценить риск проекта как в целом, так и по его отдельным составляющим;

o давать возможность сделать предварительное заключение о целесообразности внедрения проекта.

· Интегральная модель оценки эффективности реализации образовательного проекта, построенная с учетом иерархии отдельных показателей его результатов и затрат с применением метода иерархии Саати, удовлетворяет всем перечисленным требованиям.

 

Глава 2. Экспериментальная оценка эффективности реализации образовательных проектов на основании интегральной модели