Как отмечалось в предыдущем пункте, оценка эффективности образовательного проекта подразумевает анализ системы разного рода показателей. Действительно, образовательный проекта затрагивает различные сферы деятельности: управленческую, обучающую, политическую, маркетинговую и др. Он может различаться по масштабу: на уровне одного образовательного учреждения или их сети, на уровне одного региона или в масштабах всей страны. Привлекаемые для разработки и внедрения образовательного проекта ресурсы, также представляют собой сложную комбинацию различного вида ресурсов: финансовых, управленческих, методических, административных, организационных и др.
Чем более детально оцениваются результаты и затраты по проекту, тем больше показателей включает в себя подобная система. Именно многообразие показателей может приводить к тому, что сравнение показателей «в целом» вызывает определенные сложности. Поэтому в отдельных направлениях сферы образования все чаще применяются интегральные оценки. Смысл подобных оценок состоит в том, чтобы не только оценивать каждый показатель в отдельности, но и в том, чтобы на основании значений всех показателей рассчитать некоторую величину, значение которой позволит сделать вывод о результате «в целом». В качестве примера подобных оценок можно привести введение балльно-рейтинговой системы оценки знаний студентов, расчет заработной платы преподавателей на основе эффективного контракта, составление рейтинга вузов и т.п. Несмотря на то, что в научной и учебно-методической литературе утверждается, что обоснование эффективности образовательного проекта должно учитывать достаточно широкую систему показателей (финансовых, социальных, научно-технических и т.д.), стандартизированного подхода к построению интегральной оценки эффективности образовательных проектов пока не представлено.
В то же время в научной и учебно-методической литературе ([Маз], [Матв], [Сафр], [Кир], [Гус], [Кар1], [Кар2], [Нов] и др.) достаточно детально описаны различные методы построения интегральных оценок, в основном, для решения задачи о выборе оптимальной альтернативы на основании множества показателей (как количественных, так и качественных) при принятии управленческих решений. Однако непосредственное использование предлагаемых интегральных моделей для оценки эффективности реализации образовательного проекта представляется нецелесообразным, поскольку они могут не учитывать его специфику. Чтобы установить, степень необходимой модификации предлагаемых моделей интегральных оценок, нужно четко определить, что именно понимается под эффективностью реализации проекта.
В современной литературе представлены различные определения понятия «эффективность», например:
· отношение эффекта, результата к затратам, обусловившим его получение [Кура];
· степень реализации запланированной деятельности и достижения запланированных результатов и связь между достигнутым результатом и использованными ресурсами [Крат].
Таким образом, просматривается различие между понятиями «эффективность» и «результативность». В общем виде это различие заключается в следующем [Исо]:
· результативность отражает степень достижения запланированного результата;
· эффективность отражает связь между достигнутым результатом и использованными ресурсами..
Следовательно, для оценки эффективности реализации проекта недостаточно оценить степень достижения поставленных целей (результатов). Достижение результатов (пусть даже очень существенных) может быть сопряжено с такими большими затратами, что внедрение проекта представится нецелесообразным, т.е. проект должен быть признан неэффективным. Поэтому для оценки эффективности реализации проекта необходимо не только оценить полученные результаты, но и рассчитать их соотношение с произведенными затратами. Однако, как уже отмечалось выше, показатели результативности и затрат образовательного проекта имеют различную природу и могут не выражаться количественно. Поэтому возникают сложности в оценке подобного соотношения.
Этим во многом объясняется тот факт, что при оценке эффективности проектов часто предлагается использовать только экономические (финансовые) показатели. В этом случае трактовка эффективности как отношения «результат/затраты», понимается как обычное математическое соотношение двух количественных величин. Методика расчета финансовой эффективности достаточно подробно разработана и представлена в научной и учебно-методической литературе ([Ков], [Влад] и др.). Помимо указанного соотношения (в инвестиционном анализе оно называется индексом доходности и обозначается PI) рассчитываются и другие показатели, например: чистый дисконтированный доход (NPV), внутренняя норма доходности (IRR), срок окупаемости (PP) и др. Расчет показателей может производиться с помощью финансовых калькуляторов on-line, находящихся в свободном доступе [Фин], а также с помощью специальных пакетов прикладных программ. Однако, как уже отмечалось, такой подход представляется слишком узким для оценки эффективности реализации образовательного проекта.
Несмотря на то, что в научной и учебно-методической литературе предлагаются различные подходы к построению интегральной оценки эффективности реализации проектов в сфере образования ([Бура], [Гонч], [Гус], [Кир], [Кова], [Ром] и др.), имеются определенные противоречия между предлагаемыми моделями оценок и теми требованиями, которым эти оценки должны удовлетворять.
М.А. Буралова и Н.Ч. Гусейнова [Бур] при оценке эффективности образовательного проекта предлагают рассматривать отдельно целевую и экономическую оценки образовательных проектов, но не поясняют, каким образом должны быть сопоставлены неэкономические результаты и затраты. В работах Е.В. Бадеевой [Бад], А.И. Гусевой, Е.Б. Весна [Гус] анализируются различные подходы к оценке эффективности образовательного проекта и доказывается, что наиболее предпочтительно для оценки эффективности использовать систему сбалансированных показателей (ССП), включающую финансовые показатели, а также показатели, не имеющие стоимостного выражения: удовлетворенность потребителей и персонала организации, эффективность внутренних процессов организации и т.п. Однако в тех же работах отмечается, что учет нефинансовых затрат представляется затруднительным и поэтому оценка эффективности осуществляется путем сравнения целевых показателей до и после внедрения проекта.
Подход, основанных на сравнении результатов до и после внедрения проекта (метод добавленной стоимости) вообще распространен в сфере образования. В частности, целесообразность внедрения определенного новшества оценивать на основании педагогического эксперимента. Особенно это касается небольших по масштабам проектов, связанных, например, с применением новой методики обучения. Выдвигается гипотеза о том, что применение новой методики приведет к значительному улучшению определенных показателей (например, уровня сформированности некоторых компетенций). Для обоснования гипотезы создается экспериментальная группа (к которой применяется новая методика) и контрольная группа, а затем полученные результаты сравниваются. Таким образом, эффективность от внедрения инновации оценивается после того, как она была опробована на практике. Однако подобный подход к оценке эффективности часто применяется при реализации крупных образовательных проектов, поскольку охарактеризовать следственную связь между затратами и ожидаемым результатом для них гораздо сложнее, чем для проектов инвестиционных. Таким образом, оценка эффективности реализации образовательного проекта подменяется оценкой его результативности.
Отметим еще одно отличие в подходе к оценке эффективности реализации образовательных проектов от проектов экономических. Разработка проекта в экономической сфере (в частности, инвестиционного проекта) подразумевает составление бизнес-плана, в котором дается предварительное заключение – вывод о целесообразности внедрения проекта. При этом предполагаемая прибыль рассчитывается при различных состояниях внешней среды, т.е. производится количественная оценка риска проекта. Необходимость подобного заключения вызвана тем, что инвестор не выделит средства, пока не получит обоснование того, что эти средства окупятся.
По аналогии с проектами в экономической сфере следует ожидать, что оценка эффективности реализации образовательного проекта должна содержать заключение о его целесообразности до того, как проект «запущен». Но в сфере образования, как уже отмечалось, оценку эффективности часто сводят к сравнению результативных показателей до и после внедрения проекта. Даже в том случае, когда производится оценка затрат, интегральная оценка часто не отражает их соотношения с предполагаемыми результатами.
Разумеется, оценка полученных результатов и сравнение их с ожидаемыми (или теми, которые имели место до внедрения проекта) достаточно важна. Однако представляется целесообразным проводить оценку эффективности проекта по внедрению новых образовательных программ по аналогии с бизнес-планами инвестиционных проектов. Оценка эффективности, рассчитываемая после реализации проекта, представляет фактическую эффективность. Сравнение предполагаемой и фактической эффективности позволяет сделать вывод о том, насколько корректно была построена модель расчета предполагаемой эффективности. Существенное расхождение между предполагаемой и фактической оценкой эффективности свидетельствует о недостаточном учете рисков либо о необходимости внесения изменений в систему результативных и затратных показателей и методику их сопоставления.