ЛСП: оценка проекта.
Оценка определяется как периодическое оценивание в контексте поставленных целей адекватности, продуктивности, эффективности, влияния, экономической и финансовой жизнеспособности проекта и его способности к самофункционированию. Цель оценки – выявить насколько проект соответствовал прямым задачам и более широким задачам секторной программы, частью которой он является. Оценка использует обычные отчеты, составленные во время выполнения, и может включать дополнительные исследования, проводимые внешними наблюдателями или специально созданными миссиями.
Критерии оценки.
Главной проблемой, встающей перед любой оценкой, является выбор критериев. В качестве критериев для Европейского союза обычно используются следующие:
Адекватность – соответствие целей проекта проблемам, на решение которых был направлен проект, а так же физической и политической среде его осуществления.
Экономичность – стоимость и качество ресурсов проекта (человеческих и материальных).
Продуктивность – эффективность затрат, с которой ресурсы и действия преобразовывались в результаты, а также качество достигнутых результатов проекта.
Эффективность – оценка степени вклада ресурсов в достижение индивидуальных целей проекта, влияние допущений на достижения в рамках проекта.
Воздействие – вклад проекта в достижение более широких целей в масштабе в масштабе сектора, обобщенно указанных в качестве общих целей проекта, а также целей общего развития.
Экономическая и финансовая жизнеспособность – социальные затраты и полезность в плане влияния проекта на распределение доходов, макроэкономические, бюджетные и прочие «макро» - переменные.
Самофункционирование – вероятность продолжающейся пользы от проекта, в частности, продолжения мероприятий проекта и достижения результатов с учетом фактора политической поддержки, экономических и финансовых факторов, социально-культурных аспектов и институционных возможностей.
Процедура оценивания тесно связана с логико-структурной схемой.
Этапы проведения оценки следуют иерархической структуре задач проектного плана.
Оценка расходов.
Сравнение реальных затрат ресурсов с планом составляет основу анализа несоответствия. Эта информация будет включена в отчеты о ходе выполнения. Такие отчеты являются основным источником информации, используемой для оценки.
Действия.
Действительный график и завершение в сравнении с планом. Были ли задержки и экономия времени? Какое воздействие на проект оказали отклонения от плана? Эта информация будет включена в мониторинг и отчеты о ходе выполнения. Действия по преодолению проблем и независимая оценка хода выполнения будут очевидны из отчетов, произведенных внешними наблюдателями.
Результаты.
Показатели непосредственных результатов мероприятий проекта в сравнении с планом. Многие из этих показателей будут показателями процесса, которые определяют удачность выполнения какой либо задачи. Другие же будут являться показателями определенных целей. Третий уровень – это показатели продуктивности ведущихся в рамках проекта действий.
Показатели продуктивности сравнивают реальные затраты ресурсов в пропорции к реальным результатам. Большая часть этой информации будет доступна из проектной документации и будет включена в отчеты о ходе выполнения. Расчет этих пропорций позволит провести сравнения по всему объему проекта, для того чтобы увидеть, улучшилось ли выполнение, и сравнение с другими проектами.
Индивидуальные цели.
Показатели достижения целей проекта посредством получения результатов. Эти показатели эффективности демонстрируют, достиг или не достиг проект своих непосредственных целей и может ли деятельность в рамках проекта перейти в самофункционирование. Если действительная продуктивность не соответствует плану в достаточной мере, проводящий оценку персонал продолжает исследования. Является ли слабая продуктивность результатом проблем, вытекающих из начального анализа проблем, из плана проекта или его выполнения? Наиболее важными для самофункционирования являются здесь три фактора. Насколько точно был оценен организационный и управленческий потенциал проекта? Насколько были исполнены необходимые обязательства по поддержке? Насколько адекватно оценена финансовая жизнеспособность предложенной организации? И, наконец, в процессе оценки должны проверяться стандарты и качество произведенных в рамках проекта товаров и услуг с точки зрения партнеров.
Общие цели.
Конечной стадией является оценка вклада проекта в более широкие задачи сектора, определенные индикативной программой и программой действий. Поскольку каждый проект является лишь одним из элементов в программе действий, оценка общих задач может быть наилучшим образом проведена как часть тематической или секторной оценки.
Возможности оценки.
Принцип, принятый многими учреждениями, включая Мировой банк, европейскую Комиссию, заключается в программировании официальных отчетов о конечной оценке на конкретных стадиях проектного цикла с проведением дополнительных исследований при возникновении проблем. Среди отдельных отчетов характерны следующие отчетности.
Промежуточная оценка (в середине проекта), в случае, если продолжительность проекта больше 15 месяцев. Задачей таких отчетов является обзор хода выполнения и предложение поправок к задачам и действиям.
Заключительная оценка (по завершении проекта), для документирования использованных ресурсов, результатов и прогресса по отношению к задачам. Целью является извлечение уроков из проекта, которые могут быть использованы для улучшения планов проектов в будущем.
После завершения (экс – пост). Такая оценка предпринимается через некоторое время после завершения выполнения, возможно, через два – три года. Основной задачей является изучение эффекта, оказанного на организацию – партнера и конечных получателей по прошествию времени, достаточного для налаживания самофункционирования.
Протокол оценки.
Все участники должны ясно представлять себе цели и масштаб оценки. Это предусматривает четкое определение, данное в проекте, каким образом будет использоваться предназначенная для оценки информация. Следует провести консультации, с тем, чтобы убедиться, что в первоначальном предложении по проекту и в плане работы учтены потребности всех участвующих в проведении оценки сторон.
До начала проведения оценки следует подготовить всю необходимую документацию, с тем, чтобы представить базовую информацию по основным, подлежащим оценке положениям. Примерами такой документации являются: описание проекта, задачи и цели проекта, матрица логико-структурной схемы, хронологическое представление фаз проекта, обзор расходов бюджета, копии основных документов, задачи и реальные результаты по различным видам микропроектов и любые другие детали, связанные с осуществлением проекта.
Оценка: МППА.
Рассмотрим более подробно понятия и процедуры оценивания в Проекте МППА.
Оценка определяет, в какой степени проект достиг четко сформулированных целей. Ее следует рассматривать не как «вынесение приговора», а как обучающий момент. Оценка успеха менее чем на 100 % может помочь организации избежать ошибок в будущем. Если оценка произведена в середине проекта, поучительный опыт может быть интегрирован в этот же проект. Итоговая оценка поможет успешной работе над будущими проектами.
Для проведения оценки проекта в логике МППА совсем не обязательно, чтобы проект планировался в соответствии с особой логикой. Необходимо только, чтобы организация и проектная группа согласились на оценку своей работы в соответствии с этой логикой в присутствии всех заинтересованных сторон.
Как только такое соглашение достигнуто, любой проект, даже не относящийся к МППА может использовать оценку для повторного планирования и трансформации проекта в тщательно спланированный проект МППА. В этом случае Совещание 2 по оценке становится семинаром по планированию, в конце которого совместно разрабатываются логико-структурная схема и план реализации проекта.
Для обычной оценки МППА не имеет значения, имеем ли мы дело с промежуточной или итоговой оценкой, или даже оценкой «постфактум». Все они требуют предварительного проведения двух семинаров, каждый по два-три дня, а также промежуточного, как минимум, двухнедельного периода, для сбора дополнительной информации и проведения анализа. Последовательность таких семинаров строго соответствует последовательности семинаров по планированию, описанных выше.
Процедура оценки Проекта МППА гарантирует достижение трех видов консенсуса:
• Единодушие в выборе метода (оценка, основанная на принципе широкого участия).
• Единодушие в выборе критериев, по которым оценивается успех проекта.
• Единодушие по вопросу оценки успеха проекта.
Процесс оценки осуществляется быстрее, если он следует внутренней логике плана проекта. Далее он сводится к простой проверке определенных критериев (при условии, что они были выработаны и утверждены заранее), так же как это происходит в стандартной процедуре Проекта МППА. В этом случае Совещание 1 по оценке может постановить, что имеющаяся информация позволяет всем заинтересованным сторонам прийти к соглашению по вопросу оценки достижений, опираясь на определенные критерии. Если все участники согласны с тем, что критерии, выработанные на стадии планирования, охватывают все аспекты проекта и проектом предоставлена вся необходимая информация, Совещание 1 по оценке может определить степень успеха проекта путем обсуждения имеющейся информации по заранее утвержденной схеме. Преимуществом Проекта МППА по-прежнему является принцип широкого участия. Таким образом, обсуждение достижений проводится совместно и открыто, что ценится значительно больше, чем мнение внешнего эксперта, как это принято в ЛСП.
Однако мнение независимого эксперта также не лишнее. Оценке, проведенной только участниками проекта, зачастую не хватает глубины. Человек со стороны всегда привносит свежий, независимый взгляд и суждения, что лишь усиливает обучающий эффект оценки.
Тем не менее, опыт показывает, что не желательно ограничивать процесс оценки лишь деятельностью внешних экспертов. Более широкий взгляд на вещи достигается, когда оценка распространяется за пределы проекта, «заглядывая вперед» или «оглядываясь назад». Если попытаться пересмотреть проект с самого начала в свете накопившихся проблем, можно увидеть значительно больше. Тогда оценка будет не простой констатацией эффективности проекта, она сможет также обосновать его целесообразность. Вместо того чтобы следить за тем, как продвигается работа над проектом, лучше попытаться выяснить, в правильном ли направлении она продвигается.
Во время проведения Совещания 1 по оценке проекта МППА участники обсуждают критерии (показатели) оценки проекта.
Следует отметить, что внешний эксперт может иметь свои собственные критерии, которые, возможно, соответствуют стандартным показателям определенных международных фондовых организаций. Их можно просто добавить к общему списку критериев, выработанному на Совещании 1 по оценке. Можно также использовать существующие «стандартные» критерии (в сфере образования, например). И все же, гораздо лучше пересмотреть «логику промежуточного периода» проекта и взять критерии оттуда.
Вся информация, собранная в промежуточный период, должна быть доведена до сведения участников задолго до Совещания 2 по оценке, что даст им время на изучение этих материалов до начала совещания. Во время проведения Совещания 2 по оценке участники анализируют информацию и на основе выработанных ранее показателей могут теперь объективно оценить степень достижения цели.
В случае оценки проекта, первоначально запланированного не на основе МППА, заключительная часть второго семинара используется также для составления логико-структурной схемы и плана реализации проекта, как это делается на обычном семинаре по планированию. Это легко достигается с помощью имеющегося общего анализа и выработанных критериев оценки. Для этого требуется пересмотр имеющихся целей и мероприятий с целью учета дополнительных данных, полученных во время проведения оценки. Достичь этого можно лишь при участии в Совещании 2 по оценке всех, уполномоченных принимать решения, точно так же, как и при проведении Семинара 2 по планированию.
Подведем итоги: оценку в МППА следует расценивать не как анализ недостатков и результатов проекта, а как возможность научиться на своих ошибках, что позволит:
• Улучшить качество менеджмента самого проекта;
• Исправить ошибки, допущенные на разных стадиях проекта;
• Повысить технический потенциал партнеров;
• Повысить технический потенциал всех учреждений, участвующих в планировании, реализации и оценке проекта;
• Избежать повторения ошибок, допущенных другими проектами;
• Стимулировать секционное, межсекционное и межнациональное обучение;
• Повысить способность определения и управления рисковыми ситуациями, сводя их до минимума;
• Пересмотреть цели проекта в случае появления новых обстоятельств или необходимости повысить эффективность проекта.