Оценка проекта.
Тема: Сравнительный анализ системы оценки результатов в разных методиках проектирования: целенаправленная разработка и менеджмент проектов: логико – структурный подход (ЛСП) и метод прикладного планирования и оценки проектов (МППА).
Содержание.
- Введение: концепция оценки результата в ЛСП и МППА.
- Аннотации: ЛСП и МППА.
- Сравнительный анализ оценки результатов реализации проектов в ЛСП и МППА.
- Выводы: возможности и границы использования системы оценки результата в ЛСП и МППА для образовательных проектов.
Приложения
1. Пособие Темпус. Целенаправленная разработка и менеджмент проектов.
2. Проект МППА. Практическое руководство по Комплексному Проекту Планирования и Оценки. Авторы: Ульрих Шифер, Раиналд Дебель.
Введение: концепция оценки результата в ЛСП и МППА.
Целенаправленная разработка и менеджмент проектов, в основе которых лежит логико-структурный подход, это методические рекомендации по разработке содержания проекта, которые определяют структуру проектного замысла. Эта система основана на жестком определении понятий и логики построения их содержания. В логико-структурном подходе под результатами понимается получаемая в процессе ряда предпринятых действий выходная продукция. Результатами являются достижения, имеющиеся к моменту завершения проекта. Оценка в рамках данного подхода, представляет собой оценивание того, насколько проект соответствовал прямым задачам и более широким задачам сектора, в котором он разрабатывался и осуществлялся. Она предпринимается после выполнения проекта и проводится на основе данных, полученных в результате внутреннего мониторинга. Поэтому результаты в системе оценивания рассматриваются как показатели достижения основополагающих критериев, которые задаются общими требованиями ко всем проектам.
Экономичность – стоимость и качество ресурсов проекта (человеческих и материальных).
Адекватность – соответствие целей проекта проблемам, на решение которых был направлен проект, а так же физической и политической среде его осуществления.
Продуктивность – эффективность затрат, с которой ресурсы и действия преобразовывались в результаты, а также качество достигнутых результатов проекта.
Эффективность – оценка степени вклада ресурсов в достижение индивидуальных целей проекта, влияние допущений на достижения в рамках проекта.
Воздействие – вклад проекта в достижение более широких целей в масштабе в масштабе сектора, обобщенно указанных в качестве общих целей проекта, а также целей общего развития.
Экономическая и финансовая жизнеспособность – социальные затраты и полезность в плане влияния проекта на распределение доходов, макроэкономические, бюджетные и прочие «макро» - переменные.
Самофункционирование – вероятность продолжающейся пользы от проекта, в частности, продолжения мероприятий проекта и достижения результатов с учетом фактора политической поддержки, экономических и финансовых факторов, социально-культурных аспектов и институционных возможностей.
В отличие от целенаправленной разработки и менеджмента проектов, методика планирования и оценки проектов (МППА) это прежде всего методика построения содержания проекта в деятельности. Она основывается на вовлечение всех участников, заинтересованных сторон в планирование самого проекта и выработку критериев и процедур (системы) оценивания. В этом контексте, в МППА представление о результате и его оценивании – это представление о способах организации совместной деятельности для совместного определения результатов (а не их качества, как в случае с ЛСП), определения критериев и процедур их оценивания. Процедура оценки Проекта МППА направлена на достижение трех видов консенсуса:
• Единодушие в выборе метода (оценка, основанная на принципе широкого участия).
• Единодушие в выборе критериев, по которым оценивается успех проекта.
• Единодушие по вопросу оценки успеха проекта.
Проводимый нами сравнительный анализ систем оценивания результатов проекта в ЛСП и МППА, направлен на то, чтобы показать особенности применения данных методик в сфере гуманитарного проектирования.
Аннотация: ЛСП.
Логико-структурный подход (ЛСП) был разработан Агентством Международного развития в США в конце 60-х годов для оказания помощи в планировании, управлении и оценке содействующих прогрессу мероприятий. С того времени этот подход в качестве инструмента планирования и управления был принят большим количеством других учреждений, оказывающих помощь процессам развития. Среди этих учреждений: Сельскохозяйственный банк развития, Датское общество международного развития, Германское общество технического сотрудничества, МОТ, Норвежское общество международного развития, Служба развития зарубежных стран, Шведская служба международного развития и Организация Международного развития ООН.
Определение основных понятий.
.
К определению «целевого планирования» и «целенаправленного менеджмента».
Словарь определяет цель как “предмет стремления”. Смысл постановки целей состоит в том, чтобы определить, что является предметом вашего стремления (желаемая ситуация в будущем), с тем чтобы затем выработать план мероприятий для достижения каждой цели. Этот процесс носит название целевого планирования. Ясность целей позволяет четко определить конечную задачу для всей деятельности в рамках программы, а также провести оценку осуществления проекта. В ходе осуществления проекта ведется его мониторинг, цель которого - установить, способствует ли выполнение проекта достижению поставленных перед ним целей. Если нет, принимаются меры по возвращению проекта в нужное русло. Этот процесс носит название целенаправленного менеджмента.
Логико – структурный подход – это методика планирования, выполнения и оценки программ и проектов, включающая анализ проблем, задач, стратегии, построение логико-структурной матрицы и составление расписания мероприятий и графика использования ресурсов.
ЛСП состоит из аналитической фазы и фазы планирования:
Схема 1: Логико-структурный подход к разработке проекта
| АНАЛИТИЧЕСКАЯ ФАЗА | ФАЗА ПЛАНИРОВАНИЯ |
| ¨ Этап 1: АНАЛИЗ ЗАИНТЕРЕСОВАННЫХ СТОРОН -идентификация групп, отдельных лиц и учреждений, интересы которых проект может затронуть, идентификация их основных ключевых проблем, ограничений и возможностей. ¨ Этап 2: АНАЛИЗ ПРОБЛЕМ - формулировка проблем, определение причинно-следственных связей и построение древа проблем. ¨ Этап 3: АНАЛИЗ ЦЕЛЕЙ - выведение целей из определенных проблем; определение отношений “средства достижения - конечный результат”, объединение целей в группы и определение стратегии проекта. По проведении анализа ситуации проект должен быть готов для проведения детального планирования... | ¨ Этап 4: ВЫВЕДЕНИЕ ЛОГИКИ УЧАСТИЯ - определение составных частей проекта, проверка его внутренней логики, формулировка целей с точки зрения возможностей их измерения. ¨ Этап 5: УКАЗАНИЕ ДОПУЩЕНИЙ И ФАКТОРОВ РИСКА - выявление условий, могущих оказать отрицательное влияние на выполнение проекта и не поддающихся контролю со стороны менеджмента проекта. ¨ Этап 6: ОПРЕДЕЛЕНИЕ ПОКАЗАТЕЛЕЙ - определение способов измерения прогресса, достигнутого в выполнении проекта; формулировка показателей; определение средств измерения. ¨ Этап 7: СОСТАВЛЕНИЕ ГРАФИКА МЕРОПРИЯТИЙ - установление последовательности и взаимозависимости мероприятий, указание их предполагаемой продолжительности; расстановка вех и распределение обязанностей. ¨ Этап 8: СОСТАВЛЕНИЕ ПЛАНА РАСХОДОВ - указание требующихся ресурсов, разработка графика расходов, подготовка подробного бюджета. |
В дополнение к той роли, которую ЛСП играет на этапе подготовки программы и проекта, он является также основным инструментом управления в ходе их претворения в жизнь и оценки. Он представляет собой основу для подготовки планов мероприятий, для разработки системы наблюдения за ходом выполнения, а также контекст, в котором производится оценка.
Основным выходным продуктом ЛСП является логико-структурная схема. Она состоит из матрицы, имеющей четыре колонки и четыре ряда. Вертикальная логика представляет намерение проекта, выявляет причинно-следственные связи и называет важные предполагаемые и неопределенные моменты, не подлежащие контролю со стороны менеджера проекта. Горизонтальная логика относится к измерению результатов проекта и используемых проектом ресурсов, что производится путем определения основных показателей измерения, а также средств проверки правильности этих измерений. Концептуальная модель представлена на схеме 2.
На схеме 2 заголовки колонок определяются следующим образом:
1. Текст - текстуальное описание проекта на каждом из четырех уровней: общих целей, задачи проекта, результатов и действий.
2. Показатели - измеримые показатели на каждом уровне текстуального описания проекта.
3. Измерение - средство регистрации показателей.
4. Допущения - факторы риска и ограничения, могущие оказать отрицательное воздействие на ход выполнения и успех проекта.
Схема 2: Логико-структурная матрица
| Текст | Показатель достижения. | Измерение. | Допущения и риск. |
| Общие цели | Измерения достижения общих целей. | Источники и методы для подтверждения достижений. | |
| Конкретные цели | Измерения достижения конкретных целей. | Источники и методы для подтверждения достижений. | Допущения, влияющие на связь между конкретными и общими целями. |
| Результаты | Измерения достижения результатов. | Источники и методы для подтверждения достижений. | Допущения, влияющие на связь между результатами и конкретными целями. |
| Действия | Требующиеся человеческие и физические ресурсы. | Стоимость человеческих и физических ресурсов. | Допущения, влияющие на связь между действиями и результатами. |
В текстовой части логико-структурной схемы излагается логика участия проекта (если предпринимаются действия, имеют место результаты и таким образом достигаются определенные цели и т.д.), а также указываются лежащие в основе данной логики важные допущения и факторы риска. Таким образом, имеется основа для проверки выполнимости проекта и обеспечивается тщательная оценка сомнительных допущений и неоправданных факторов риска.
Для управления проектом и контроля над ним логико-структурной схемой определяются задачи, ресурсы и обязанности менеджмента. Содержание второй и третьей колонок (показатели достижений и измерение) логико-структурной схемы следует рассматривать как основу мониторинга и оценки проекта.
Определения.
В ЛСП используется очень специфическая техническая терминология, поэтому важно понимание значений общеупотребительных понятий.
| Текстовая часть | Лежащая в основе проекта стратегия. Текстовое описание логики участия проекта на каждом из четырех уровней используемой ЛСП "иерархии целей". |
| Общая задача | “Долгосрочные цели, достижению которых будет способствовать проект” На высоком уровне - задача более обширной секторной или национальной программы, вклад в которую проект предназначен вносить. |
| Специфическая(-ие) цель(-и) проекта | “Чего достигнут в результате проекта партнеры-получатели” Центральная цель проекта, выраженная в непрекращающихся преимуществах, которые проект дает партнерам-получателям. Постановка целей отражает характерную ситуацию, которая должна сложиться в результате выполнения проекта и явится вкладом в достижение Общей задачи. Настоящее относится не к предоставляемым в рамках проекта услугам (являющимся результатами), а к использованию этих услуг партнерами-получателями. |
| Результаты | “Что менеджмент проекта гарантирует предоставить за период существования проекта” Выходные материалы, производимые с помощью ряда предпринимаемых действий и необходимые с точки зрения специфических целей. Результатами являются достижения проекта ко времени его завершения. |
| Действия | “Проводимая коллективом проекта работа” Особые задания, необходимые для преобразования ресурсов в запланированные результаты. |
| Ресурсы | “Что требуется проекту для выполнения действий” Ресурсы, требующиеся для проведения мероприятий (персонал, оборудование, материалы). |
| Показатели достижений | “Уровень реализации проекта, необходимый для достижения целей” Измеримые показатели реализации проекта, т.е. достижения целей проекта на каждом уровне логико-структурной иерархии. Показатели являются основой построения адекватной системы мониторинга. |
| Вехи | “Откуда будет известно, что проект на пути к достижению целей” Определенного типа показатели для краткосрочных целей, упрощающие измерение достижений проекта на протяжении всего периода его выполнения, а не только в конце его. Они указывают также на время, когда могут приниматься решения. |
| Измерение | “Источники информации для регистрации показателей” Средства регистрации показателей или вех и доведения информации о них до менеджеров проекта или тех, кто проводит оценку выполнения проекта |
| Допущения и факторы риска | “Что может задержать достижение целей проекта или воспрепятствовать ему” Внешние факторы, которые могут оказывать влияние на ход или успех выполнения проекта, не поддаются, однако, непосредственному контролю со стороны менеджера проекта. |
| Предпосылки | “Что требуется для начала выполнения проекта” Предположения по поводу ситуации или Предпосылки (если таковые требуются) для оказания помощи, которые должны быть созданы перед началом осуществления проекта. |
| Обеспечивающие самофункционирование факторы | “Факторы, могущие повлияить на сохранение преимуществ от проекта после его завершения” Факторы, определяющие, продолжают ли получаемые от проекта преимущества существовать также после его завершения. |
Сильные стороны ЛСП
Предусматривая обсуждение заинтересованными сторонами проблем, целей и стратегии, ЛСП побуждает людей задумываться над тем, каковы их собственные ожидания и как они могли бы осуществиться. Благодаря ясной постановке целей и их построению в "иерархию целей", логико-структурная матрица предоставляет средство проверки внутренней логики плана проекта, обеспечивая взаимосвязь мероприятий, результатов и целей. Этот подход вынуждает планирующие инстанции указывать на важнейшие допущения и факторы риска, могущие нанести ущерб успеху проекта, что вызывает необходимость обсуждения выполнимости проекта. Определяя показатели достижений и средства измерения прогресса, планирующим инстанциям приходится задумываться над тем, как вести мониторинг и оценку проекта непосредственно с момента его старта. Вся эта информация сведена в одном документе - логико-структурной схеме, представляющем собой полезное всем заинтересованным обобщенное изложение проекта.
Слабые стороны ЛСП
Доказав свою полезность в качестве инструмента планирования и управления, ЛСП не является исчерпывающим средством ни для планирования, ни для управления и не дает гарантии успеха проекта. Процесс применения ЛСП требует времени и основательного обучения понятиям и логике подхода. От планирующих инстанций требуется обобщенно излагать простыми фразами сложные идеи и взаимоотношения, и фразы эти могут быть непонятны или даже бессмысленны. Слишком часто при заполнении логико-структурной матрицы в ходе разработки проекта используется карикатурный прием простого "заполнения клеток", результатом которого является низкое качество подготовки проекта, неясная постановка целей и недостаточная заинтересованность в проекте участвующих сторон.
Проблемы могут осложняться также последующим инертным применением логико-структурной схемы в процессе осуществления проекта, без учета изменения условий, при котором может потребоваться изменение плана проекта. Постановка в ходе планирования проекта нереальных задач может деморализующе сказаться на работе коллектива в ходе выполнения проекта.
Применение логико-структурного подхода к ранее составленным проектам
Применение к проектам уже после завершения их идентификации - явление, обычное для логико-структурного подхода. При этом логико-структурный подход остается мощным инструментом, применяемым менеджментом, как для анализа плана проекта, так и для составления самого плана проекта. Единственное различие состоит в том, что источником информации о проблемах служат скорее идентификационный документ проекта, чем первичные источники данных, такие как интервью, обследования, доклады и статистические материалы. Поэтому в случае, если логико-структурная схема еще не составлена, она разрабатывается менеджером на основе имеющейся документации.
Мониторинг и отчетность
После составления плана проекта начинается его важнейшая часть - осуществление (выполнение). Очень редко выполнение проекта идет строго по плану. В действительности, нет ничего необычного в том, что проект может принять направление или ход, абсолютно не предусмотренные во время планирования. В этом случае перед менеджерами проекта стоит важная и сложная задача установления необходимого контроля над проектом, обеспечивающего направленность проекта на достижение поставленных целей. Это достигается посредством мониторинга, который может быть определен как:
систематический непрерывный сбор, анализ и использование информации в целях осуществления контроля со стороны менеджеров и принятия решений.
Мониторинг проекта является неотъемлемой частью ежедневного управления. Цель его состоит в предоставлении информации, с помощью которой менеджеры могут распознавать и решать возникающие в процессе выполнения проблемы и давать оценку достигнутого прогресса в соответствии с первоначальными планами.
Мониторинг проектов ведется на трех различных уровнях:
¨ Коллективом проекта, в целях контроля за повседневными действиями;
¨ Подрядчиком посредством представляемых руководителю проекта официальных отчетов о ходе его выполнения; а также
¨ Внешними наблюдателями, независимыми от подрядчиков и представляющими отчеты всем связанным с проектом сторонам.
Планирование системы мониторинга.
Планирование и разработка системы мониторинга включают пять этапов:
1. Анализ целей проекта, проводящийсядля получения четкого представления о плане проекта. Качественный мониторинг зависит от ясно определенных целей. Логико-структурный подход помогает обеспечить четкую формулировку целей и составить план мероприятий таким образом, чтобы направить их на достижение результатов и целей. Такая логическая последовательность упрощает отбор используемых для мониторинга показателей.
2. Обзор процедур осуществления проекта с целью определитьпотребности в информации на различных уровнях структуры управления проектом. Уровень детализации требующейся информации и периодичность представления отчетов различны в зависимости от уровня управления. По существу, на данном этапе проводится согласование потребностей в информации с уровнями принятия решений.
3. Обзор показателей, используемых для количественной оценки достижения целей. Внутри работающего над выполнением проекта коллектива первоочередное внимание уделяется физическому и финансовому мониторингу мероприятий и результатов. Инструментом такого мониторинга является ведение качественных записей, позволяющих проводить сравнения действительных расходов с бюджетом и достигнутого прогресса с графиком мероприятий проекта.
4. Разработка форм отчетности, дающих менеджерам различных уровней проекта доступ к адекватной и своевременной информации, что упрощает аналитическую работу.
5. Подготовка предназначенного для системы мониторинга плана осуществления проекта. В таком плане указываются требуемые персонал, навыки и подготовка, а также четко распределяются обязанности по сбору информации и отчетности.
Аннотация: Проект МППА.
Проект МППА – это практическое руководство по организации копмплексного процесса планирования и оценки проекта. В соотношении с логико - структурным подходом проект МППА нужно рассматривать как одну из возможных технологий разработки общего содержания и логико-структурной матрицы проекта. Однако проект МППА невозможно применять к уже разработанным проектам, как в случае логико-структурного подхода. Метод МППА основывается на вовлечение всех участников, заинтересованных сторон в планировании самого проекта, выработки критериев и процедур (системы) оценивания. В этом контексте в МППА представление о результате и его оценивании – это представление о способах организации совместной деятельности для совместного определения результатов (а не их качества, как в случае с ЛСП), определения критериев и процедур их оценивания. Поэтому содержание проекта МППА раскрывается через описание организации деятельности на семинарах, посвященных совместному планированию и оценки.
Схема: Порядок проведения семинаров по планированию и оценке в логике МППА.
| Подготовка к Семинару 1 по планированию | Подготовка к Совещанию 1 по оценке | |
|  
| |
| Семинар 1 по планированию | Совещание 1 по оценке | |
| 
| |
| Подготовка к Семинару 2 по планированию | Подготовка к Совещанию 2 по оценке | |
 
| 
| |
| Семинар 2 по планированию | Совещание 2 по оценке | |
| 
| |
| Завершение стадии планирования | Завершение стадии оценки |
Организаторами семинаров являются не участники и разработчики какого-либо конкретного проекта, а специалисты (фасилитаторы), владеющие методами МППА. Основой проекта МППА является методика, основанная на принципе широкого участия. Это является базовым условием достижения совместной договоренности заинтересованными сторонами. Таким образом, различные (и не редко конфликтные) точки зрения могут интегрироваться в план, имеющий логическую последовательность, а путем выяснения возможных разногласий достигается учитывающее их соглашение. Следовательно, после начала воплощения проекта в жизнь, между заинтересованными сторонами будет меньше трений.
Поскольку все заинтересованные стороны присутствуют при принятии решений, процесс работы в проекте становится очевидным и ясным для всех. Эта ясность увеличивает доверие к принятым таким способам решениям. Доверие заинтересованных сторон к процессу принятия решений побуждает их к выполнению договорных обязательств. Особую важность указанный момент приобретает в обществе с иерархическим стилем руководства, характеризующемся недоверием к внутренней мотивации, а посему тяготеющему к строгим методам контроля.
Ограничение метода, основанного на принципе широкого участия. Если заинтересованные стороны не желают участвовать сами или признавать участие других, Проект МППА не может быть использован. Не имеет значение, чем мотивируется это нежелание – страхом перед очевидностью, отсутствием интереса, ненадежностью партнеров или другим. Если заинтересованные стороны отказываются, использование становится невозможным, так как подразумевается только добровольное участие. Следовательно, при командной системе в социальном контексте принятия решений «сверху вниз», возникают трудности использования Проекта МППА.