Оценка проектов
Масштаб проекта и его значимость оцениваются участниками лично.
Сложность проекта и оптимальность решения задачи оцениваются экспертным сообществом. Голосующие выставляют баллы от 0 до 5 за каждую категорию.
Дополнительные баллы могут быть получены за полезные материалы, связанные с проектом. Эти материалы, если предоставляются командой во время Первого этапа, могут включать в себя чек-листы, руководства, шаблоны документов и другие полезные документы. За каждый предоставленный материал проект получает дополнительные 0,5 балла к рейтингу.
Дополнительные баллы также могут быть получены за комментарии к проектам. Каждый развернутый комментарий члена профессионального сообщества, превышающий 200 знаков, добавляет 0,2 балла к рейтингу проекта на Первом этапе. Кроме того, ответы автора проекта на комментарии, также превышающие 200 знаков, прибавляют 0,2 балла за каждый комментарий. Все комментарии рассматриваются в конце Первого этапа конкурса.
Представители ИТ-сообщества, активно участвующие в экспертных обсуждениях проектов, могут получить 5 баллов к личному рейтингу за каждый существенный комментарий, раскрывающий суть проектов. Эти баллы будут учитываться на Втором этапе конкурса, когда будут оцениваться не команды, а отдельные эксперты.
Критерии и метрики
Предсказуемость (актуальность и точность прогнозов и планов)
Время пересогласования плана до истечения срока. Среднее значение корректировки плана после перепланирования. Данные метрики показывают насколько «вперед» позволяют смотреть планы проектов и насколько уверенно можно это делать. Наличие такой возможности показывает качество планирования и позволяет использовать планы для ресурсного, финансового и других видов сводного планирования. В отсутствие резких изменений внешней среды при эффективном проектном управлении не ожидается, что каждое отдельное перепланирование будет существенным в % к общему сроку проекта, что по сути говорит о точности даваемых прогнозов по срокам завершения работ. Накопленные отклонения (перепланирования), имеются в виду отклонения по «субъективным» причинам, т.е. несвязанными с внешними факторами и изменениями требований) Измерение отклонений по срокам важно не само по себе, а в привязке к причинам, которыми оно вызвано. Часть причин не являются контролируемыми средствами проектного управления (например – изменение сроков вступления в силу законодательства). Другие – точность планирования ресурсов, низкое качество работ, оказываемых поставщиками, могут быть существенно улучшены за счет качественного управления проектами.
Удовлетворенность заказчиков
Индекс удовлетворенности (формально рассчитывается редко, обратная связь дается на специализированных проектных / управляющих комитетах)Конечно, можно разработать специальный инструментарий для измерения удовлетворенности (неудовлетворенности) топ-менеджеров.Однако их вербальная и невербальная реакция во время специально организованных при участии Проектного офиса проектных/ управляющих комитетов с обзором текущего состояния отдельного проекта или портфеля проектов не дает усомниться в их оценке качества управления. Формализовывать эту реакцию или нет – решать Проектному офису и менеджерам проектов, главное понимать – что в данном вопросе крайне важно обладать достоверной информацией из первых рук и проактивно работать с ней.С этой целью Проектный офис и менеджеры проектов должны создать и поддерживать регулярное функционирование «коммуникационных площадок» (управляющих и проектных комитетов), где эту реакцию топ менеджеров на целостную картину по проектам можно увидеть. Помимо выяснения степени удовлетворенности такие «площадки» при надлежащей подготовке участников способны положительно влиять на проектную деятельности и имидж Проектного офиса, формируя его ценность в глазах стейкхолдеров.
Производительность (throughput)
Количество проектов завершенных за период, общее количество идущих проектов на дату. Данный показатель может быть актуален для для компании с более или менее стабильным объемом ресурсов и бюджетами.Количество проектов завершенных за периодколичество использованных ресурсов для вычисления данного показателя можно оценивать количество завершенных проектов на одного менеджера проекта или единицу других ресурсов исполнителей. Понятно, что при изменении качества или количества ресурсов, производительность также изменится, поэтому нужно аккуратно выбирать метрику для этого важного показателя, которая отделит качество исполнения от качества управления.С целью исключения возможности злоупотребления количеством завершенных проектов необходимо ввести четкие правила для определения содержания проектов, т.е. какие итоговые результаты достаточны для признания некой активности проектом, а также их минимального размера по ресурсам и бюджету.
Утилизация ресурсов
Выполнение бюджета проектов (портфеля), %Экономия бюджета проектов, %Утилизация ресурсов исполнителей, %Этот показатель является двояким – с одной стороны, при сохранении целевых результатов необходимо добиться экономии ресурсов, если возможно, с другой– необходимо добиться максимальных результатов при заданном объеме ресурсов (так как они уже зарезервированы для реализации проектов).Таким образом, в зависимости от стратегической установки – на максимизацию результата или минимизацию затрат нужно стремиться либо к повышению утилизации (полезное использование бюджета и ресурсов для достижения целей портфеля), либо к экономии ресурсов и затрат.Высокий % утилизации бюджета, например, может свидетельствовать о планировании средств на реализацию проектов в нужном объеме, отсутствии избыточного планирования средств, «замораживаемых» на длительный период. Однако данный показатель работает только в связке с показателями производительности, в противном случае – его использование может нанести только вред организации.
Унификация
Соответствие методологии в виде % выполненных требований в точках принятия решения («ворота принятия решений» = stage gate), %Требования методологии управления проектами могут разделяться на мягкие (рекомендованные) и жесткие (обязательные для прохождения «ворот принятия решений»).Как ни странно, % выполненных требований при переходе к следующим «воротам» можно считать не только для мягких, но и для жестких требований, так как их 100% выполнение в реальных условиях обеспечить практически не возможно.В любом случае эта метрика показывает, насколько реальные проекты соответствуют предъявляемым к ним требованиям, что говорит как о степени проникновения проектного управления и дисциплины его применения, так и о применимости конкретной методологии в конкретной компании, и ставит вопросы о ее адаптированности к условиям организации.
Скорость получения результатов проекта(time-to-market)
Средний срок завершения этапов и проектов, днейВсе результаты поставки проекта делятся на востребованные клиентом («бизнес-ориентированные» - те, которые клиент «заказывает» в рамках проекта) и все остальные («технические»), чем меньше сроки получения бизнес-ориентированных результатов, тем быстрее ресурсы, затраченные на проект превращаются в реальзую пользу для заказчиков.Данный показатель способствует разделению бизнес-ориентированных результатов во времени и способствует тому, чтобы они поставлялись как можно раньше.
Сроки запуска проектов(idea-to-project)
Средняя продолжительность пред-проекта (фазы планирования), дней.Данный показатель может показывать насколько быстро оцениваются идеи и принимается решение о реализации проекта Чем быстрее, тем больше ресурсов тратится на действительно востребованные проекты.Кроме того, снижение данного показателя позволяет гибко реагировать на действия конкурентов и изменения рыночных условий.
Сумма выгод портфеля (planned portfolio value)
Сумма плановых Net Present Value (Чистый приведенный доход) проектов утвержденного портфеля в течение n-лет. Сумма выгод портфеля может измеряться как сумма Чистых Приведенных Доходов всех проектов портфеля. При этом даже проекты, направленные на снижение рисков, могут быть оценены подобным образом с учетом вероятности и влияния рисков.Хотя данный показатель и выглядит привлекательно, могут возникнуть существенные сложности с вычленением доходов/экономии, связанных с реализации определенного проекта. Кроме того, показатель может говорить не только и не столько об улучшении качества проектного управления, сколько о благоприятном изменении внешней конъюнктуры.Не стоит забывать, что хотя оценка плановых выгод портфеля с одной стороны делает его крайне стратегически и бизнес-ориентированным, с другой - она требует постоянной актуализации бизнес-кейсов проектов, что не всегда практически возможно и целесообразно. Кроме того, реальные показатели NPV по опыту могут в разы отличаться от плановых. Без анализа фактически полученных выгод данный показатель может приводить к чересчур идеалистичной оценке ситуации.При всей пользе данного показателя, можно утверждать, что пока в приложении к портфелю проектов он не так уж часто встречается.
Возврат инвестиций (Portfolio ROI)
Return-on-investment (ROI) от фактически полученных выгод реализованных проектов за n-лет. Аналогично предыдущему показателю – он способствует крайне бизнес-ориентированному подходу к оценке реализованных проектов.С другой стороны, для корректности расчета он может требовать детального расчета фактически потраченных внутренних ресурсов, а не только «внешнего» бюджета.Сложности расчета аналогичны описанным в предыдущем пункте.Кроме того, надо понимать, что далеко не всегда данный показатель является «руководством к действию», так как проекты, особенно внутренние, будучи по природе уникальными, довольно неточно прогнозируются в части ROI, а показатель указывает на «посмертную» ситуацию с выгодами портфеля.В целом данный показатель находится для большинства компаний за пределами «области ближайшего развития»