Каталог статей

Мониторинг и оценка развития комплексных проектов

Мониторинг и оценка

Сегодня мы поговорим о моделях мониторинга и оценки, проектов, которые не могут быть целиком измерены лишь числовыми KPI за счет сильного влияния социальных эффектов. С этой проблемой сталкиваются многие некоммерческие проекты, государственные проекты, а также коммерческие, находящиеся в стадии значительного масштабирования, имеющие в своем портфеле программы корпоративной социальной ответственности, ведущие сложные маркетинговые кампании или всерьез занятые вопросом вовлечения своего многочисленного персонала. Единого способа оценки таких проектов не существует. Однако разрабатываются рамочные методики, которые позволяют разработать свой план мониторинга и оценки для таких организаций. Сегодня мы познакомимся с одним из них. Он называется «Оценка развития». Этот метод появился в литературе в 2008 году впервые в работе Фонда Мак Коннелла.

Для чего используется этот метод?

Это не просто таблица оценки некоторых показателей, как мы привыкли видеть в системах KPI. Проблема, которую предстоит решить, гораздо глубже. Здесь нам важно ответить на вопрос: какие барьеры стоят перед проектом, какие имеются трудности, какие ресурсы необходимы, в какую сторону он должен развиваться и чему предстоит научиться в процессе.

Когда этот метод будет полезен?

  1. Если проект реализуется в условиях сильно меняющейся, волатильной реальности. Например, он зависит от настроений определенных социальных групп, подверженных влиянию массы факторов. Сегодня вы разрабатываете продукт, который только что вошел в моду. Пусть это будут вкусные бургеры, приготовленные по новой технологии. А завтра мода меняется и направляется в сторону здорового образа жизни. Были ли вы к этому готовы? Или вы производите товар, который по последним исследованиям весьма экологичен, и сознательные потребители покупают его несмотря на стоимость. Но через месяц выходит исследование, полностью опровергающее ваш основной посыл.
  2. Результаты проекта непредсказуемы, а взаимосвязи между его составными частями нелинейны. Думаю, вы часто сталкивались с этим явлением при проведении маркетинговых кампаний. Казалось бы, рекламный посыл хорошо продуман, но возникает социальный эффект, который полностью меняет результат. Вспомните хотя бы последствия кампании известного производителя с лозунгом «Пересядь с иглы мужского одобрения на лицо». Маркетолог (ну если только он добросовестный и не хулиган) совсем не планировал получить вместо прироста продаж длительные обсуждения проблемы прав женщин в соцсетях и СМИ.
  3. Проблема, которую вы пытаетесь решить, комплексная и зависит от сотрудничества различных организаций и групп населения. Очень это свойственно некоммерческим проектам. Например, вы занимаетесь проблемами бедности. Мало того, что воздействия не линейны и порой благотворительная помощь вместо прямого результата дает обратный эффект в виде нежелания людей работать и выходить из этого круга, так еще и без совместных усилий властей, граждан, банков и бизнеса проблему не решить. При этом у каждого из них свои, подчас пересекающиеся интересы и неравномерные ресурсы.
  4. Ваш проект инновационный. Такие предприятия постоянно нуждаются в анализе общественного мнения, предсказании технологических и модных тенденций. То, что продавалось хорошо полгода назад, может выйти из употребления очень быстро. Вспомните хотя бы хайп с криптовалютой, который сошел почти на нет.

Сбор данных

Собирать информацию для использования метода очень сложно. Здесь недостаточно взять цифры из базы данных, не хватит и одного опроса или формы обратной связи. Вам необходимо выстраивать отношения с вашими клиентами, партнерами или сотрудниками, в зависимости от того, кому посвящено исследование. Вам нужно собирать информацию по крупицам: из опросников, формальных и неформальных бесед, анализа их запросов. Сбор информации займет значительное время, поэтому начинать нужно как можно раньше. Вам будет необходимо понять, как мыслят ваши клиенты, каковы их предубеждения, модели принятия решений. Фокус этого исследования — не отчеты для топ-менеджера, а поиск областей для развития и обучения.

Какой сотрудник нужен для применения метода

Помимо опыта в оценке и понимания вашей сферы деятельности ему будут необходимы следующие качества:

  1. Стратегическое и системное мышление
  2. Умение выделять паттерны в социальных системах
  3. Умение строить доверительные отношения, активно слушать и задавать вопросы
  4. Умение отделять свои убеждения и свое мировоззрение от результатов анализа

План применения метода

В первую очередь, очень важно поставить правильные вопросы для исследования. Вы не можете изучить все и обо всем вокруг. Вам нужны гипотезы, которые вы хотите принять или опровергнуть, чтобы принять дальнейшие решения. Например, будет ли тренд устойчив в ближайший год? Какие факторы могут его нивелировать? Какие реальные желания вызовет у публики ваш маркетинговый посыл? Что произойдет, если вы предпримете конкретный шаг? Как изменится поведение людей? Это весьма широкие вопросы. Ваша задача их максимально уточнить при проведении исследования.

Сконцентрируйтесь на том, какова цель исследования. Какую проблему вы пытаетесь решить? Кто является главным катализатором вашей аудитории? Как понять, что работа выполнена и проблема решена? Какие ресурсы для этого нужны? Каковы болезненные точки? Где концентрируется энергия людей? Где заложен наибольший потенциал для вашего влияния? Каковы барьеры на вашем пути (организационные, финансовые, социальные)? Кто еще работает над этой проблемой и как они это делают? Как эти организации взаимосвязаны? Что люди уже пробовали делать в этом направлении и какие уроки извлекли? Кто есть ваша аудитория? Как в ней распределены роли? Каковы их ожидания и страхи? Как они взаимодействуют друг с другом? Как принимают решения?

На все эти вопросы вы, конечно, не найдете ответа, если не выстроите отношения с аудиторией. В этом методе неформальные способы общения работают куда лучше чем формализованный сбор данных в виде опросов и анкет. Однако помните, что вам необходимо еще учитывать затраченное вами время. Вы не можете 24 в сутки ходить с вашими клиентами в кино и общаться о работе. Фокусируйтесь на целях общения, учитесь задавать вопросы вовремя, не передавливая, но затрачивая минимум времени. Это искусство.

На третьем этапе, когда вы сформулировали вопросы и получили в разной форме пул ответов на них, вам необходимо построить концепцию дальнейшего обучения. Она должна отвечать на два ключевых вопроса: какие группы нуждаются в обучении и что именно им нужно понять? Обучение имеется здесь в виду в широком смысле. Это новая информация, модели поведения, теории и результаты исследований, маркетинговые посылы, а не только учебники и лекции. Речь идет о ваших рычагах влияния на аудиторию и возможных изменениях ее поведения. Хотя решая вопросы социального характера или вовлечения персонала, вы должны думать и об обучении в классическом смысле. Чему должны научиться ваши сотрудники, чтобы чувствовать интерес? Чему должны научиться ваши партнеры, чтобы их действия приводили к значимым социальным эффектам?

Это самая сложная часть работы. Вам необходимо изобразить вашу комплексную систему, поместить всю полученную информацию на схему. Изобразите на ней всех участвующих лиц и взаимосвязи. Ваша задача — увидеть повторяющиеся паттерны, модели, которые проявляются у многих людей. Отличие паттернов от стандартных логических моделей типа «если… то…», заключается в том, что если произойдет изменение в одной его части, вся карта может оказаться перестроенной неожиданным образом. Ваша задача — выявить такие возможные влияния и их последствия. Возможно, вы нарисуете несколько карт, ориентируясь на основные точки, где могут произойти изменения (как зависящие от вас, так и не зависящие, либо даже их комбинация).

Представьте себе, что вы играете с клубком котят. Если вы потянете одного из них, то в классической логической модели, вы вынете того котенка, которого потянули и больше ничего не произойдет. В реальности же, вы можете достать из клубка сразу пару котят, а остальные начнут двигаться и перемещаться.

Существуют ли в системе отклонения от выявленных вами паттернов? Каковы могут быть причины? Интересно сравнить: как способы сбора данных повлияли на ваши результаты. Показывают ли вам данные, собранные разным путем, разные взаимосвязи в системе? Нашли ли вы в данных удивительные результаты? Появились ли у вас дополнительные вопросы?

Следующая ваша задача, определить: а какое состояние системы для вас является оптимальным? Здесь все тоже не линейно и не однозначно. Ведь вовлеченные на 100% сотрудники с оплатой труда, увеличенной в три раза, вряд ли вас устроят? Для этого вам нужно определить, какую систему вы считаете идеальной. И какие из нарисованных вами карт к ним максимально приближены. Какая стратегия приведет вас к ним? И как вы будете оценивать прогресс: действительно ли вы на пути в правильном направлении? Каковы маркеры прогресса? А каковы барьеры на вашем пути?

Всегда оценивайте групповую динамику в процессе. Ваши карты паттернов могут измениться в ходе реализации стратегии. Возможно, появились непредвиденные факторы, или вы учли не все взаимосвязи.

Простой пример

Допустим, для вас важно сейчас решить проблему вовлечения персонала в работу. Вы чувствуете, что их инициатива падает, отсутствует интерес. Начнем с формулировки гипотез:

  1. Какие из проводимого комплекса мероприятий наиболее эффективны для вовлечения людей (это должен быть конкретный закрытый список, например: повышение оплаты труда, проведение корпоративных праздников, обустройство тренажерного зала в офисе, более четкое объяснение миссии и видения компании и так далее).
  2. Что именно нужно сотрудникам для повышения вовлеченности (опять же нужен закрытый список: увеличенная оплата, чувство причастности, обучение, карьерный рост и так далее).

Конечно, вы можете пойти по пути формальных опросов. Однако, они будут иметь искаженные результаты по двум причинам: часть людей не скажет правду, результаты опроса не учтут взаимосвязей возможных мероприятий. Например, что произойдет, если вы увеличите людям зарплату, но будете заставлять их нести больше ответственности и делать рутинную работу вместо творческой? А если вдобавок вы им предоставите возможности учиться? Нужны ли возможности учиться без применения их на практике в работе? Взаимосвязи здесь отнюдь не линейны.

Именно поэтому вам важно поговорить с людьми лично и, возможно, неформально. Ваша задача — выявить ключевые паттерны: какие изменения всегда идут в плюс, какие могут быть существенно ограничены за счет влияния других факторов, а какие — бессмысленная трата денег. Ваша идеальная система в данном случае — сотрудники, вовлеченные на полную мощность и не получающие зарплату. Понятно, что такого состояния вы не достигнете, но приблизиться можете.

Минусы данного метода

Безусловно, метод весьма непростой. Его результаты сильно зависят от степени развития системного мышления у сотрудника, ответственного за анализ. Более того, его личные убеждения, вещи, в которые он давно верит, могут исказить результаты. Именно поэтому анализ идеально выполнять в группе. Повлиять на результаты могут и убеждения, укоренившиеся в обществе.

Кроме того, на проведение анализа уходит значительное время. Необходимо искать баланс между временными затратами, особенно на сбор информации, и полезностью исследования как такового. Однако, многие стратегические вопросы вашей организации без системного подхода и рисования карт просто не решить.