ПОЛІТИКА МОНІТОРИНГУ І ОЦІНКИ
Визначення понять
Моніторинг – це регулярний збір даних про діяльність, що дозволяє відстежувати прогрес у досягненні цілей та надавати важливу інформацію про результати для менеджерів і прийняття рішень. Він забезпечує актуальні дані для оцінки, допомагаючи визначити, чи були досягнуті цілі проекту чи діяльності.
Основні цілі моніторингу:
1. Оцінити поточний стан (моніторинг надає інформацію про досягнення цілей на даний момент).
2. Виміряти та уточнити ключові показники проекту чи програми (допомагає дотримуватись плану реалізації).
3. Інформувати керівництво про проблеми та необхідність змін (дозволяє швидко реагувати на відхилення від плану).
4. Надати дані для звітування та комунікації (забезпечує підзвітність щодо прогресу у виконанні завдань).
Оцінка – це періодичне вивчення факторів, що впливають на успіх або невдачу проекту, програми чи діяльності, з метою аналізу їхнього впливу.
Основні цілі оцінки:
1. Перевірити виконання завдань проекту чи програми (інформує про ефективність різних підходів для досягнення результатів).
2. Оцінити ефективність виконання завдань (виявляє фактори, що позитивно або негативно впливають на результати).
3. Перевірити раціональність використання ресурсів (фінансових, людських, інформаційних тощо).
4. Надати рекомендації для покращення поточних і майбутніх проектів (допомагає вдосконалити проекти та врахувати досвід у майбутньому).
5. Аналізувати вплив проекту чи програми (як запланований, так і непередбачений).
6. Узагальнити отримані знання та досвід.
Необхідність моніторингу та оцінки для організації
Моніторинг та оцінка забезпечують системність і зрозумілість у плануванні діяльності команди та організації в цілому. Вони дозволяють поєднати внутрішні вимоги з вимогами донорів, спростити формування звітності для стейкхолдерів та підвищити інституційну спроможність.
Завдання системи моніторингу та оцінки для внутрішніх потреб організації:
1. Отримувати інформацію про прогрес проекту чи програми, досягнення цілей та виконання завдань.
2. Виявляти проміжні результати.
3. Перевіряти ефективність дій і стратегій.
4. Регулярно перевіряти припущення проекту або програми.
5. Вчасно переплановувати діяльність (завдання, активності, бюджети, ресурси) або планувати розширення.
6. Визначати потреби в додатковій інформації або проведенні досліджень.
7. Швидко змінювати підходи та стратегії відповідно до ситуації.
8. Надавати інформацію, що сприяє безперервному навчанню в межах проекту та за його межами.
Завдання системи моніторингу та оцінки для зовнішньої діяльності організації:
1. Інформувати про свою діяльність, впровадження проекту або програми та зміни в них.
2. Демонструвати прозорість та підзвітність.
3. Підвищувати довіру до організації.
4. Показувати ефективне використання ресурсів.
5. Підтверджувати інституційну спроможність.
6. Отримувати фінансування від донорів.
7. Формувати соціальний капітал, здійснювати просування та збір коштів.
Цикл моніторингу та оцінки
Моніторинг та оцінка є невід'ємною частиною основних етапів проекту, тому їх слід планувати та проектувати одночасно з розробкою самого проекту. Процес моніторингу та оцінки реалізується на наступних етапах:
1. Етап ініціювання або дизайну проекту/програми. На цьому етапі формується стратегічна структура, яка дозволяє ініціювати, фінансувати та реалізовувати проекти. Цей етап включає обговорення, дослідження та аналізи, зокрема аналіз ситуації та потреб цільової аудиторії, а також визначення очікувань донорів. Хоча етап є програмним, він є критично важливим для підготовки системи моніторингу та оцінки. Результати даних заходів формують логічну основу для завдань проекту та очікувань стейкхолдерів, що підлягають моніторингу в ході реалізації.
Уроки, отримані з попередніх оцінок, можуть бути переглянуті для вдосконалення програмної стратегії.
2. Етап планування. Інформація, отримана на етапі ініціювання/дизайну, використовується для розробки теорії змін, що, в свою чергу, стає основою для підготовки логічної моделі. На цьому етапі створюється план моніторингу ефективності та збираються вихідні показники для подальшого моніторингу та оцінки.
Якщо ГО “Українські гуманітарні ініціативи” залучає фінансування від зовнішніх донорів, перші два етапи виконуються, після чого готується проектна заявка відповідно до вимог донора. У випадку фінансування з власних коштів, перевірку на експертизу проводить Загальні Збори учасників ГО “Українські гуманітарні ініціативи”.
Якщо проектна заявка затверджується, ГО “Українські гуманітарні ініціативи” переходить до наступних етапів; якщо ні, етапи можуть бути повторені до досягнення реалістичності проекту.
3. Етап виконання та контролю. На цьому етапі моніторинг та оцінка підтримують управлінські рішення та допомагають у досягненні успіху проекту. Моніторингу підлягають заходи, бюджетні плани, результати, припущення, реакції стейкхолдерів та внесок проекту в досягнення довгострокових результатів. Також вимірюється прогрес у виконанні завдань та відповідність критеріям моніторингу та оцінки.
4. Етап оцінювання. На фінальному етапі проекту або після його завершення відбувається оцінка ефективності, результативності, впливу, сталості та актуальності проекту в контексті поставлених завдань.
Висновки, рекомендації, вплив та отримані уроки доповнюють оцінку, сприяючи підвищенню інституційної спроможності організації.
Система моніторингу та оцінки
Система моніторингу та оцінки (МіО) – це комплекс, що дозволяє планувати, отримувати, зберігати, обробляти та представляти дані про діяльність, прогрес і ефективність проекту чи програми.
Планування системи МіО починається з рішення про проведення моніторингу та оцінки, планування ресурсів для їх реалізації та організаційної підготовки. Політика МіО підтверджує наміри щодо проведення моніторингу та оцінки, що стає відправною точкою для всієї системи. На етапі розробки проекту або при виникненні нових потреб (наприклад, відкриття нового проекту або оцінка існуючого) закладаються ресурси для системи МіО, зокрема:
- Фінансові ресурси (оплата праці, навчання, адміністративні витрати).
- Людські ресурси (побудова спроможності команди, визначення відповідальних осіб, залучення консультантів).
- Часові ресурси (час роботи відповідальної особи, баланс між програмними завданнями та МіО, час на збір і обробку даних).
Основні організаційні кроки для здійснення МіО включають розробку системи, створення форм і шаблонів, налагодження порядку передачі інформації та навчання персоналу, за потреби – повторення процесу.
Логічна модель є ключовим інструментом для проектування, реалізації та оцінки проектів. Вона слугує для перегляду та коригування проекту в процесі його реалізації, встановлюючи чітку ієрархію від внесків до впливу проекту.
Логічна модель представлена у вигляді матриці з чотирма стовпцями та рядками, що заповнюється за певною послідовністю (див. Додаток 1). Відповідальні за її розробку особи повинні коротко описати зміст кожної клітини та перевірити логічні зв'язки між твердженнями. Її перевага полягає в візуальності, що полегшує обговорення проектних ідей та планування.
Після завершення логічна модель використовується для написання проектної заявки, підготовки технічних завдань, моніторингу запланованого і фактичного, внесення змін під час виконання, а також для оцінки. Моніторинг фокусується на внесках, діяльності та результатах, тоді як оцінка перевіряє досягнуті наслідки та вплив.
Якщо логічна модель створена для проекту, що отримав фінансування з зовнішніх джерел, важливо перевірити, чи відображено в ній всі заявлені результати, і за необхідності внести корективи.
Визначення показників ефективності
Формування чітких і вимірюваних показників ефективності є основою для системи моніторингу та оцінки проекту.
Показник ефективності (індикатор) – це характеристика, що вимірює заплановані зміни. Основні завдання показників полягають у демонстрації досягнення результатів, визначенні даних для збору, моніторингу проєкту та систематичному звітуванні для керівництва, стейкхолдерів і донорів.
Правила формулювання показників ефективності
Для забезпечення коректності та корисності показників важливо дотримуватись таких критеріїв:
Точність: Показник повинен мати чіткі визначення без двозначності. Це запобігає ризику виникнення різних трактувань даних, що збираються.
Вимірність: Показник повинен використовувати загальноприйняті одиниці виміру.
Доступність та практичність: Варто обирати показники, які можна виміряти за наявними ресурсами і методами. Корисність інформації повинна переважати витрати на її збір.
Релевантність: Показники повинні відповідати контексту проєкту та бути тісно пов'язаними з його цілями.
Порівнюваність: Добре сформульований показник дозволяє порівнювати результати в часі та різних контекстах.
Перевірність: Показники мають бути перевірені іншими методами, наприклад, через незалежну оцінку.
Показники повинні вимірювати різні елементи логічної моделі, але не бути цілями. Визначення показників на етапі планування не є остаточним; вони можуть змінюватися залежно від потреб проекту чи програми.
Якщо проєкт працює з різними групами населення, важливо проводити дезагрегацію (деталізацію) даних для адекватного врахування потреб маргіналізованих груп.
Якість даних
Для того щоб дані, зібрані в процесі моніторингу, були корисними для прийняття рішень, вони повинні відповідати високим стандартам якості. Якість даних визначається їхньою здатністю служити меті, для якої вони були зібрані. Це включає точність і цінність інформації, а також дотримання певних стандартів під час збору, перевірки та аналізу даних.
Основні принципи якості даних:
1. Достовірність та валідність: Валідні дані є достовірними, оскільки вони вимірюють саме те, для чого призначені.
2. Надійність: Дані повинні збиратися та вимірюватися послідовно, використовуючи однакові інструменти протягом тривалого часу.
3. Повнота: Інформаційна система або база даних повинні містити повний набір відповідних даних, а не лише часткову інформацію.
4. Точність: Дані мають бути достатньо детальними, наприклад, містити інформацію про вік, стать тощо.
5. Своєчасність: Дані повинні бути актуальними та оновленими, щоб інформація була доступною в потрібний момент.
6. Цілісність: Дані повинні бути захищеними від упередженості чи маніпуляцій, що можуть виникнути з політичних або особистих причин.
7. Конфіденційність: Клієнти повинні мати впевненість у тому, що їхні дані зберігаються відповідно до національних та міжнародних стандартів управління даними.
Управління інформацією та даними
Управління інформацією та даними — це комплекс процесів та інструментів, які допомагають визначити основні дані організації та ефективно ними керувати. Цикл управління даними складається з шести ключових стадій:
1. Джерело даних
2. Збір даних
3. Обробка та зіставлення даних
4. Аналіз даних
5. Звітність даних
6. Використання даних
Джерело даних
Дані можуть надходити з різних джерел, таких як опитування, реєстраційні аркуші, національні дослідження чи звіти інших організацій. Для оцінки якості даних важливо знати, звідки вони походять, а також переваги та недоліки кожного джерела. Джерела даних поділяються на:
- Первинні дані: оригінальні дані, зібрані безпосередньо з джерела.
- Вторинні дані: інформація, отримана з інших джерел у зміненому форматі.
- Третинні дані: матеріали, що узагальнюють інформацію з вторинних джерел, наприклад, звіти чи статті.
Для ГО “Українські гуманітарні ініціативи” джерелами даних є форми введення інформації, анкети, форми зворотнього зв'язку, тощо. Шаблони для збору даних створюються спеціалістом з моніторингу та оцінки та доводяться до відома керівників проектів та проектних менеджерів.
Збір даних
Цей етап включає отримання даних з первинних джерел і їх передачу в інструменти для аналізу. Збір може здійснюватися за допомогою паперових або електронних інструментів, таких як анкети, реєстраційні листи чи моніторингові звіти. Важливо, щоб усі дані збиралися однаково, що забезпечує точність інформації.
Керівники проектів у кожному місті відповідальні за збір і внесення інформації. Вони також повинні координувати збір даних від залучених осіб.
Обробка та зіставлення даних
На цьому етапі дані організуються у зручному для аналізу форматі. ГО “Українські гуманітарні ініціативи” використовує Microsoft Excel для обробки та зіставлення даних.
Аналіз даних
Аналіз даних передбачає оцінку наборів даних для підтвердження гіпотез і вивчення взаємозв'язків. Процес аналізу також допомагає перевірити якість даних. ГО “Українські гуманітарні ініціативи” використовує Microsoft Excel для первинного аналізу, зокрема кількісного. Якщо планується якісний аналіз, важливо визначити методи кодування та аналізу.
Звітування
Звітність — це важлива частина управління даними, яка дозволяє організації інформувати про прогрес і проблеми. ГО “Українські гуманітарні ініціативи” здійснює внутрішнє та зовнішнє звітування відповідно до встановленого графіку.
Використання даних
Основна мета моніторингу та оцінки — ефективно використовувати дані для прийняття рішень. Це передбачає, що дані повинні бути своєчасно доступними для осіб, які приймають рішення, що сприяє їхньому використанню в різних аспектах, таких як управління знаннями, звітування та демонстрація підзвітності.
Моніторингові звіти
Згідно з планом реалізації програм та проектів можуть проводитися моніторингові візити (виїзні перевірки). Після проведення виїзних перевірок складається відповідний звіт за розробленим шаблоном (Додаток 3), який доповнює іншу звітну документацію.
Оцінка проектів
Оцінка проекту чи програми — це систематична та об’єктивна оцінка поточного або завершеного проекту, програми чи політики. Вона охоплює аналіз дизайну, впровадження та результатів, з метою відповісти на питання: чому досягнуто чи не досягнуто результатів? Які чинники вплинули на продуктивність?
Оцінка проводиться періодично, залежно від потреб організації або запитів донорських організацій. Вона може здійснюватися як під час реалізації проекту, так і після його завершення, і акцентує увагу на прогресі та ефективності, зокрема показниках наслідків та впливу.
Процес оцінки може включати додаткові показники, які не використовувалися раніше, та досліджувати широкий спектр питань, думок і вражень, використовуючи різні методи. Вона враховує як заплановані, так і непередбачувані результати, а також надає рекомендації щодо підходів та дизайну проекту.
У ГО “Українські гуманітарні ініціативи” запланована оцінка проектів, яка може проводитися як внутрішньою командою, так і зовнішніми консультантами. Тип оцінки та її періодичність визначаються в залежності від конкретних проектів та вимог донорів.
Звіти моніторингу та оцінки
Звіти з моніторингу та оцінки повинні бути чіткими, структурованими, інформативними та включати наступні елементи:
- Вступ: мета звіту та його значення.
- Методологія: короткий опис методів збору та аналізу даних.
- Ключові результати: основні знахідки та аналіз.
- Рекомендації: пропозиції для поліпшення реалізації проектів на основі результатів.
- Висновки: загальні висновки та наступні кроки.
Ключові питання, які розглядаються у звітах:
- Які результати досягнуті у порівнянні з запланованими?
- Які фактори вплинули на успіх чи невдачу проекту?
- Як реалізація проекту вплинула на цільову аудиторію?
- Які уроки були засвоєні, і як їх можна використати у майбутніх проектах?
Шаблони звітування можуть бути розроблені для спрощення цього процесу.
Обов'язки щодо проведення моніторингу та оцінки
Моніторинг проектів має здійснюватися фахівцем з моніторингу та оцінки та керівниками на місцях. Вони повинні готувати формативні моніторингові звіти, які відображають поточний статус реалізації проекту, проблеми та виклики.
На основі цих формативних звітів, керівник моніторингу та оцінки (або відповідальна особа) має підготувати узагальнений звіт з оцінки, в якому будуть об'єднані результати моніторингу та ключові знахідки оцінки, а також надані рекомендації для подальшої роботи організації.