Ewaluacja projektu finansowanego z Funduszy Europejskich

Zarówno monitoring, jak i ewaluacja to nieodzowne elementy projektów finansowanych z Funduszy Europejskich. Czym różni się ewaluacja projektu od monitoringu? Jakie działanie w ramach projektu należy monitorować? Zapraszamy do kompendium wiedzy na temat monitorowania i ewaluacji projektów unijnych. 

Co to jest ewaluacja projektu? 

Ewaluacja to element bezpośrednio związany z jakością działań podejmowanych w projekcie. Inaczej mówiąc, ewaluacja ma dać odpowiedź na pytanie, jak tworzyć lepsze, odpowiadające na potrzeby uczestników projekty. Proces ewaluacji możemy podzielić na następujące etapy: zbieranie danych, ich analizę oraz wyciąganie wniosków na przyszłość. W zależności od rodzaju projektu, uczestników, a także celów powinna być wybrana odpowiednia metoda ewaluacji. Do najczęściej stosowanych metod ewaluacji zaliczamy:

• ankietę – stosowana, gdy zależy nam na zebraniu informacji od dużej liczby uczestników, kiedy pragniemy uzyskać opinię np. na temat jakości oferowanego w ramach projektu wsparcia (aby uzyskać szczere odpowiedzi, ma ona charakter anonimowy);
• wywiad – wymaga od osoby przeprowadzającej dobrego przygotowania i pewnych umiejętności, gdyż zakłada bezpośredni kontakt komunikowania się badacza i badanego;
• analizę dokumentów – jest uzupełnieniem wcześniej wymienionych metod i stanowi niezwykle ważne dopełnienie informacji uzyskanych z innych źródeł. 

Dlaczego ewaluacja projektu ma tak duże znaczenie? Jeżeli wydajemy środki unijne na osiągnięcie ściśle określonych celów, to powinniśmy mieć informację zwrotną, czy podjęte działania są efektywne oraz odpowiedniej jakości.

Jak wygląda ewaluacja na przykładzie projektów szkoleniowych realizowanych przez Polską Agencję Rozwoju Przedsiębiorczości? 

Przedsiębiorcy korzystający ze szkoleń dofinansowanych z Funduszy Europejskich, podpisując umowę z Polską Agencję Rozwoju Przedsiębiorczości, jednocześnie wyrażają zgodę na udział w badaniu ewaluacyjnym. Zazwyczaj w umowie o dofinansowanie znajduje się taki zapis:

„Przedsiębiorca zobowiązuje się:

• poddać się kontroli, ewaluacji udzielonego wsparcia, uczestniczenia w badaniach ewaluacyjnych, przeprowadzanych przez Operatora lub podmiot/osobę przez niego upoważniony i inne uprawnione instytucje do dnia […] Termin ten może być wydłużony przez Operatora”.

Takie badania są prowadzone przez PARP systematycznie i służą analizie wpływu wdrażanych projektów na przedsiębiorstwa (pracowników, którzy zostali objęci wsparciem) oraz na całe otoczenie społeczno-gospodarcze. Dzięki takiemu badaniu PARP uzyskuje ocenę przygotowanej przez siebie oferty wsparcia. Tylko uczestnicy projektu mogą dostarczyć rzetelnej informacji odnośnie do tego, czy podjęte działania odpowiadały na potrzeby przedsiębiorstw i przyczynią się do rozwoju przedsiębiorczości w Polsce. Należy zwrócić uwagę, że pozyskane informacje są analizowane i prezentowane zbiorczo i nie ma możliwości połączenia ich z konkretną firmą. Warto zwrócić uwagę, że zazwyczaj badania ewaluacyjne są wykonywane przez instytucje zewnętrzne wyłonione w drodze przetargu, a Polska Agencja Rozwoju Przedsiębiorczości sprawuje jedynie kontrolę nad całym procesem.

Jakie pytania znajdziemy w ankiecie ewaluacyjnej? 

Podmioty realizujące ewaluację projektów unijnych do zbadania jakości oferowanego wsparcia najczęściej sięgają po ankietę ewaluacyjną. W projektach szkoleniowych uczestnicy zazwyczaj wypełniają ankietę przed przystąpieniem do projektu oraz po jego ukończeniu. Ankieta poszkoleniowa może zawierać następujące pytania: 

1. Czy szkolenie spełniło Pana(i) oczekiwania?
2. Jak ocenia Pan(i) przydatność zdobytych informacji pod względem podnoszenia umiejętności i wiedzy?
3. Jak ocenia Pan(i) prawdopodobieństwo wykorzystania zdobytej wiedzy i umiejętności w codziennej pracy?
4. Jak ocenia Pan(i) program szkolenia?
5. Jak ocenia Pan(i) przygotowanie merytoryczne trenera?
6. Jak ocenia Pan(i) zrozumiałość przekazu?
7. Jak ocenia Pan(i) rzetelność, profesjonalizm i zaangażowanie w udzielanie odpowiedzi i wyjaśnień podczas szkolenia?
8. Jak ocenia Pan(i) umiejętność zainteresowania uczestników tematem i zaangażowanie trenera w prowadzenie szkolenia? 
9. W jakim stopniu Pana(i) zdaniem został zrealizowany program szkolenia?

Dodatkowo ankieta zawiera miejsce na ewentualne uwagi uczestnika. Analizie poddawane są zbiorcze wyniki wszystkich ankiet (uczestnik udziela odpowiedzi na pytania w skali ocen od 1 do 5).

Gdzie znajdziemy regulacje prawne dotyczące monitorowania? 

Na podstawie art. 5 ust. 1 pkt 3 Ustawy o zasadach realizacji zadań finansowanych ze środków europejskich w perspektywie finansowej 2021-2027 zostały wydane: Wytyczne dotyczące monitorowania postępu rzeczowego realizacji programów na lata 2021-2027 (zatwierdzone przez Ministra Funduszy i Polityki Regionalnej 12 października 2022 roku). Biorąc pod uwagę realizację projektu, beneficjentów najbardziej będzie interesował załącznik nr 1 do Wytycznych określający zakres danych na temat uczestników projektów współfinansowanych z Europejskiego Funduszu Społecznego Plus oraz podmiotów obejmowanych wsparciem gromadzonych w Centralnym Systemie Teleinformatycznym (CST 2021). Oczywiście odpowiednie zapisy odnośnie do monitorowania projektu znajdziemy również w umowie o dofinansowaniu. 

Na czym polega monitorowanie realizacji projektu?

Z chwilą podpisania umowy o dofinansowanie beneficjent bierze na siebie obowiązek monitorowania jego realizacji. Projekt powinien być realizowany zgodnie z harmonogramem, co oznacza, że beneficjent wsparcia musi monitorować zarówno postęp finansowy, jak i rzeczowy. Do wszystkich zadań w projekcie przypisane są również wskaźniki produktu i rezultatu. Monitoring projektu unijnego jest zatem sprawdzeniem, czy realizacja projektu przebiega zgodnie z zadaniami zadeklarowanymi we wniosku o dofinansowanie, a osiągnięte efekty zostaną utrzymane również po zakończeniu finansowania z funduszy unijnych. Beneficjent musi również pamiętać, że wszystkie zmiany w projekcie powinny być zgłaszane do instytucji udzielającej wsparcia. 

Na czym polega monitorowanie uczestników projektu?

Od monitorowania projektu należy wyraźnie odróżnić monitorowanie uczestników projektu, które ma miejsce przede wszystkim w projektach miękkich (np. szkolenia, staże, subsydiowane zatrudnienie) finansowanych z Europejskiego Funduszu Społecznego Plus. Jakie zatem dane uczestnika projektu są gromadzone w CST 2021? Realizator projektu powinien mieć: 

• dane uczestnika (obywatelstwo, rodzaj uczestnika – czyli informacje, czy uczestnik bierze udział w projekcie z własnej inicjatywy, czy został do projektu skierowany przez pracodawcę, nazwę instytucji kierującej do udziału w projekcie, imię i nazwisko, PESEL, wiek w chwili przystąpienia do projektu, płeć, wykształcenie); 
• dane teleadresowe (kraj, województwo, powiat, gmina, miejscowość, kod pocztowy, obszar zamieszkania według stopnia urbanizacji DEGURBA, tel. kontaktowy, adres e-mail); 
• szczegóły wsparcia (data rozpoczęcia i zakończenia udziału w projekcie, data rozpoczęcia udziału we wsparciu, status na rynku pracy w chwili przystąpienia do projektu, planowana data zakończenia edukacji w placówce edukacyjnej, w której skorzystano ze wsparcia, sytuacja po zakończeniu udziału w projekcie, zakończenie udziału osoby w projekcie zgodnie z zaplanowaną dla niej ścieżką uczestnictwa, rodzaj otrzymanego wsparcia, data założenia działalności gospodarczej);
• status uczestnika projektu (przynależność do mniejszości narodowej lub etnicznej, migrantów, obce pochodzenie, bezdomność i wykluczenie mieszkaniowe, niepełnosprawność). 

Jeżeli wsparciem zostaną objęte podmioty, wówczas zbierane są:

• dane podstawowe (nazwa instytucji, NIP, typ instytucji);
• dane teleadresowe (kraj, województwo, powiat, gmina, miejscowość, kod pocztowy, telefon kontaktowy, adres e-mail);
• szczegóły wsparcia (data rozpoczęcia i zakończenia udziału w projekcie, data rozpoczęcia udziału we wsparciu, fakt objęcia wsparciem pracowników instytucji, rodzaj przyznanego wsparcia). 

Gromadzenie powyższych danych stanowi podstawę do obliczenia wskaźników produktu oraz wskaźnika rezultatu bezpośredniego, które decydują o tym, czy projekt został zrealizowany prawidłowo. Bardzo ważne jest zebranie wszystkich wymaganych danych. Nie można bowiem wskazać danej osoby jako uczestnika projektu w sytuacji, gdy brakuje jej danych. Do najczęściej spotykanych wskaźników, które mierzą efekty projektu, możemy zaliczyć:

• liczbę osób bezrobotnych objętych wsparciem w programie (kategoria danych – status na rynku pracy),
• liczba osób w wieku 18-29 lat objętych wsparciem w programie (kategoria danych – wiek),
• liczba osób z wykształceniem co najwyżej średnim I stopnia (kategoria danych – poziom wykształcenia),
• liczba osób z niepełnosprawnościami objętych wsparciem w programie – kategoria danych – inne cechy). 

Co to jest wizyta monitoringowa? 

Jeżeli mowa o monitorowaniu projektu współfinansowanego z Funduszy Europejskich, nie można zapominać o wizycie monitoringowej. Celem tej wizyty jest sprawdzenie, czy realizacja projektu (np. szkolenia, stażu) przebiega zgodnie z zatwierdzonym harmonogramem projektu. Najczęściej jest to wizyta pracowników wydziału kontroli instytucji udzielającej wsparcia, która odbywa się bez zapowiedzi w miejscu realizacji projektu. Kontroli może podlegać: oznakowanie miejsca realizacji projektu, to, czy stan rzeczywisty uczestników pokrywa się z listą obecności, oraz to, czy na szkoleniu realizowany jest program, który podlegał zatwierdzeniu.

Ewaluacji nigdy nie można utożsamiać z monitorowaniem. Celem ewaluacji jest przede wszystkim zbadanie jakości wszystkich działań podejmowanych w projekcie. Instytucja powinna w wyniku ewaluacji otrzymać odpowiedź na pytanie: jak tworzyć lepsze, ciekawsze, a zarazem odpowiadające na potrzeby uczestników projekty? Monitoring to inaczej bieżąca kontrola nad realizacją projektu, za którą odpowiada zarówno beneficjent (monitoring uczestników projektu oraz harmonogramu rzeczowo-finansowego projektu), jak i instytucja udzielająca wsparcia (wizyta monitoringowa). Zarówno ewaluacja, jak i monitoring to obowiązki, które na beneficjenta nakłada umowa o dofinansowanie.