Monitorizarea si Evaluarea – PO DCA

Comitetul de Monitorizare

Comitetul de Monitorizare pentru PO DCA se va constitui pentru a supraveghea implementarea programului si evaluarea sa. Comitetul isi va stabili regulile de functionare avand in vedere cadrul institutional, legal si financiar si le va adopta in acord cu AM pentru asi indeplini atributiile in conformitate cu prevederile Regulamentului Consiliului (CE) nr. 1083/2006. Presedintia Comitetului va fi asigurata de un reprezentant al AM. Componenta Comitetului va fi stabilita de catre AM, iar in activitatea sa acesta va fi sprijinit de un secretariat permanent responsabil cu pregatirea documentelor pentru a fi luate in discutie de Comitetul de monitorizare si cu pregatirea procedurilor, a agendei de lucru si minutelor sedintelor. Din proprie initiativa sau la cererea Comitetului de Monitorizare, un reprezentant al Comisiei va participa la lucrarile Comitetului de Monitorizare in calitate de consultant. Comitetul de Monitorizare pentru PO DCA va reflecta principiul parteneriatului. El va include reprezentanti ai Ministerului Internelor si Reformei Administrative si ai Ministerului Economiei si Finantelor, ai Secretariatului General al Guverului, si ai altor ministere si institutii publice, Comisia Europeana (ca si consultant), parteneri sociali si de mediu, si alte organizatii nationale interesate in implementarea eficienta a PO. Comitetul de Monitorizare nu va fi creat mai tarziu de trei luni de la primirea de la Comisie a notificarii privind decizia de aprobare a PO DCA. Comitetul de Monitorizare al PO DCA isi va organiza activitatea in grupuri de lucru, daca este necesar. Comitetul de Monitorizare al PO DCA se va intalni, ca regula generala, cel putin de doua ori pe an si va supraveghea implementarea programului, in special in urmatoarele aspecte: a) analizeaza si aproba criteriile de selectie a operatiunilor ce urmeaza a fi finantate, in sase luni de la aprobarea programului operational si aproba orice revizuire a acestor criterii in conformitate cu nevoile de programare; b) analizeaza periodic progresul inregistrat in atingerea obiectivelor stabilite pe baza documentelor transmise de AM; c) examineaza rezultatele implementarii, in special atingerea obiectivelor fixate pentru fiecare prioritate si pentru evaluarile prevazute; 32 O regiune este considerata „Regiune” conform NUTS 2 sau „Stat Membru” (de exemplu, cand nu este prevazut un nivel regional in PO). 64 d) analizeaza si aproba rapoartele anuale si raportul final de implementare mentionat in articolul 66 al Regulamentului Consiliului nr. 1083/2006; e) primeste informatii asupra raportului anual de control, sau asupra partii din raport care se refera la PO DCA si asupra oricaror comentarii ale Comisiei Europene dupa examinarea acelui raport sau a partilor relevante din raport; f) propune AM orice revizuire sau examinare a PO DCA care sa conduca la atingerea obiectivului de Convergenta sau sa imbunatateasca managementul, inclusiv cel financiar al programului; g) analizeaza si aproba orice propunere de modificare a deciziei Comisiei Europene privind contributia din FSE.

Sistemul de monitorizare si raportare

Monitorizarea este un proces continuu si are un rol important in managementul programului operational, confirmand ca acesta inregistreaza progrese, furnizand informatii cu privire la atingerea obiectivelor initiale si identificand potentialele probleme, astfel incat sa poata fi intreprinse masuri corective. Sistemul de monitorizare a PO ia in considerare nevoile diferitelor categorii de utilizatori si a diferitelor niveluri de management. Potentialii utilizatori ai informatiilor sunt toti actorii implicati, care au propriile domenii de responsabilitate si, in consecinta, propriile nevoi de informatii. Acestia sunt: – Beneficiarii; – Autoritatile de management; – Comitetele de monitorizare; – Guvernul Romaniei; – Comisia Europeana; – Evaluatorii externi; – Publicul larg si ONG-urile. Sistemul de monitorizare se bazeaza pe examinarea periodica a contextului, resurselor (inputuri), output-urilor si rezultatelor programului si interventiilor acestuia. Acesta este format dintr-un mecanism de informare coerenta care include intalniri de evaluare a progreselor si rapoarte de progres care ofera rezumate periodice continand informatii esentiale provenind din indicatori fizici si financiari. Scopul rapoartelor este de a oferi informatii legate de stadiul realizarilor in functie de indicatorii si punctele de referinta stabilite ; aceste rapoarte vor fi elaborate in format standard care sa permita analize comparative in timp. Principala informatie inclusa in rapoarte se refera la indicatorii care surprind progresul interventiilor cu privire la obiectivele stabilite in faza de programare. În acest sens, a fost creat un sistem de indicatori pentru fiecare PO coordonat de ACIS. Desi adaptat la caracteristicile specifice ale PO, sistemul de indicatori urmareste uniformitatea datelor principale permitand ca informatiile sa fie colectate de jos in sus, agregate la diverse niveluri de interventie (proiecte, domenii cheie de interventie, axe prioritare, PO, CSNR), teme, sectoare, etc. Sistemul va fi echipat cu elemente de orientare care sa permita, in randul factorilor interesati, intelegerea uniforma a listelor detaliate cu indicatorii de monitorizare si evaluare, a definitiei fiecarui indicator, a responsabilitatilor, a periodicitatii si modalitatilor de colectare si procesare a datelor si a tabelelor de indicatori generate de SMIS care sa ofere o imagine clara a contextului si progreselor interventiilor. Daca este cazul, indicatorii vor fi impartiti dupa 65 diferite criterii (teritoriu, gen, grupuri tinta si dimensiunea acestora, etc). În cazul interventiilor FSE, se va respecta Anexa XXIII: Date privind participantii la operatiunile FSE conform Regulamentului de implementare nr. 1828/2006. Autoritatea de Management va colecta datele legate de implementarea Programului Operational la nivel de proiect si de program. Pe parcursul implementarii proiectului si al controlului financiar, ofiterii de proiect si de control vor primi sau vor colecta datele pentru a spriijini output-urile si rezultatele proiectului. La nivel de program, unitatea care se ocupa cu monitorizarea Programului Operational din Autoritatea de Management va raspunde de administrarea datelor cu privire la indicatorii specificati in Programul Operational care vor sta la baza rapoartelor anuale de implementare. Conditia de a oferi date in sprijinul monitorizarii corespunzatoare a implementarii Programului Operational va fi inclusa in contractele incheiate cu beneficiarii. Se va dezvolta un sistem de informare in cadrul Autoritatii de Management pentru a pastra in mod structurat datele privind indicatorii. Acest sistem de informare va sprijini furnizarea de informatii catre sistemul SMIS. Utilizarea si imbunatatirea setului de indicatori in cadrul sistemului de monitorizare este o sarcina continua in cursul perioadei de programare. ACIS si Autoritatea de Management vor verifica periodic corectitudinea informatiilor colectate si vor coordona procesul continuu de imbunatatire a functionarii sistemului de monitorizare. Se vor realiza evaluari si verificari de calitate a sistemului de monitorizare in ceea ce priveste acoperirea, echilibrul si flexibilitatea acestuia. Indicatorii individuali vor fi evaluati in ceea ce priveste relevanta, sensibilitatea, disponibilitatea si costurile acestora.

Comitetul de Monitorizare va fi consultat cu privire la sistemul de indicatori la inceputul implementarii programului si pe tot parcursul perioadei de programare pentru a se verifica daca: • Sistemul de indicatori a fost instalat corespunzator in totalitatea sa, si • Informatia este suficienta pentru o buna functionare. Desi sistemul de monitorizare va fi in mare parte raspunzator de generarea datelor de realizare imediata (“output”), unele dintre acestea, precum si majoritatea datelor de rezultat pot necesita eforturi suplimentare (ex. studii, munca de teren, colectarea informatiilor de la alte organizatii). Pe de alta parte, statisticile oficiale care genereaza indicatori de context vor trebui suplimentate cu cercetari, studii sau alte tehnici de colectare si interpretare a datelor. Nevoile specifice de informare complementara si activitatile conexe planificate vor fi incluse in PO si in Planurile de Evaluare ale CSNR descrise in sectiunea Evaluare din acest document.

În conformitate cu Articolul 67 din Regulamentul Consiliului (CE) nr. 1083/2006, Autoritatea de Management va inainta Raportul Anual de Implementare Comisiei Europe pentru prima data in 2008 si pana la data de 30 iunie a fiecarui an. Raportul va fi examinat si aprobat de Comitetul de Monitorizare a PO DCA inainte de a fi trimis Comisiei.

Rapoartele de implementare vor contine urmatoarele informatii: • Progresele legate de implementarea PO DCA si axele sale prioritare comparativ cu indicatorii stabiliti – stadiul implementarii proiectelor; • Implementarea financiara – cheltuielile realizate pe axe prioritare, distributia lor in cadrul contributiei nationale si contributiei FSE; • Urmarirea rezultatelor de catre AM a PO DCA si de catre Comitetul de Monitorizare 66 pentru a asigura calitatea si eficienta implementarii, in special: • masurile de monitorizare si evaluare, inclusiv actiunile de colectare a datelor; • lista dificultatilor intampinate in procesul de implementare si toate masurile luate; • metoda de folosire a asistentei tehnice; • masurile luate pentru publicitate si furnizarea de informatii cu privire la PO DCA. • O declaratie cu privire la respectarea regulamentelor comunitare referitoare la implementarea PO DCA.

Un raport final va fi inaintat Comisiei pana la 31 martie 2017. Raportul final va contine toate informatiile legate de intreaga perioada de implementare din 2007 pana in 2015. Examinarea anuala a programelor. În conformitate cu Articolul 68 din Regulamentul Consiliului (CE) nr. 1083/2006, in fiecare an, atunci cand raportul anual de implementare este inaintat, Comisia Europeana va analiza principalele rezultate ale anului anterior impreuna cu Autoritatea de Management cu scopul de a imbunatati implementarea. De asemenea, se pot examina orice aspecte legate de functionarea sistemului de management si control mentionate in raportul anual de control. Dupa aceasta analiza, Comisia Europeana poate transmite observatiile sale Autoritatii de Management a PO DCA si Guvernului Romaniei. Autoritatea de Management va informa Comitetul de Monitorizare a PO DCA asupra acestor observatii. Autoritatea de Management a PO DCA va informa Comisia in legatura cu actiunile realizate ca raspuns la aceste observatii. Pentru AM a PO DCA, procesul de monitorizare va fi impartit intre urmatoarele structuri operationale: implementare, management fnanciar si unitatea de control care vor fi active in colectarea si analiza datelor la nivel de proiect. Programarea isi va asuma raspunderea pentru coordonarea si sinteza programului, preluand inclusiv functia de secretariat al Comitetului de Monitorizare. Aceasta structura va elabora planul anual de implementare si va mentine o relatie la nivel superior cu beneficiarii pentru a monitoriza rezultatele si impactul dintr-o perspectiva globala a programului.

Evaluarea

Cadrul legal
Evaluarea Programelor Operationale este o activitate inseparabila de managementul si implementarea PO, fiind un instrument de evaluare a relevantei, eficientei, eficacitatii asistentei financiare desfasurate si a impactului si sustenabilitatii rezultatelor obtinute. Cerinta de a realiza activitati sistematice de evaluare a PO si regulile generale care se aplica acestora sunt stabilite in Regulamentul Consiliului nr. 1083/2006 din data de 11.07.2006, care stabileste prevederile generale ale Fondului European de Dezvoltare Regionala, Fondul Social European si Fondul de Coeziune (articolele 37, 47-49).
În conformitate cu articolele 47-49 ale Regulamentului Consiliului nr. 1083/2006, se vor realiza trei tipuri principale de evaluare pentru PO DCA:
- Evaluare ex-ante ;
- Evaluari continue (in timpul perioadei de implementare a PO);
- Evaluarea ex-post.

Evaluarea ex-ante. Pentru perioada de programare 2007-2013, evaluarea ex-ante a PO DCA a fost realizata de un evaluator extern (un singur contractor). Managementul contractului de evaluare ex-ante a fost realizat de catre ACIS prin Unitatea Centrala de Evaluare in cooperare cu Autoritate de Management si alti factori interesati.

Evaluarile continue care vor fi realizate in timpul implementarii PO DCA vor fi de trei tipuri
– a) intermediara, b) ad hoc si c) cu o tema orizontala, dupa cum urmeaza:
a) Evaluarea intermediara are ca scop imbunatatirea calitatii, eficacitatii si consecventei asistentei, strategiei si implementarii programelor operationale. Evaluarea intermediara va sprijini procesul de management al programului operational prin analiza problemelor care apar in timpul implementarii si va propune solutii specifice pentru a imbunatati functionarea sistemului.
Vor fi efectuate doua evaluari intermediare ale PO DCA: o evaluare la sfarsitul anului 2009 si o alta evaluare in 2012. Prima evaluare intermediara va examina progresul realizat in implementarea programului, luand in considerare aspecte precum managementul programului, in timp ce a doua evaluare intermediara se va concentra mai mult asupra prioritatilor avute in vedere, luand in considerare urmatoarea perioada de programare.
b) Evaluarile ad-hoc vor fi efectuate in cazul in care monitorizarea programului indica faptul ca acesta s-a indepartat in mod semnificativ de la scopurile propuse initial sau in cazul in care se propune revizuirea unui program operational. Evaluarile ad-hoc pot de asemenea sa verifice aspecte legate de implementarea si managementul unei singure axe prioritare sau a unui domeniu major de interventie, sau pot fi ,,tematice”. La propunerea AM DCA, Comitetul de Monitorizare va lua decizii in privinta tematicii si a momentului in care sa aiba loc evaluarile ad-hoc, pe baza examinarii datelor tehnice si financiare furnizate de catre sistemul de monitorizare.
Evaluarile intermediare si tematice vor fi coordonate de Unitatea de evaluare a AM pentru PO DCA si va fi realizata extern, de catre evaluatori independenti.
c) Evaluarile cu tema orizontala vor fi realizate in cazul in care evaluarile sunt de natura orizontala si efectuarea evaluarii necesita implicarea mai multor programe operationale. Aceste evaluari pot examina evolutia tuturor programelor operationale sau a unui grup de programe operationale, in relatie cu prioritatile nationale si cele comunitare. Acestea pot examina anumite aspecte de management in cadrul tuturor programelor operationale. Evaluarile cu tema orizontala vor fi coordonate de Unitatea Centrala de Evaluare din cadrul ACIS si vor fi efectuate de consultanti externi.
Obiectivele specifice, intrebarile pentru evaluare, activitatile si rezultatele asteptate ale evaluarilor intermediare, ad-hoc si cu tema orizontala vor fi definite separat pentru fiecare evaluare in parte.

Evaluarea ex-post va fi realizata de catre Comisie, in cooperare cu statul membru si Autoritatile de management, in conformitate cu articolul 49 (3) din Regulamentul Consiliului nr. 1083/2006. Comisia poate efectua evaluari strategice, precum si evaluari legate de monitorizarea PO DCA, in conformitate cu articolul. 49 (1) si (2) din din Regulamentului Consiliului nr. 1083/2006.

Cadrul institutional pentru evaluare
Cadrul institutional national pentru evaluare este organizat pe doua niveluri: • un nivel general de coordonare, asigurat de Unitatea Centrala de Evaluare creata in cadrul ACIS, in MEF; • un nivel functional, reprezentat de Unitatile de evaluare stabilite in cadrul fiecarui AM.

Rolul de coordonare al Unitatii Centrale de Evaluare cuprinde urmatoarele atributii principale:
• Realizarea de evaluari cu tema orizontala; • Efectuarea de activitati de intarire a capacitatii unitatilor de evaluare din cadrul AM; • Efectuarea unor activitati care sa asigure calitatea evaluarilor. Unitatea de evaluare stabilita in cadrul AM pentru PO DCA va fi responsabila pentru evaluarile intermediare si ad-hoc. Unitatea de evaluare isi va desfasura activitatea in cooperare cu Comitetul de Monitorizare si va interactiona permanent cu Unitatea Centrala de Evaluare.

Planul de evaluare
Unitatea de evaluare din cadrul AM va realiza un Plan de Evaluare a PO, care va cuprinde activitatile orientative de evaluare pe care intentioneaza sa le realizeze in diferitele faze ale implementarii programului, colectarea datelor suplimentare, care nu sunt furnizate de catre sistemul de monitorizare, resursele financiare si umane aproximative alocate pentru fiecare activitate de evaluare, actiunile care vizeaza intarirea capacitatii, precum si responsabilitatile aferente. Aceasta planificare se va face in conformitate cu regulamentele comunitare privind instrumentele structurale; cu lucrarile metodologice pentru evaluare elaborate de Comisia Europeana; cu lucrarile metodologice pentru evaluare elaborate de ACIS – Unitatea Centrala de Evaluare. Planul de Evaluare a PO va fi supus aprobarii Comitetului de Monitorizare. În Planul de Evaluare a PO DCA vor fi incluse subiecte precum: relevanta si calitatea obiectivelor cuantificate (de ex. existenta datelor, indicatorii), performanta globala a PO DCA (de ex. structura administrativa, procesul de implementare, capacitatea de absorbtie), evaluari care privesc axa prioritara 1 (Îmbunatatiri de structura si proces a managementului ciclului de politici publice) sau axa prioritara 2 (Îmbunatatirea calitatii si eficientei furnizarii serviciilor publice, cu accentul pus pe procesul de descentralizare), evaluarea impactului interventiilor PO DCA precum si evaluari ad-hoc ori de cate ori solicita Comitetul de Monitorizare sau cand datele de monitorizare indica o indepartare semnificativa de la obiectivele initial stabilite. În plus, Planul de Evaluare al CNSR va fi realizat de catre Unitatea Centrala de Evaluare din cadrul ACIS. Acesta va viza furnizarea de informatii care sa fie utilizate in procesul de luare a deciziilor la nivel strategic si va cuprinde activitati de evaluare la nivel macro socioeconomic. Temele de evaluare care vor aparea in Planul de Evaluare a CNSR vor avea legatura cu prioritatile CNSR (infrastructura, competitivitate economica, dezvoltarea resurselor umane, capacitate administrativa si dimensiune teritoriala) sau pot sa priveasca sistemul de implementare, cum ar fi evaluarile ad-hoc pe teme orizontale cu accent pe aspecte legate de implementare si de procesele din cadrul programelor operationale, precum si pe corespondenta programelor cu politicile nationale, care vor fi realizate de catre ACIS in 2008.

Prevederi operationale
Fiecare program operational va stabili un comitet de coordonare a evaluarii, care se va intruni pentru fiecare exercitiu de evaluare. Un comitet de coordonare pentru evaluarile strategice va fi de asemenea stabilit la nivelul CNSR pentru evaluarile cu tema orizontala. Comitetul de coordonare va indeplini cel putin urmatoarele sarcini: elaborarea termenilor de referinta pentru fiecare evaluare, facilitarea accesului evaluatorului la informatia necesara pentru a-si desfasura activitatea; sprijinul pentru activitatea de evaluare, mai ales in ceea ce priveste metodologia; asigurarea ca termenii de referinta sunt respectati; realizarea controlului calitatii cu privire la evaluarea efectuata. Sub coordonarea Unitatii Centrale de Evaluare, un mecanism de urmarire a recomandarilor evaluarii va fi stabilit in manualul de proceduri pentru evaluare, urmand a fi pus in practica in cadrul AM pentru PO DCA. În ceea ce priveste disponibilitatea rezultatelor evaluarii, cel putin sinteza rapoartelor de evaluare va fi facuta publica. Mijloacele de comunicare vor fi usor de identificat si accesibile.