Crearea structurilor de management ale evaluarii

In mod obisnuit exista doua organisme de management al evaluarii - comitetul de pilotaj si echipa de evaluare. Comitetul de pilotaj este un grup de factori interesati la nivel inalt care sunt responsabili cu furnizarea de indrumari cu privire la directia strategica generala a evaluarii. Acestia nu inlocuiesc clientul, dar ajuta la nivel strategic in ceea ce priveste decizia asupra principalelor activitati si teluri ale evaluarii. Comitetul de pilotaj este de obicei format din organizatiii partenere si interesate si este o combinatie de clienti directi si factori interesati indirecti. Intalnirile regulate ale comitetului de pilotaj ajuta echipa de evaluare sa aiba o intelegere unitara asupra prioritatilor si valorilor pe parcursul procesului de evaluare a politicii.

In practica, comitetele de pilotaj sunt alcatuite pentru evaluarile la scara larga, in timp ce evaluarile la o scara mai redusa pot folosi structurile sau practicile de management existente (ex. consiliu de management, intalnirile regulate la nivel de management) pentru a desfasura evaluarea. Pentru autoevaluari chiar un departament poate fi responsabil pentru program.

Crearea unei echipe de evaluare depinde de complexitatea intrebarilor de evaluare. Evaluarea poate fi gestionata din interior sau exterior, poate implica persoane din medii multidisciplinare. De exemplu, colectarea datelor poate fi desfasurata de o agentie de statistica, dar cel mai adesea, colectarea datelor este delegata catre institutele de cercetare, universitati sau companii private care au experienta in domeniul respectiv. Capacitatea necesara nu ar trebui subestimata.

Urmatoarele aspecte ar trebui avute in vedere in decursul etapei de creare a echipei de evaluare:

• Ce abilitati, cunostinte, experienta sunt necesare in cadrul echipei?
• Echipa trebuie sa fie interna sau externa interventiei sau ar trebui sa fie o combinatie intre cele doua?
• Cum pot fi implicati factorii interesati?

Echipa de evaluare trebuie sa includa diferite contexte si abilitati, atat in ceea priveste colectarea, cat si in ceea ce priveste analiza datelor. Este esential ca intreaga echipa analitica sa ia parte la elaborarea si finalizarea chestionarelor de ancheta. In ceea ce priveste partea de colectare a datelor, urmatoarele abilitati sunt esentiale: expert esantionare, proiectant ancheta/chestionar, manager pentru activitatile pe teren, persoane implicate in procesul de colectare a datelor, specialisti/experti procesare a intrarilor de date. 

Decizia de externalizare a evaluarii si factorii care afecteaza aceasta decizie

Autoevaluarea realizata de catre institutie este adecvata atunci cand principalele obiective ale evaluarii sunt cresterea capacitatii angajatilor sau/imbunatatirea managementului privind implementarea programului sau politicii. Cu toate acestea, timpul si competentele personalului pot fi insuficiente, gama de probleme acoperite poate fi limitata, iar credibilitatea constatarilor poate fi pusa la indoiala. Inseamna ca autoevaluarea trebuie privita ca un exercitiu de evaluare si ca punct de pornire pentru pregatirea urmatorilor pasi in ceea ce priveste practica evaluarii.

Evaluarea efectuata de ministere este adecvata atunci cand obiectivul evaluarii este evaluarea performantelor ministerului in conformitate cu planul sau strategic, pentru imbunatatirea prioritatilor bugetare si atunci cand este important ca evaluatorul sa aiba legaturi stranse cu procesul decizional.

Evaluarea efectuata de evaluatorii externi (ex. organisme de cercetare si consultanti de management) poate fi efectuata atunci cand obiectivul este de a furniza noi perspective asupra politicilor publice sau cand sunt necesare competente de evaluare specializate. Cu toate acestea, acesti evaluatori pot avea o intelegere limitata a continutului politicii sau a culturii organizatiei supuse evaluarii si ofera evaluari teoretice.

Evaluarea independenta poate fi adecvata cand obiectivele tintesc imbunatatirea nivelului de responsabilitate si transparenta. Cu toate acestea, cei care formuleaza politicile pot avea ezitari in ceea ce priveste acceptarea constatarilor si recomandarilor. Procesele de audit al performantei sunt adesea similare cu evaluarile. Printre caracteristicile lor cheie se afla si independenta auditorului si concentrarea mai degraba pe responsabilitate decat pe perfectionare.

Decizia de externalizare a evaluarii sau a unor parti din evaluare trebuie luata in primul rand de client, in consultare cu principalii factori interesati. De asemenea, aceasta decizie depinde de resursele financiare, de timp si cele umane. Nivelul de implicare al centrelor de evaluare, universitatilor si companiilor private depinde de intrebarile de evaluare, timpul si resursele financiare disponibile, precum si de interesul politic privind constatarile evaluarii. De obicei, ministerele si agentiile externalizeaza parti din activitatea de cercetare si studii pe teren, care trebuie analizate folosindu-se metode calitative si cantitative complexe.

Elaborarea Termenilor de Referinta pentru experti

Termenii de Referinta (TdR) ofera contextul general pentru evaluare; definesc obiectivele si sfera acesteia, alcatuirea echipei de evaluare si coordonarea in timp.

Elaborarea unor TdR este un pas initial fundamental in cadrul oricarei analize, ancheta, cercetare sau evaluare. TdR clarifica asteptarile, rolurile si responsabilitatile intre diversi factori interesati, furnizeaza planul pentru activitatea generala, inclusiv activitatile de urmarire. De asemenea, reprezinta si baza pentru aranjamentele contractuale cu consultantii externi.

Profunzimea si gradul de detaliere al TdR depinde de tipul de evaluare. Pentru o evaluare facilitata din exterior a unui program care implica numerosi factori interesati, TdR vor fi foarte detaliati, pe cand pentru o evaluare interna a unei activitati sau o evaluare de urgenta poate fi doar o simpla schita.

TdR pot fi elaborati in mai multe etape. In decursul etapelor initiale ale evaluarii, factorii interesati se vor concentra mai mult pe detaliile legate de intrebarile de evaluare. Atunci cand va fi nevoie de recrutarea unei echipe de asistenta externa, Termenii de Referinta trebuie sa contina mai multe informatii cu privire la sursele de informatii existente, alcatuirea echipei, proceduri si produse, dar pot descrie metodologia si calendarul activitatilor in termeni generali. TdR pot fi apoi revizuiti dupa alcatuirea echipei de evaluare. Scopul acestei revizuiri este analiza intrebarilor cheie si elaborarea ulterioara a metodologiei.

Departamentul responsabil cu evaluarea elaboreaza apoi TdR in baza nevoilor clientului si principalilor factori interesati. Este foarte important sa se ia in considerare nevoile de informare ale tuturor partilor implicate.

Termenii de Referinta pot include urmatoarele capitole:

1. Context
2. Obiectiv
3. Rezultat al actiunii (output)
4. Sfera de lucru
5. Metodologie
6. Plan de lucru
7. Alcatuirea echipei de evaluare
8. Documente disponibile

Evaluarile se desfasoara de obicei in mai multe etape, cum ar fi studiul documentar, activitati pe teren si analiza datelor. In astfel de cazuri, Termenii de Referinta ofera un cadru pentru evaluare si unul dintre obiectivele studiului documentar este formularea unui plan detaliat de lucru pe teren pentru evaluare.

Evaluarea resurselor de timp, umane, financiare si datele disponibile

Asa cum a fost mentionat anterior, abordarea privind evaluarea depinde in mare masura de intrebarile de evaluare. Acestea determina structura echipei de evaluare, precum si modelul posibil al evaluarii. Evaluarile care presupun un efort foarte mare sunt evaluarile de impact, deoarece acestea necesita descoperirea unei relatii cauzale intre rezultatele interventiei si lumea reala. Daca nu exista suficiente resurse de timp, financiare sau umane, atunci se desfasoara analize ex-post, rapide, fara a folosi grupurile de comparatie, sau studii transversale (explicate mai jos). Alegerea evaluarii rezultatelor doar in urma finalizarii interventiei nu ofera rezultate precise si nu poate fi privita drept o sursa de incredere pentru luarea unei viitoare decizii.

Prin urmare, la nivel de management/decizional trebuie sa se emita judecati cu privire la timpul, resursele financiare si umane disponibile, folosirea metodelor de colectare si analiza a datelor adecvate si trebuie sa se incerce ajustarea evaluarii in mod realist.

Chiar si evaluarile bine planificate se pot confrunta cu situatii neasteptate care pot necesita resurse financiare suplimentare. Atunci echipa de evaluare poate face anumite modificari asupra activitatilor de evaluare si poate lua in considerare doar colectarea si analiza datelor esentiale pentru intrebarile de evaluare cele mai importante. In plus, exista multe surse secundare de date care pot fi folosite in locul metodelor mai costisitoare de colectare a datelor primare.

Uneori evaluatorii sunt solicitati chiar in mijlocul procesului de implementare al unei interventii, sau chiar cand aceasta s-a finalizat. Atunci evaluarii ii lipsesc resursele de timp. Asta inseamna ca evaluatorii nu au posibilitatea de a folosi modele de evaluare care necesita mult timp si colectarea datelor la inceput de program (ex. studii de grup pre-testare, explicate ulterior). In aceste conditii, modelul care necesita foarte mult timp este posibil doar daca evaluarea beneficiaza de un buget adecvat pentru angajarea resurselor umane pentru a desfasura mai rapid procesul de colectare a datelor. Datele culese rapid pot fi distorsionate, iar clientul poate sa fie nesatisfacut de nivelul lor de acuratete. In astfel de cazuri, este recomandabil ca marja de eroare sa fie clarificata in prealabil. 

Se intampla adesea ca evaluarea sa fie desfasurata in urma implementarii unui anumit program sau politica si nu exista date de baza disponibile. Aceasta, din perspectiva validitatii datelor, este cea mai nefericita situatie si trebuie sa fie justificata prin toate metodele posibile: reconstruirea datelor de baza folosind metode participative, alte surse existente sau persoane-resursa cheie.

O evaluare complet obiectiva, nepartinitoare si perfecta nu exista. Deciziile implica intotdeauna judecata umana. Cu toate acestea, echipa de evaluare poate folosi abordari diferite (ex. combinarea metodelor calitative si cantitative de colectare a datelor, folosirea triangulatiei) cu scopul de a crea o evaluare cat mai obiectiva posibil, in acelasi timp luand in considerare nevoile specifice ale clientului.

Alegerea tipului de evaluare

Diferite metodele de cercetare constituie baza fiecarei evaluari a unei politici. Depinde de analistul politicii respective sa decida cat de detaliata trebuie sa fie analiza in fiecare caz in parte. In plus, cunostintele legate de abordarile adecvate privind evaluarea ex-post pot ajuta la determinarea valorii altor evaluari si cercetari desfasurate anterior pe care dorim sa le includem in propriile evaluari.

Programul sau politica pot fi evaluate in conformitate cu o gama larga de criterii de eficacitate. Fiecare domeniu de politica are propriile valori fundamentale pe care le utilizeaza pentru a-si evalua programele. De exemplu, in domeniul economic principala valoare este eficienta resurselor alocate. Acest lucru inseamna ca nivelul costurile sociale marginale trebuie sa fie cel putin egal sau mai mic cu cel al beneficiilor sociale marginale. Prin urmare, pe parcursul evaluarii economistii iau in considerare nu doar efectele intentionate, ci si pe cele neintentionate (externalitati pozitive si negative). Daca valorile economice reprezinta principalul interes al celor care formuleaza politicile, acestia vor alege sa foloseasca analiza cost beneficiu sau analiza eficientei costurilor pentru a evalua nivelul de eficienta al programului.

Alte domenii au alte valori fundamentale prin urmare motivele evaluarii vor fi diferite. Sociologii adesea se concentreaza pe aspecte legate de egalitate si dreptate sociala. Specialistii din administratie publica ar putea evalua daca programul este implementat in conformitate cu preferintele legiuitorilor, precum si nivelul de satisfactie al comunitatii cu privire la serviciile furnizate.

Cei care formuleaza politici au diferite valori fundamentale. Ei doresc sa se asigure ca politica implementata genereaza rezultatele politicii si rezultatele actiunii (outputs) asteptate si nu inrautateste conditiile de viata ale nimanui. De obicei, diferite politici au fost implementate folosindu-se resurse financiare din bugetul de stat din cadrul unui anumit program al unui minister sau al unei agentii. Unele dintre aceste programe au o durata nedefinita (ex. beneficiile sociale) prin urmare, pot fi evaluate doar prin efectuarea unor evaluari intermediare. In aceste cazuri, un set de indicatori de monitorizare definiti in prealabil ajuta la emiterea de judecati, daca implementarea conduce catre obiectivele de politica sau program. Astfel, evaluarea performantei unei politici sau unui program include estimarea interventiei guvernamentale din diferite perspective.

Exista mai multe tipuri de studii de evaluare si fiecare dintre ele adreseaza intrebari diferite. Astfel, tipurile de evaluare pot fi clasificate in termenii metodologiei si ai focalizarii acestora. In ceea ce priveste metodele folosite, evaluarile pot fi descriptive sau pot analiza cauzalitatea. In privinta continutului, evaluarile se pot concentra pe contributii (inputs), procese, rezultate ale actiunii (outputs) sau rezultatele programului (outcomes).

Evaluari descriptive vs. cauzale

Evaluarea descriptiva defineste diferite trasaturi ale grupului tinta. Un exemplu de evaluare descriptiva este analiza nevoilor. Alte evaluari descriptive pot analiza grupurile tinta ale diferitelor programe, precum si contributiile, rezultatele actiunii (outputs), sau ambele.

Evaluarile cauzale de obicei analizeaza cauzalitatea: a generat programul rezultatele actiunii (outputs) dorite, evitandu-le pe cele nedorite? Este important pentru cei care formuleaza politicile ca, dupa implementarea acestora, sa compare impacturile realizate atat in termenii rezultatelor pozitive cat si negative. De asemenea, ei trebuie sa cunoasca efectul net al politicii in comparatie cu desfasurarea unei alte activitati, sau cu scenariul "a nu face nimic". De obicei acest lucru necesita un model de politica anume (sau teorie) si un test al acestor optiuni folosind metode experimentale sau cvasi-experimentale (explicate mai jos) de evaluare.

Evaluari formative vs. sumative

In ceea ce priveste continutul lor, anumite evaluari se axeaza pe implementarea programului, in timp ce altele se concentreaza pe nivelul atins de rezultatele actiunii (outputs) si rezultatele politicii (outcomes). Analiza proceselor de furnizare a serviciilor publice este un lucru obisnuit in administratia publica si serveste drept exemplu pentru evaluarea procesului sau evaluarile formative. Analizele eficientei costurilor si cost-beneficiu, precum si meta-analizele sunt principalele metode folosite in evaluarea impactului sau evaluarile sumative. Aceste evaluari sunt foarte des intalnite in domeniile economic, social si educational. Studiile de impact social si cele privind saracia servesc drept exemple de evaluari sumative des intalnite.

Evaluarea formativa examineaza procesul de desfasurare a programului (logica interventiei), cu accent asupra calitatatii implementarii sale si a contextului organizational, personalului, structurilor si procedurilor. Ca abordare a evaluarii orientate catre schimbare, acorda o atentie deosebita diferentei dintre directia si rezultatele asteptate ale actiunii (outputs) din cadrul programului si ceea ce se intampla in realitate. Analiza punctelor forte, punctelor slabe, a amenintarilor si oportunitatilor este o parte obisnuita a evaluarilor formative. Analiza nevoilor mentionata anterior, este atat evaluare descriptiva, cat si evaluare formativa. Programele sau politicile la scara larga acopera de obicei grupuri tinta mai largi, sunt complexe si au o multime de rezultate. Prin urmare, gestionarea implementarii lor este o activitate care prezinta multe provocari, deoarece este foarte usor sa te abati de la obiectivele politicii publice. Partea esentiala a formularii de politici este desfasurarea in mod regulat a evaluarii formative cu scopul de a observa daca activitatile sunt orientate catre publicul potrivit.

Intrebarile cheie si metodele folosite in cadrul evaluarii formative sunt:

• Unde este problema si care este sfera sa?
• De ce, pentru cine si cum merge sau nu o interventie?
• Cum ar trebui sa fie imbunatatit un program sau o politica in cazul in care esueaza?

Daca activitatea de monitorizare a politicilor publice si programelor se desfasoara in mod regulat si in conformitate cu indicatorii stabiliti in prealabil, acest lucru ofera functionarilor publici de nivel superior oportunitatea de a identifica problema pe parcursul implementarii unei anumite interventii guvernamentale. Odata problema identificata, este nevoie de evaluari suplimentare. In aceasta etapa pot fi folosite mai multe abordari, de exemplu consultarile cu factorii interesati, analiza nevoilor, care poate include analiza surselor de date existente, interviuri cu grupurile tinta si focus grupuri.

Metodele care ajuta la definirea naturii si dimensiunii problemei existente, necesita lucru in echipa si anumite pregatiri in prealabil (de exemplu, brainstorming, focus grupuri, metodele Delphi, analiza factorilor interesati, scheme conceptuale).

Evaluarile sumative examineaza efectele sau rezultatele anumitor programe. Ele rezuma consecintele interventiei si determina legaturile dintre aceste consecinte si implementarea politicii.

Intrebarile cheie si metodele folosite in cadrul evaluarilor sumative sunt urmatoarele:

Care este nivelul de eficacitate al programului?

Care este impactul net al programului?

Evaluatorii pot alege metode de observatie pentru a demonstra daca au fost indeplinite efectele dorite si modele cvasi-experimentale si experimentale pentru a determina daca efectele observate ar putea fi atribuite in mod rezonabil interventiei si nu altor surse. Pentru analiza eficientei costurilor si cea a costurilor/beneficiilor sunt necesare metodele econometrice, metode calitative care permit rezumarea intregii game de impacturi intentionate si neintentionate.

Intrebarea de evaluare prin ea insasi ofera raspunsul la intrebarea ce tip de evaluare trebuie desfasurata. Cu toate acestea, in cadrul posibilelor combinatii transversale intre evaluari descriptive, cauzale, formative si sumative, exista posibilitatea de a alege.

Trei abordari principale in cadrul evaluarilor cauzale

Validitate interna[1] este in centrul tuturor concluziilor bazate pe impacturi cauzale sau de tipul cauza-efect. Validitatea interna este cruciala pentru capacitatea evaluarii de impact de a fi justificabila. Cand cel care formuleaza politica doreste sa afle daca o interventie guvernamentala (tratament) este intr-adevar cauza care determina aparitia unui anumit rezultat, atunci acesta doreste ca interventia sa aiba o validitate interna puternica: adica daca X, atunci Y (daca programul este aplicat, atunci rezultatele apar). Din pacate, nu este suficient doar sa dovedim faptul ca atunci cand are loc interventia apare si rezultatul asteptat. Ar putea exista multe alte motive datorita carora rezultatul a fost observat. Pentru a dovedi existenta unei relatii cauzale, trebuie sa fie rezolvate simultan doua afirmatii:

Daca X, atunci Y si daca nu X, atunci nu Y sau daca interventia nu are loc, nu au loc nici rezultatele. Acest lucru subliniaza eficienta cauzala a programului.

Pentru a determina si a demonstra eficienta cauzala a programului,  evaluatorii incearca pe cat posibil sa creeze sau sa gaseasca doua grupuri similare, sa creeze situatii comparabile si sa gestioneze programul in grup de tratament (si sa vada daca apar rezultatele) nu in grup de control (si sa vada daca rezultatele nu apar).

In cazurile in care echipa de evaluare are sarcina de a gasi o relatie cauzala intre rezultatele interventiei si rezultatele intentionate ale politicii sau programului, ar putea fi folosite trei abordari pentru a raspunde la intrebarile de evaluare:  modelul experimental, cvasi-experimental si non-experimental. Aceste modele includ diferite combinatii si diferite perioade de timp pentru doua tipuri de comparatii: pre-test - post-test (comparatii in serie temporala) si grupuri de control vs. tratament (comparatii transversale). Modele difera in ceea ce priveste abordarea folosita pentru alegerea grupurilor respective.

Modelele experimentale sunt primele modele aplicate in cercetarea sociala si educationala si sunt inca recunoscute drept "standardele de aur" ale modelelor de cercetare, in baza carora sunt judecate toate celelalte modele. Daca este posibil ca un model experimental sa fie implementat in mod adecvat, atunci acesta este cel mai solid model in ceea ce priveste validitatea interna. Asta inseamna ca, in ceea ce priveste modelele experimentale, estimarile impactului interventiei asupra rezultatelor asteptate vor fi, in comparatie cu alte modele, mai putin distorsionate.

In cadrul celui mai simplu tip de experiment, cercetatorii creeaza doua grupuri care sunt "echivalente" unul altuia. Grupul de tratament (program) beneficiaza de interventie iar grupul de control (comparatie) nu beneficiaza. Pentru toate celelalte aspecte, grupurile sunt tratate la fel. Au persoane similare, conditii de trai si medii de provenienta asemanatoare. Acum, daca observam diferentele dintre rezultatele acestor doua grupuri, aceste diferente trebuie sa fie cauzate de singurul lucru care le diferentiaza - si anume ca unul a beneficiat de program si altul nu.

O trasatura esentiala pentru modelul experimental este atribuirea aleatoare a unitatilor analizei in studiul diferitelor grupuri. Unitatile de analiza pot fi indivizi sau grupuri de indivizi identificabile, separate, precum scoli, orase etc. Fiecare individ sau grup este in mod aleatoriu atribuit unui program sau tratament diferit. Pentru a selecta un tratament la intamplare pentru fiecare unitate puteti da cu banul, cu zarurile, sau puteti folosi un computer care genereaza numere aleatorii. Se spune ca o astfel de atribuire aleatoare este oarba, deoarece alegerea nu este facuta nici de managerul de program, nici de clientul afectat, nici chiar de evaluator.

Se intampla foarte rar ca grupul de control sa nu beneficieze de niciun tratament. In experimentele medicale aceste grupuri primesc asa numitul placebo, in timp ce grupurile de tratament incearca noi medicamente. In cadrul evaluarii unui program/politici, cele mai obisnuite experimente au fost proiectate drept atribuiri aleatorii pentru programul sau tratamentul A vs. programul sau tratamentul B. A poate fi noul program, in timp ce B este programul curent. Adesea, experimentele analizeaza impactul relativ al mai multor alternative (vezi exemplul 9).

Este important sa se faca diferenta intre selectie aleatoare si atribuire aleatoare. Selectia aleatoare a indivizilor din grupul tinta mai vast al populatiei pentru esantionul studiului final nu determina caracterul aleatoriu al experimentului. Intensifica validitatea externa[2], dar nu are un impact direct asupra validitatii interne (relatie cauzala). Esantionarea aleatore nu este necesara pentru experiment. Dimpotriva, ceea ce defineste experimentul este mai degraba atribuirea aleatoare a fiecarui element din esantion, care poate sau nu sa fi fost selectat la intamplare, unei alternative de tratament.

Principala dificultate care apare pe parcursul unui experiment este lipsa participantilor. Acest lucru se poate intampla din cauza migratiei sau decesului. Sau, cateodata, participantii pot lipsi pentru ca ei considera ca selectia persoanelor care beneficiaza de program (grupul de tratament) nu este corecta, ei meritand sa intre in acest program la fel de mult ca si ceilalti etc.

Modelul experimental este dificil de desfasurat in majoritatea contextelor din viata reala. Este intruziv si creeaza intr-o anumita masura o situatie artificiala cu scopul de a evalua relatia cauzala cu o validitate interna ridicata. Prin urmare, generalizarea rezultatelor in viata reala este limitata. Cu alte cuvinte, cercetatorul a redus validitatea externa cu scopul de a obtine o validitate interna mai ridicata.

Nu exista un raspuns la intrebarea daca modelul experimental este o abordare buna sau mai putin buna. Daca situatia este adecvata, un experiment poate fi un model foarte solid de folosit. Modelul experimental este foarte des intalnit in cercetarile efectuate in diverse domenii sociale: sanatate, educatie, politici de asistenta sociala.

Modelul cvasi-experimental (QE) se prezinta ca un model experimental, dar ii lipseste ingredientul cheie - atribuirea aleatoare. Aceste modele nu prezinta o validitate interna solida ca experimentele randomizate, dar sunt mai usor de implementat.

La fel ca modelul experimental, modelul cvasi-experimental poate contine studii in serie temporala (longitudinale) si transversale in diferite variatii. O trasatura unica  a QE este faptul ca cercetatorul selecteaza grupurile de comparat, astfel incat acestea sa fie pe cat posibil similare in toate privintele, cu exceptia faptului ca un grup intra in program si celalalt nu, sau intra in alt program. Acest lucru inseamna ca QE face comparatie intre programe in desfasurare care nu au fost atribuite de cercetator. Altfel spus, acele interventii guvernamentale au fost atribuite sau alese in mod politic sau administrativ de un proces in care evaluatorul este un observator pasiv. In cadrul QE, adesea doar un sub-set de unitati relevante analizei sunt selectate pentru studiu.

Exista sapte modele cvasi-experimentale care acopera majoritatea scenariilor de evaluare a unei politici. Aceleasi modele pot fi, de asemenea, folosite si in experimente. O scurta descriere a avantajelor si dezavantajelor este furnizata in Tabelul 5.

Model 1: Model longitudinal cu observatii preliminare, intermediare, post si ex-post asupra grupurilor de tratament si de control

Acest model este cel mai apropiat de abordarea privind modelul experimental "stiintific". Colectarea datelor si evaluarea incep inainte de implementarea programului, intr-o perioada intermediara, dupa ce implementarea a inceput si la o anumita perioada dupa implementare.

Model 2: Grupurile de tratament si de control pre-testare - post-testare

Modelul este similar celui anterior, dar este implementat mai des, deoarece acopera o perioada mai scurta de timp si este mai putin costisitor decat modelul 1 (desi este mai costisitor decat modelele mai putin solide). Acest model este o alegere buna atunci cand evaluarea necesita o imagine explicativa cuprinzatoare a procesului de implementare a politicii si a analizei contextuale pentru a analiza influenta diferitilor factori socio-economici asupra populatiei, atunci cand evaluarea incepe inainte de implementarea programului si are un buget adecvat.

Model 3: Model longitudinal trunchiat privind grupurile de tratament si de comparatie pre-testare - post-testare

Modelul este folosit atunci cand este disponibil un buget adecvat dar evaluarea nu incepe pana cand programul nu a fost deja implementat de o perioada de timp, dar totusi mai raman cel putin 18 luni pana la incheierea acestuia. Grupul de tratament si de control sunt comparate in perioada intermediara si la sfarsitul programului.

Model 4: Grupul de tratament pre-testare combinat cu analiza post-test si grupurile de control.

Modelul este folosit cand unitatea de imlementare a politicii a colectat anterior datele de baza. Datele de baza nu sunt colectate din grupului de control pentru urmatoarele motive: pentru a economisi bani, dificultati tehnice, sau daca managementul o priveste drept o activitate inutila, considerand ca sarcina evaluarii este de a compara grupul de tratament inainte si dupa implementarea politicii. Cu toate acestea, pe parcursul implementarii programului apare necesitatea unei extinderi, și nevoia unui grup de control este inteleasa. Astfel, se organizeaza o ancheta de baza doar pentru grupul de tratament, dar in urma implementarii programului ambele grupuri - de tratament si de control - sunt comparate.

Model 5: Comparatie post-testare a grupurilor de tratament si control

Acest model este utilizat cand evaluarea nu incepe inainte ca programul sa fie deja derulat de o anumita perioada de timp sau sa fie finalizat. In ciuda inceperii cu intarziere, evaluarile care utilizeaza acest model adesea au un buget adecvat si pot gestiona esantioane vaste ale grupurilor de tratament si control. In alte cazuri, evaluarea este bazata pe date secundare obtinute din alte anchete. Acest model se bazeaza pe comparatia de la sfarsitul programului intre grupurile de tratament si cele control fara sa fie colectate date de baza cu privire la nici unul dintre aceste grupuri. Modelul functioneaza mai bine in cadrul comunitatilor izolate, acolo unde proiectul este singura interventie.

Model 6: Grupul de tratament pre-testare - post-testare

Acest model este utilizat in conditii similare ca modelul 4. Evaluarea incepe in etapa initiala a proiectului, dar din nou, din diverse motive, datele de baza, precum si evaluarea de la sfarsitul programului sunt desfasurate doar pentru grupul de tratament. Diferenta intre acest model si modelul 4 este ca in cazul acesta, grupul de control nu apare deloc. Acest model este destul de bun pentru proiectele care utilizeaza interventii tip "bune practici" care s-au dovedit eficiente in conditii similare. De asemenea, poate fi eficient daca scopul evaluarii este intelegerea procesului de implementare a programului, iar evaluarea cantitativa a impactului nu este atat de importanta (evaluari formative).

Model 7: Grupul de tratament post-testare

In acest model, doar grupul de tratament al programului este studiat si ancheta se desfasoara doar dupa ce programul a fost implementat. Datele pot fi culese in urma unui studiu de esantion simplu, rapid; din focus grupuri; din surse secundare sau prin informatori cheie etc. Acesta este tehnic cel mai slab model deoarece nu controleaza amenintarile asupra validitatii, prin urmare recomandarile trebuie luate in consideratie cu mare atentie. Absenta unei pre-testari face dificila observarea unei schimbari care poate aparea, iar absenta grupului de control genereaza dificultate in a sti ce s-ar intampla fara tratamentul programului. In ciuda acestor limitari acesta este un model de evaluare foarte popular, mai ales pentru proiectele mai mici cu un buget de evaluare mai redus. Acest model este utilizat cand evaluatorul are foarte putin timp la dispozitie si un buget foarte limitat. Cand se foloseste acest model, este foarte important sa se cunoasca nevoile de informare ale clientului si modul in care rezultatele evaluarii vor fi folosite.

Daca cercetatorii folosesc modelul non-experimental sunt mai putin pretentiosi in ceea ce priveste unitatile de analiza, selectand pentru studiu toate (sau majoritatea) unitatilor (ex. toate satele din judet), sau un esantion aleatoriu sau reprezentativ. Cu toate acestea, atat in cadrul QE cat si in modelul non-experimental, cercetatorul este un observator pasiv al modului in care programele sunt selectate sau atribuite fiecarei unitati de analiza. Cercetatorul gestioneaza alocarea programelor pe unitati de analiza, folosind o procedura aleatoare, doar in cadrul experimentului.

Modelul non-experimental (NE) este foarte des intalnit in cadrul evaluarilor de politici/programe. Daca programul/politica se aplica tuturor, nu va fi posibil sa se efectueze comparatii intre persoanele sau unitatile care sunt afectate de program cu cele care nu sunt afectate. In acest caz, "tratamentele" sunt legi, regulamente etc. care exista de foarte mult timp. Ar fi foarte dificil de analizat impactul acestor legi folosindu-se un fel de model pre-post. In plus, pentru programele cu "acoperire deplina",  formarea grupului de control este foarte dificila sau chiar imposibila.

In aceste cazuri, evaluatorii creeaza un model statistic pentru rezultatul respectivei politici/program si studiaza impactul diferitelor variabile asupra acestuia folosind diferite instrumente statistice (ex. regresia multipla). Avand in vedere ca acesta face, de asemenea, parte din modelele experimentale si cvasi-experimentale, linia de demarcatie intre aceste doua modele si modelul non-experimental nu este clara. Putem presupune ca NE, in majoritatea cazurilor, este parte din cele doua modele mai sus mentionate.

Tabelul 5. Punctele forte si punctele slabe ale celor sapte modele principale de evaluare

Sursa: Bamberger, M., Rugh, J., Mabry, L. (2006). Real World Evaluation, Working under budget, time, data and political constraints. CA: SAGE

Elaborarea unui plan de management al evaluarii

Planul de management al evaluarii este un instrument esential pentru echipa de evaluare, mai ales daca politica sau programul supuse evaluarii includ multe obiective. Planul de management al evaluarii nu are un format specific. In majoritatea cazurilor, planurile de evaluare contin activitati, institutiile responsabile, termenele limita pentru anumite activitati, metodele principale de colectare si analiza a datelor, precum si costurile pentru fiecare pas in parte. Elaborarea in prealabil a unui plan de evaluare ajuta echipa sa impiedice terminarea neasteptata a resurselor financiare in decursul procesului de evaluare. In mod asemanator cu TdR, formatul poate varia in functie de nevoile echipei de evaluare.

Daca evaluarea este una complexa si trebuie sa fie externalizata, Comitetul de Pilotaj este invitat sa aprobe planul de management al evaluarii cu scopul de a coordona mai bine procesul de evaluare.

Exemplul 10 prezinta principalii pasi ai unui plan de evaluare. Activitatea de cercetare a fost externalizata catre o companie, iar planul de evaluare mai detaliat (termene limita, resurse financiare) a fost inaintat clientului, dar nu este disponibil pentru public.