Odata principalii factori interesati identificati si intrebarile de evaluare formulate, trebuie sa se demareze procesul de colectare a datelor pentru a obtine informatiile care va vor ajuta sa raspundeti la intrebari. Colectarea si analiza datelor sunt activitati strans legate una de cealalta in cadrul exercitiului de evaluare, acesta fiind motivul pentru care, in acest capitol, ele sunt descrise si explicate urmand o secventiere logica a evenimentelor.

Exista doua documente oficiale la care poate veti dori sa faceti referire atunci cand colectati si analizati datele - Ghidul privind Monitorizarea si Evaluarea (2008) si Manualul metodelor folosite in planificarea politicilor si studiilor de impact (2006). Ghidul privind Monitorizarea si Evaluarea prezinta conceptele de baza ale colectarii si analizei de date si descrie pe scurt gama de metode folosite. Manualul metodelor folosite in planificarea politicilor si studiilor de impact explica in detaliu metodele de analiza a datelor si aplicarea lor. Desi al doilea document explica evaluarea ex-ante, metodele cantitative de analiza a datelor sugerate in respectivul document pot fi, de asemenea, folosite si pentru evaluarea ex-post.

In acest Manual, metodele de colectare si analiza a datelor sunt explicate intr-o maniera simpla si creeaza o abordare coerenta a intregului efort de evaluare intermediar si ex-post. Mai mult, sunt furnizate indrumari practice si studii de caz pentru a ilustra aplicarea diverselor metode.

Colectarea datelor

Colectarea datelor este o activitate foarte importanta in cadrul exercitiului de evaluare, deoarece calitatea acestor date va avea un impact direct asupra calitatii evaluarii dumneavoastra - analiza, constatarile si recomandarile dvs. vor fi emise in baza datelor colectate anterior.

Colectarea datelor este de obicei procesul care consuma cel mai mult timp si cele mai multe resurse. Scopul acestui proces in cadrul evaluarii este de a obtine informatiile de care aveti nevoie pentru a putea raspunde la intrebarile de evaluare. Evaluarea se poate baza pe informatiile existente sau, daca aceste informatii nu sunt suficiente, poate aparea nevoia de a colecta noi date.

Exista mai multe modalitati de clasificare a datelor. In primul rand, se face adesea distinctia intre datele cantitative si cele calitative. Datele cantitative se refera la cifre - cati/cate - iar cele calitative la motive, opinii si motivatie - de ce.

Datele pot fi, de asemenea, clasificate in functie de sursele acestora, adica primare si secundare. Datele primare sunt colectate de obicei de catre evaluator de la diversi actori din cadrul politicii sau programului. Datele secundare reprezinta informatii colectate anterior de catre altii si adesea cu scopuri diferite.

Mai mult, datele pot fi clasificate in longitudinale si transversale. Datele longitudinale sunt de obicei colectate de-a lungul anilor. Pentru a indeplini scopurile evaluarii, aceste date trebuie colectate cel putin de doua ori de-a lungul timpului - inainte de inceperea programului (de baza-baseline) si la momentul efectuarii intermediare sau ex-post. Datele longitudinale prezinta schimbari ale aceluiasi subiect de-a lungul unei perioade de timp. Datele transversale sunt colectate la un anumit moment in timp comparand diferentele dintre subiecti de-a lungul vremii.

In scopul evaluarii se pot colecta diferite tipuri de date.

Planificarea procesului de colectare a datelor

Inainte de a incepe colectarea datelor, asigurati-va ca discutati si ajungeti la un consens in cadrul echipei dvs. cu privire la urmatoarele aspecte:

CE informatii trebuie sa colectati pentru a raspunde intrebarilor de evaluare si CINE poate furniza aceste informatii

CE metode veti selecta pentru a obtine datele necesare

CINE va colecta datele

CAND veti colecta datele.

Pentru a decide CE informatii va trebui sa colectati, trebuie sa va intoarceti la intrebarile de evaluare, la nevoile factorilor interesati si la modelul logic. Daca ati facut acest lucru in prealabil, atunci alegerea datelor de care aveti nevoie va fi mult mai facila. Dupa identificarea nevoilor de informare, urmatorul pas este de a decide CINE poate furniza aceste informatii si CE metode de colectare a datelor veti folosi. Cand selectati metodele pentru a colecta datele pentru fiecare intrebare de evaluare, trebuie sa luati in considerare cateva aspecte:

Datele de care aveti nevoie exista deja sau trebuie sa creati noi surse de date?

Daca exista, cine le are?

Daca nu exista, cine va poate furniza aceasta informatie si cum?

Va permiteti costurile asociate procesului de colectare a datelor?

Ce riscuri si constrangeri ati putea intalni si care sunt pregatirile pe care trebuie sa le faceti?

Pentru a schita activitatile majore in cadrul colectarii de date, puteti folosi tabelul de mai jos.

Tabel 6. Sablon pentru planul de colectare a datelor

Un exemplu de plan de colectare a datelor este prezentat in Anexa 1.

Este foarte probabil ca deciziile pe care le luati in aceasta etapa sa se schimbe odata cu demararea procesului de colectare a datelor. S-ar putea sa fie nevoie sa va intoarceti la plan si sa modificati perioadele de timp si metodele de colectare. Cu toate acestea, aceste aspecte sunt importante si trebuie discutate de la inceput, de preferat pe parcursul perioadei de planificare a evaluarii, deoarece vor reflecta ce tip de si cate resurse, in termeni de persoane, timp, bani, va fi nevoie sa alocati pentru colectarea datelor. Veti putea, de asemenea, sa identificati ce pregatiri trebuie sa efectuati in avans (ex. formarea intervievatorilor) si daca pot aparea anumite riscuri (ex. sensibilitatea sau lipsa anumitor date, date dificil de obtinut etc.). 

De obicei, echipa de evaluare joaca un rol foarte important in proiectarea si procesul de colectare a datelor. Astfel, trebuie sa va asigurati ca membrii echipei de evaluare:

• Au cunostinte despre subiectul supus evaluarii;
• Au abilitatea de a identifica surse pentru informatiile relevante;
• Au acces facil la sursele necesare de date.

Cercetarea documentara

Cercetarea documentara este o revizuire a datelor secundare. De obicei, exista un volum foarte mare de date care deja au fost colectate de catre altii. Cercetarea documentara implica strangerea datelor de la diversele surse existente:

• Datele pot fi disponibile in rapoartele de activitate sau de performanta pe care managerii de program sau personalul relevant le colecteaza.
• Datele secundare pot fi pastrate in cadrul institutiilor de implementare pe care dvs. va trebui sa le vizitati pentru obtine exemplare ale acestor documente.
• Biroul national de statistica si institutele de cercetare subordonate ministerelor colecteaza de obicei date care sunt disponibile si care pot fi folosite pentru evaluarea dvs.
• Personalul din program poate avea rezultatele in urma anchetelor desfasurate in trecut.
• Organizatiile europene sau internationale sunt o sursa relevanta pentru a consulta cercetarile, studiile, revizuirile desfasurate anterior sau pentru a folosi baza de date a indicatorilor.

Un bun punct de plecare este localizarea acestor surse si obtinerea informatiilor. Avantajele cele mai comune asociate cercetarii documentare sunt: este ieftina si eficienta din punct de vedere al timpului. De asemenea, permite o cunoastere mai buna a subiectului, identificarea nevoilor suplimentare sau a surselor de informatii. Adesea, majoritatea evaluatorilor decid asupra nevoii de a colecta date din surse primare doar atunci cand au efectuat cercetare documentara.

Exista diferite modalitati de localizare a surselor pe care trebuie sa le consultati. Aveti mai jos cateva sugestii:

• Discutati posibilitatile in cadrul echipei de evaluare - eficace in special daca membrii provin din institutii diferite;
• Intalniti-va cu factorii interesati importanti pentru a identifica daca diversele baze de date, arhive, rapoarte ale managementului sau alte informatii interne operationale care pot fi relevante pentru evaluare.

Pe de alta parte, informatiile deja colectate pot fi invechite sau daca va referiti la surse informale de informatii acestea poate nu mai sunt de incredere.

Metode de colectare a datelor

Dupa ce ati finalizat cercetarea documentara veti putea identifica ce alte informatii suplimentare mai sunt necesare de la sursele primare.

Politicile sau programele dvs. pot implica o gama larga de actori diferiti de la care dvs. este posibil sa aveti nevoie de informatii. In principiu acestia sunt:

• Utilizatorii de servicii sau beneficiarii programului: acestia sunt persoanele tinta in program;
• Cei care livreaza programul: de exemplu personalul din agentie sau centru care furnizeaza servicii pentru beneficiarii programului, furnizori de formare;

Cei responsabili de directia strategica si management: de exemplu factorii decizionali, managerii de program de la diferite niveluri sau personal in cadrul programului;

Grupuri mai largi de persoane afectate (pozitiv sau negativ) indirect de programul dvs.: de exemplu, societatea, media sau alte institutii care sunt interesate de program.

Urmatoarea intrebare la care trebuie sa raspundeti este CE metode vor fi folosite pentru generarea informatiilor primare. Metodele sunt grupate in 2 sectiuni majore mai jos:

• cantitative
• calitative

Metodele cantitative de colectare a datelor

Colectarea datelor cantitative este folosita pentru a raspunde la intrebarile legate de "cifre" - cati oameni au participat la program, cati dintre acestia considera ca programul a fost unul util etc. Cea mai des intalnita metoda cantitativa de colectare a datelor este ancheta.

Este important ca atunci cand se desfasoara cercetari cantitative sa se retina urmatoarele aspecte:

• trebuie sa adresati aceeasi intrebare in acelasi mod fiecarui respondent - va trebui sa adunati raspunsurile la un loc;
• informatiile pe care trebuie sa le colectati pentru evaluare ar trebui sa fie reprezentative pentru toate persoanele care au participat la program - s-ar putea sa aveti nevoie de esantionare.

Ancheta

Ancheta este un instrument folosit pentru colectarea informatiilor cantitative cu privire la diversi actori, evenimente sau servicii legate de politica sau programul dvs. Este foarte des folosit pentru a ancheta evenimente si persoane din sectoarele guvernamental, social, sanatate, educatie si alte sectoare in care este nevoie de colectare de informatii sau opinii.

Ancheta este una dintre cele mai frecvent folosite tehnici de colectare a informatiilor primare. Se desfasoara cu ajutorul unui chestionar aplicat persoanelor anchetate pentru a obtine informatii despre politica sau program. Exista mai multe metode de colectare a acestor informatii:

• interviu fata in fata
• la telefon, sau
• prin completarea unui chestionar tiparit sau in varianta electronica prin email (auto-completare).

Tipul care va fi ales se va decide in functie de anumiti factori, inclusiv resursele disponibile (de timp, umane, financiare), de gradul de acuratete al rezultatelor si trasaturile grupului tinta.

Interviurile fata in fata si sondajele prin telefon pot genera informatii de o mai buna calitate. Acestea cresc probabilitatea ca intrebarile sa fie mai bine intelese deoarece respondentii au oportunitatea de a clarifica nelamuririle. Interviurile si sondajele telefonice genereaza, de asemenea, o rata mai mare de raspuns si respondenti potriviti. Cu toate acestea, ele pot necesita mai multe resurse si pot fi mai costisitoare in cazul in care aveti nevoie sa anchetati un numar mare de persoane. In acest sens, interviurile si sondajele prin telefon sunt cele mai adecvate metode atunci cand aveti nevoie de informatii de incredere si cand nu sunteti constransi de resurse limitate.

De asemenea, trebuie luate in considerare si trasaturile grupului tinta. De exemplu, daca aveti nevoie sa anchetati familii cu un venit redus, puteti lua in considerare folosirea mai degraba a interviurilor fata in fata sau auto-completarea decat cele prin telefon sau email, pentru ca exista o probabilitate redusa ca astfel de familii sa aiba telefon sau sa foloseasca internetul. 

Sondajul auto-completare este relativ ieftin si rapid, dar prezinta un risc mai mare ca intrebarile sa fie gresit intelese si respondentii sa nu fie cei potriviti. Rata de raspuns poate fi, de asemenea, mai redusa decat in cazul sondajelor fata in fata sau prin telefon. Sondajul auto-completare este de obicei condus pentru a ancheta un numar mare de populatie si de obicei dintr-o zona geografica vasta.

Uneori, se foloseste o combinatie de mai multe tehnici de sondaj. De exemplu, un sondaj auto-completare poate fi urmat de unul prin telefon sau de un interviu fata in fata pentru a clarifica raspunsurile, daca este nevoie, sau pentru a creste rata de raspuns.

In cazul sondajelor mari si atunci cand sondajele vor fi folosite drept principala sursa de dovezi care sprijina evaluarea, veti dori sa cautati sprijin specializat extern pentru a va ajuta cu organizarea, desfasurarea sau analiza sondajului. Uneori veti decide externalizarea anchetei catre o agentie de specialitate. 

Tabel 7. Sumar al tehnicilor de colectare a datelor cantitative

Informatii de baza privind chestionarul

Chestionarul este un instrument de sondaj/ancheta elaborat pentru a colecta informatii pentru analize statistice. Poate fi o metoda foarte eficienta din punct de vedere al costurilor pentru a ajunge la un grup larg de persoane in cadrul unei zone geografice vaste. Adesea, are raspunsuri standardizate, astfel incat datele sunt mai usor de analizat. Intrebarile folosite in cadrul chestionarului pot fi cu raspuns deschis si inchis.

Intrebarile cu raspuns deschis solicita respondentului sa furnizeze propriile raspunsuri. Raspunsurile la intrebarile deschise sunt analizate prin diverse categorii de date (cel mai adesea folosind analiza continutului care este explicata mai jos in Pasul 4). Intrebarile deschise sunt mai dificil de raspuns si ar trebui folosite cu atentie in cadrul anchetelor.

Intrebarile cu raspuns inchis solicita respondentului sa aleaga raspunsul dintr-o gama de optiuni. Numarul de raspunsuri ar trebui sa fie limitat. Exista mai multe categorii de intrebari inchise:

• Intrebari dihotomice - de obicei respondentul are doua optiuni - intrebari de tipul da/nu, adevarat/fals;
• Intrebari cu alegere multipla - respondentii au mai mult de doua optiuni ;
• Intrebari scalate - respondentii trebuie sa categorizeze raspunsurile la intrebari cu scara data;

Chestionarele pot fi atat structurate cat si semi-structurate, in functie de tipul si scopurile anchetei.

Un chestionar structurat este o secventiere de intrebari furnizate catre toti respondentii in acelasi mod. In aceste cazuri, intrebarile pot fi inchise sau deschise. Chestionarul structurat poate fi folosit drept o metoda de intervievare, prin telefon sau auto-completare. 

Un chestionar semi-structurat este de obicei completat in cadrul intalnirilor fata in fata unde anumite intrebari si secventialitatea lor sunt stabilite in prealabil, in timp ce altele apar pe masura ce se desfasoara interviul.

Elaborarea unui chestionar

Elaborarea unui chestionar este un proces complex. Designul chestionarului poate avea un impact asupra disponibilitatii respondentilor de a raspunde. In acest sens, este important sa se ia in considerare cu atentie modul in care va arata chestionarul si lungimea acestuia, precum si cum veti aranja intrebarile.

Inainte de a elabora instrumentul de ancheta ar trebui sa verificati daca nu exista un chestionar similar si sa il adaptati la nevoile proprii. Acest lucru va economisi timp si va usura elaborarea chestionarului. Altfel, va trebui sa elaborati propriul instrument de ancheta. Chestionarul de obicei include elementele prezentate in tabelul de mai jos.

Tabel 8. Structuri tipice ale unui chestionar

Testarea chestionarului

Chestionarele din anchete trebuie testate inainte de a fi trimise respondentilor pentru a fi siguri ca intrebarile sunt usor de lecturat si inteles. Cea mai buna metoda de a-l testa este sa intrebati cateva din acele persoane care urmeaza sa completeze chestionarul. Daca nu doriti ca acestea sa vada chestionarul inainte de a fi terminat, atunci puteti ruga pe cineva dintr-un program similar sau pe colegii dvs. care nu au fost implicati in elaborarea chestionarului, dar cunosc politica sau programul supus evaluarii. 

Cateva sugestii utile pentru testarea chestionarului:

Pe parcursul procesului de testare rolul dvs. este de a insemna pe exemplarul dvs. urmatoarele:

Unde au aparut dificultati in intelegerea intrebarilor;

Unde nu a fost clar sensul cuvintelor;

Unde intrebarile sau intelesul cuvintelor a fost gresit inteles, sau

Unde respondentul a crezut ca i-ar fi dificil sa obtina informatia.

Puteti desfasura oricate runde de testare doriti, pana cand obtineti un rezultat satisfacator.

Rata de raspuns

Rata de raspuns a anchetei poate influenta in mod semnificativ calitatea informatiei. Daca rata de raspuns este redusa, nivelul de credibilitate al informatiei poate fi redus. Este dificil de precizat care ar fi rata de raspuns adecvata deoarece aceasta depinde de subiectul respectiv, de scopul evaluarii si de nevoile privind acuratetea. In mod obisnuit, cercetatorul va considera o rata de raspuns ca fiind satisfacatoare daca aceasta se afla intre 60 si 90 la suta. Ratele mai reduse necesita de obicei strategii de urmarire pentru a creste acest nivel sau, daca nu este cazul, folosirea rezultatelor anchetei tinand seama de posibilele limitari ulterioare. Inainte de a trimite chestionarul catre respondenti, ar fi util sa stabiliti rata de raspuns pe care doriti sa o realizati si sa planificati strategiile de urmarire, in cazul in care nu va atingeti tinta.

Factorii care influenteaza rata de raspuns sunt, dupa cum urmeaza:

• Formatul chestionarului. Intrebarile aranjate prost sau cele dificil de inteles se pot dovedi descurajatoare pentru respondenti in completarea chestionarului;
• Lungimea chestionarului. Cele care sunt prea lungi au un risc mai mare sa obtina o rata ridicata de non-raspuns sau sa fie completate doar partial;
• Afilierea respondentilor. Adesea, o legatura stransa a potentialilor respondenti cu politica sau programul in cauza (ex. utilizatori de servicii, angajati, organizatii subordonate) genereaza o rata mai mare de raspuns. Dimpotriva, respondentii care nu au nicio legatura directa sau interes cu subiectul se vor simti mai putin doritori sau angajati in furnizarea unui raspuns;
• Strategiile de urmarire. In cazul anchetei auto-completare, in cazul careia ratele de raspuns sunt cele mai reduse, ar trebui luate in considerare in prealabil strategii de urmarire, cum ar fi memento-urile prin email, posta sau telefon.

Cateva sugestii pentru desfasurarea unei anchete:

Metode calitative de colectare a datelor

Metodele calitative de colectare a datelor permit obtinerea de informatii cu privire la aspecte mai profunde, cum ar fi de ce oamenilor le-a placut/nu le-a placut programul, de ce cred ei ca a fost/nu a fost un program de succes sau ce anume poate fi facut pentru a fi imbunatatit.

In cadrul acestui Manual sunt introduse cele mai frecvent utilizate metode:

• Interviurile aprofundate (pot fi semi-structurate)
• Focus grupuri
• Vizite la fata locului (pe teren).

Interviurile aprofundate

Interviul aprofundat este un dialog intre intervievator si o persoana din grupul tinta, cu scopul de a obtine informatii cu privire la opiniile, atitudinile si modurile de comportament ale participantilor la program. In cadrul unui interviu persoanele intervievate sunt rugate sa-si exprime mai degraba opiniile detaliate asupra evenimentelor din viata reala decat sa faca generalizari. Acestea rareori includ intrebari pre-determinate si de obicei permit intervievatorului sa acopere in detaliu subiecte care nu pot fi acoperite printr-o ancheta. Cu toate acestea, se recomanda folosirea unui ghid de subiecte/teme pentru a conduce discutia si pentru a obtine informatiile necesare.

Interviurile aprofundate de obicei sunt aplicate pentru a discuta cu acei oameni care au o agenda de lucru foarte incarcata, functii inalte sau cand subiectul este unul delicat si persoanele ezita sa isi exprime opiniile intr-un grup mai mare de oameni. Sunt utile, de asemenea, in situatiile in care exista un numar relativ redus de persoane care pot furniza informatii folositoare in legatura cu rezultatele si impacturile programului.

Cel mai bine este ca interviul sa fie desfasurat de catre o persoana care a fost implicata in procesul de evaluare si care intelege bine obiectivele si rezultatele programului. Este foarte probabil ca aceasta persoana sa fie cineva din echipa de evaluare. Adesea, se asteapta de la respondenti sa fie persoane bine documentate, iar faptul ca intervievatorul este o persoana care, la randul sau, are cunostinte in domeniu, va reduce riscul de a aparea diferente mari intre nivelurile de cunostinte ale intervievatorului si intervievatului. Alt motiv ar fi ca interviurile aprofundate permit intervievatorului sa interactioneze cu utilizatorii programului si el/ea poate testa ideile care se formeaza pe parcursul procesului de evaluare. In acelasi timp, intervievatorul trebuie sa aiba bune abilitati de intervievare si trebuie sa poata stabili un mediu propice in care respondentii sa se simta confortabil. Uneori, factori precum varsta, genul, nationalitatea pot fi, de asemenea, importanti pentru respondent.

Un alt aspect care trebuie rezolvat este cel al inregistrarii datelor obtinute in urma interviului. Acestea pot fi inregistrate fie pe caseta fie rezumate sub forma notitelor scrise. Pentru inregistrarea audio este necesara obtinerea permisiunii respondentului si asigurarea confidentialitatii informatiilor. Oricum, uneori inregistrarea pe caseta poate influenta interviul si chiar calitatea informatiilor, deoarece respondentii pot fi mai putin deschisi si sinceri in raspunsurile lor.

O alta modalitate de inregistrare a datelor este luarea de notite detaliate pe parcursul interviului si clarificarea acestora imediat dupa interviu. Este utila atunci cand sunt necesare rezultate rapide sau cand subiectul interviului nu este unul foarte complicat. Dezavantajul acestei abordari este faptul ca intervievatorul trebuie sa vorbeasca si sa ia notite in acelasi timp, ceea ce pentru multe persoane este un lucru dificil. O solutie ar fi sa existe doi intervievatori, dar asta ar putea duce la cresterea costurilor procesului de colectare a datelor.

Focus grupurile

Focus grupurile combina trasaturile interviului aprofundat si al observatiei. Ele concentreaza un grup mic de persoane asemanatoare pentru a comenta si impartasi idei cu privire la program (de exemplu, profesori, manageri, beneficiari ai beneficiilor sociale, pacienti etc.). Tehnica implica observarea discutiilor in cadrul grupului, interactiune si analiza a comportamentelor si atitudinilor persoanelor din grup.

Focus grupurile se folosesc atunci cand este posibil sa strangi un grup de persoane asemanatoare si care pot comenta asupra procesului si rezultatelor programului. Acestea sunt utile in special cand evaluatorul doreste sa afle ideile participantilor cu scopul de a:

• identifica si defini problemele din procesul de implementare a programului
• identifica punctele forte, slabe si recomandari
• obtine informatii cu privire la rezultatele si impacturile programului
• genera idei noi

Valoarea adaugata de focus grup este ca permite observarea aceluiasi aspect din diferite perspective si permite cautarea unor motive pentru care lucrurile merg intr-un anume fel in program, toate acestea intr-un mod dinamic ce nu ar fi posibil in cadrul unui interviu individual.

Pe de alta parte, focus grupurile productive necesita moderatori competenti. Rolul unui moderator este de a mentine discutia pe fagasul corect fara a intrerupe fluxul ideilor si comentariilor. Moderatorul va trebui sa furnizeze o lista cu subiectele care trebuie acoperite de focus grup, dar nu exista niciun model prestabilit de urmat. Moderatorul ar trebui sa raspunda la problemele ridicate de participanti asigurandu-se in acelasi timp ca subiectele stabilite initial sunt acoperite in cadrul discutiilor. Acest lucru permite participantilor sa sesizeze probleme care nu au fost luate in considerare in prealabil. Moderatorul trebuie, de asemenea, sa se asigure ca toti membrii grupului au sansa de a contribui si ca discutia nu este dominata de un singur participant. Numarul adecvat de participanti este intre 5 si 8 si timpul de discutii de obicei este de la o ora jumatate pana la doua ore.

Ca regula, discutiile din cadrul focus grupurilor sunt inregistrate si se desfasoara analize ulterioare pentru a obtine opiniile participantilor, modelele de comportament sau deviatii etc.

Vizitele la fata locului

In loc de sa se bazeze doar pe rapoartele respondentilor sau pe datele institutionale, multi evaluatori prefera sa faca propriile observatii. Vizitele la fata locului sunt de obicei planuite pentru a colecta informatii directe de la dispozitive specifice sau de la organisme de furnizare a serviciilor, pentru a desfasura interviuri cu indivizi sau grupuri, sau pentru a face observatii asupra activitatilor specifice. Aceste vizite la fata locului implica adesea o combinatie de activitati - interviuri, observatii sau focus grupuri.

Vizitele la fata locului sunt folosite in programe sociale (educatie sau sanatate) sau proiecte de infrastructura (transport sau mediu), dar si in alte domenii.

Vizitele la fata locului necesita anumite pregatiri prealabile pentru a va asigura ca veti avea acces la siturile vizitate sau sa stabiliti eventualele intalniri cu factorii interesati.

Alegerea metodelor de colectare a datelor

Este important sa va asigurati ca metodele selectate genereaza date care raspund cel mai bine la intrebarile de evaluare. In practica, nicio metoda de colectare a datelor folosita exclusiv nu va fi potrivita pentru a raspunde la intrebarile de evaluare, prin urmare este nevoie de o combinatie de mai multe metode. Adesea, intrebarea va fi care metode - cantitative sau calitative - vor fi preponderente si pe care dintre metodele calitative sau cantitative sa le alegeti.

Ca regula, evaluarea formativa favorizeaza metodele calitative pentru a identifica problemele si a furniza recomandari de imbunatatire. De obicei, pentru a sprijini constatarile, este completata de metode cantitative care necesita mai putine resurse.

Evaluarea sumativa, pe de alta parte, ar putea necesita focalizarea pe metode cantitative, deoarece trebuie de obicei sa raspunda la intrebarile legate de eficacitatea programului si daca acesta din urma va mai continua sau nu. Astfel de decizii trebuie fundamentate folosindu-se informatii/dovezi corecte si de incredere. Observatiile personalului si beneficiarilor programului, care au fost colectate folosindu-se metode calitative, pot furniza informatii valoroase asupra impactului programului si a necesitatii acestuia.  

Indiferent de tipul evaluarii, alegerea metodelor depinde de urmatorii factori si adesea de o combinatie intre acestia:

Scopul evaluarii. Pentru evaluarile la scara redusa indreptate spre formularea sau implementarea de politici, evaluatorii poate vor dori sa selecteze metode calitative si poate metode cantitative care sunt mai eficiente din punct de vedere al resurselor, cum ar fi anchetele prin email sau internet. Cu toate acestea, pentru evaluarile cauzale la scara larga, in cazul carora scopul este de a dovedi/respinge ipoteze, sau cand se intentioneaza folosirea analizei statistice pentru evaluarile descriptive, este foarte probabil sa se faca alegerea unor metode cantitative care vor genera informatii semnificative din punct de vedere statistic.

Resursele disponibile. Constrangerile legate de resurse pot afecta in mod semnificativ deciziile si chiar alegerea metodelor. Chiar daca scopul evaluarii si nevoia de a obtine informatii semnificative din punct de vedere statistic vor necesita metode care sa genereze informatii corecte si precise, constrangerile financiare si umane vor produce un schimb intre a desfasura activitatea cu acuratete si a desfasura activitatea cu resurse limitate. Adesea va trebui sa alegeti intre metodele de ancheta mai mult sau mai putin costisitoare (ex. ancheta prin email vs. cea fata in fata) si metodele calitative care necesita mai mult sau mai putin efort (efortul in termeni de resurse va depinde de fiecare caz in parte, in functie de numarul populatiei tinta si de persoanele care au abilitati).

Perioada de timp. Uneori, mai ales cand sunt solicitate de la nivelul managementului ministerial, evaluarile trebuie sa fie desfasurate sub presiunea timpului. In aceste cazuri, evaluatorii vor trebui sa isi aleaga metodele care pot genera informatii intr-un timp scurt. Alegerea metodelor va depinde de cat de mare este esantionul si daca aveti nevoie de informatii semnificative din punct de vedere statistic. Daca dimensiunea esantionului nu este mare, atunci ancheta fata in fata va genera informatii de incredere intr-un timp scurt. Oricum, in cazul unui esantion mare, o ancheta prin email sau posta ar putea fi mult mai eficienta din punct de vedere al timpului.

In ceea ce priveste metodele calitative, alegerea va depinde de informatiile pe care doriti sa le colectati si de grupul tinta. Interviurile aprofundate sunt cele mai obisnuite forme de colectare a informatiilor si vor fi folosite de majoritatea evaluatorilor. Acestea sunt de obicei gestionate chiar de evaluatori. Focus grupurile necesita in mod obisnuit mai multe pregatiri si un moderator experimentat, prin urmare, vor fi folosite pentru evaluarile la scara larga si atunci cand informatiile generate de dinamica grupului sunt foarte valoroase pentru evaluare.

Descriere sumara a metodelor calitative de colectare a datelor

Esantionarea

Daca numarul utilizatorilor programului sau politicii supusi sondajului este redus si ii puteti acoperi pe toti, atunci realizati un recensamant[1]. Oricum, in cazul in care programul acopera un numar mare de beneficiari, este posibil sa fie nevoie sa alegeti un esantion pentru a evita costurile ridicate ale colectarii de date. Esantionarea este procesul de selectare a unitatilor (persoane, organizatii, obiecte sau evenimente) acoperite de politica sau program astfel incat prin analiza esantionului sa puteti aplica rezultatele asupra utilizatorilor programului din randul carora ati selectat esantionul. Un esantion reprezinta numarul de unitati incluse in sondajul dvs.

Procesul de esantionare implica anumite etape:

• Determinarea cadrului de esantionare
• Alegerea metodei de esantionare
• Determinarea volumului esantionului

• Realizarea esantionarii.

Determinarea cadrului de esantionare

In mod ideal, ar trebui sa fie posibil sa identificati fiecare unitate din cadrul populatiei si sa o includeti in esantion. Totusi, adesea nu este posibil sa identificati si sa stiti cat de mare este volumul populatiei tinta (de exemplu numarul exact al fumatorilor de pe pamant). Prin urmare, esantionarea incearca sa rezolve aceasta problema prin folosirea unui cadru de esantionare. 

In cel mai direct mod, se poate afirma ca acest cadru de esantionare este o lista a tuturor unitatilor din populatia care face obiectul interesului dvs. Cadrul de esantionare de obicei defineste populatia tinta din cadrul careia este selectat esantionul.

Cadrul de esantionare este o lista oficiala sau un registru privind populatia tinta. Astfel de liste sau registre sunt de obicei gestionate de diverse organizatii guvernamentale sau de servicii publice si pot fi urmatoarele:

• Registrul cetatenesc poate fi folosit pentru a sonda toata populatia din tara.
• Registrul agricultorilor poate fi folosit pentru a sonda activitatile agricole.
• Listele beneficiarilor asigurarilor sociale pot fi folosite pentru a evalua diverse aspecte ale politicii privind asigurarile sociale.
• Registrul conducatorilor auto poate fi folosit pentru a sonda impactul pe care il au initiativele privind siguranta drumurilor.
• Lista pacientilor dintr-o institutie de asistenta medicala primara poate fi folosita pentru a sonda activitatile institutiilor de asistenta medicala primara.

Cadrul de esantionare poate furniza de obicei informatii suplimentare despre unitatile pe care le veti supune evaluarii si poate fi folosit pentru a imbunatati modelul de sondaj si procesul de esantionare. De exemplu, registrul agricultorilor poate furniza informatii in legatura cu localizarea, activitatea agricola etc., care pot fi folosite pentru a usura procesul de colectare a datelor.

Cu toate acestea, in anumite cazuri nu este deloc usor sa obtineti o lista oficiala a populatiei tinta. Aceasta fie nu exista, fie este incompleta. De exemplu, nu exista nicio lista cu toate persoanele fumatoare, persoanele fara adapost sau persoanele dependente de droguri dintr-o tara. Sau, alt exemplu, lista emigrantilor ar putea fi incompleta deoarece nu toti cei care parasesc o tara ofera informatii institutiilor responsabile. In astfel de cazuri, procedura prin care se obtine acces la populatia tinta va fi considerata cadrul de esantionare.

Urmatoarele sunt exemple de proceduri folosite pentru a determina cadrul de esantionare:

Cadrul de esantionare determinat prin folosirea procedurii de acces are anumite puncte slabe, mai ales in cadrul evaluarilor in care exista nevoia de a produce rezultate semnificative din punct de vedere statistic. Unul dintre cele mai des intalnite puncte slabe este riscul de a genera judecati distorsionate ca rezultat al colectarii si analizei datelor. Cadrul de esantionare este folosit pentru a determina volumul esantionului, ceea ce inseamna ca un cadru de esantionare incomplet poate genera un esantion non-reprezentativ. Acest lucru nu inseamna ca evaluarea nu ar trebui desfasurata in astfel de cazuri, ci ca pe parcursul evaluarii ar trebui luate in considerare constrangerile existente.

Alegerea metodei de esantionare

Atunci cand se alege esantionul trebuie sa va asigurati ca toti cei acoperiti de programul dvs. au sanse egale de a fi inclusi in esantion. Acest lucru ajuta la evitarea distorsiunilor, deoarece poate exista tentatia de a obtine feedback de la grupul de persoane carora le-a placut programul sau care par de incredere. Pe de alta parte, nici existenta unui numar mare de respondenti nu este o solutie, deoarece acestia s-ar putea sa nu fie reprezentativi pentru utilizatorii programului.

Metodele de esantionare sunt, prin urmare, grupate in metode probabilistice si neprobabilistice. Esantionarea probabilistica este o schema in care fiecare unitate a populatiei are o sansa egala de a fi inclusa in esantion, iar aceasta poate fi determinata cu acuratete, adica toate unitatile din cadrul de esantionare pot fi identificate si incluse in esantion. Esantionarea probabilistica face posibila producerea unor esantioane pe cat posibil obiective (nedistorsionate).

Esantionarea neprobabilistica este o schema in cadrul careia anumite unitati ale populatiei nu au nicio sansa de a fi selectate. Selectia esantionului este bazata pe tehnici ad-hoc (ex. ipoteze sau judecati privind populatia care formeaza criteriile de selectie) in cadrul carora nu exista un cadru de esantionare clar sau exact. Astfel de metode pun problema cantitatii de informatii pe care un esantion o poate furniza privind populatia.

In acest Manual sunt prezentate cel mai des intalnite metode de esantionare probabilistica (simpla aleatoare, sistematica aleatoare, stratificata, prin grupuri si multistadiala) si neprobabilistica (rationala, prin cote, in lant). Metodele de esantionare probabilistica sunt adesea folosite in metodele de colectare a datelor cantitative, in timp ce metodele neprobabilistice sunt mai frecvent folosite in colectarea datelor calitative.

Esantionarea simpla aleatoare

Metoda de esantionare simpla aleatoare permite fiecarei unitati din populatia tinta sa fie inclusa in mod egal in esantion. Este mai cunoscuta sub numele de "tragere la sorti". Implica selectarea numarului necesar de unitati din cadrul de esantionare intr-un mod aleatoriu. Un numar mai mic de unitati poate fi selectat din lista folosindu-se metoda loteriei. De exemplu, fiecarui nume de pe lista ii poate fi atribuit un numar. Daca esantionul are nevoie de 100 persoane, atunci vor fi extrase din bolul loteriei 100 de numere si potrivite numelor de pe lista.

Numerele mai mari de unitati pot fi selectate cu ajutorul programelor pe calculator (ex. Random Sampler pentru Excel, Random Number Generator). Prin folosirea programelor IT se pot selecta esantioane aleatorii in cateva minute.

Tehnica de esantionare simpla aleatoare are si anumite limitari. Necesita o lista precisa a populatiei tinta, lista care nu exista mereu. De asemenea, ar putea fi costisitoare pentru populatiile imprastiate din punct de vedere geografic, deoarece costurile de calatorie pentru a acoperi esantioanele in diferite zone pot fi foarte ridicate. Si foarte important, norocosii extragerii s-ar putea sa nu fie reprezentativi pentru diversele grupuri care sunt importante pentru politica sau programul supus evaluarii (ex. femei sau barbati, grupe de varsta etc.).

Esantionarea sistematica

Aceasta metoda de esantionare este esantionare aleatoare in cadrul unui sistem. Asta inseamna selectarea fiecarui "al n-lea" utilizator de program sau existenta unui interval intre fiecare unitate selectata. Este important ca punctul de pornire sa fie ales la intamplare, iar apoi la intervale regulate.

Esantionarea sistematica are un atu major si anume ca disperseaza esantionul in mod uniform asupra populatiei fata de cei alesi in cadrul esantionarii aleatorii. Cu toate acestea, esantionarea aleatoare poate prezenta puncte slabe daca in cadrul listei exista o anumita periodicitate. De exemplu, in cazul colectarii deseurilor toate casele din partea nordica a strazii pot apartine unor familii bogate, in timp ce casele din partea sudica, celor mai putin bogate. In functie de interval (ex. numerele impare ale caselor pot fi pe partea nordica si cele pare pe cea sudica a strazii), puteti avea acces doar la casele care fie sunt bogate, fie sarace, ceea ce va distorsiona rezultatele.

In practica, un esantion sistematic este aproape mereu acceptabil ca fiind aleatoriu.

Esantionarea prin grupuri (de tip cluster)

Atunci cand esantionul este prea dispersat (de exemplu pe tot teritoriul unei tari), puteti alege esantionarea prin grupuri pentru a reduce costurile. Esantionarea prin grupuri divizeaza toata populatia in grupuri. Un numar de grupuri este selectat la intamplare si toate unitatile din cadrul grupurilor sunt incluse in esantion.

Avantajul esantionarii prin grupuri este ca reduce costurile si restrange activitatile doar in grupurile selectate. Cu alte cuvinte, folosirea pesticidelor este analizata doar acele judete care au fost selectate la intamplare, iar evaluatorii nu trebuie sa viziteze toti agricultorii din Romania.

Dezavantajul este ca ar putea exista o eroare de esantionare mai mare. Esantionul selectat la intamplare poate include zonele din vecinatate (judetele) care ar putea fi similare si s-ar putea sa nu identifice toate problemele importante prezente in alte parti.

Esantionarea stratificata

Riscul esantionarilor simple aleatorii si sistematice este ca s-ar putea sa omiteti din esantion un anumit grup care sa fie specific populatiei tinta. Pentru a evita aceasta situatie, puteti aranja populatia analizata in grupuri numite straturi si selectati esantionul din cadrul fiecarui grup folosind tehnica de esantionare aleatorie sau sistematica. Apoi puteti fi siguri ca esantionul va fi mai reprezentativ. Gruparea se face de obicei prin aplicarea criteriilor/variabilelor relevante pentru program, cum ar fi varsta, gen, religie, dimensiune, grupuri sociale, abilitati academice, teritoriu geografic, tipul de activitate etc.

Esantionarea stratificata acopera intreaga populatie tinta si in acelasi timp ia in considerare trasaturile acesteia care sunt importante pentru evaluare. Este posibil sa se ajunga la o precizie si mai mare in analiza fata de esantionarea aleatoare. Esantionarea stratificata poate fi convenabila din punct de vedere administrativ. Intervievatorii pot fi formati in acest sens pentru a administra un grup etnic sau grup de varsta.

Dezavantajele unei astfel de esantionari se pot afla in dificultatea identificarii straturilor mai degraba pe baza relevantei criteriilor decat pe baza disponibilitatii straturilor. Esantionarea stratificata poate fi mai dificil de analizat. Rezultatele obtinute de la fiecare strat pot reprezenta un interes intrinsec si ar trebui analizate separat. In cazurile in care exista un numar mare de straturi, aceasta tehnica necesita un esantion mai mare decat celelalte.

Desi esantionarea prin grupuri si cea stratificata par la prima vedere sa aiba anumite asemanari, ele sunt diferite. In cazul esantionarii stratificate, este ales un esantion aleator din toate straturile, iar in cazul esantionarii prin grupuri doar grupurile selectate sunt analizate cu toate unitatile incluse.

Esantionarea multistadiala

In realitate, procesul de esantionare poate include un numar de stadii pana cand esantionul adecvat este selectat. Adesea, va trebui sa folositi esantionarea multistadiala in cadrul careia doua sau mai multe niveluri de unitati sunt incluse unul in altul. Esantionarea multistadiala este o esantionare prin grupuri complexa. Primul stadiu include selectarea grupurilor. In cel de-al doilea stadiu, selectati in mod aleatoriu unitatile primare din fiecare grup. Apoi in fiecare dintre grupurile selectate, sunt selectate esantioane suplimentare si asa mai departe. Toate unitatile ultime (indivizi sau organizatii) selectate in ultimul stadiu sunt sondate.

Esantionarea multistadiala este folosita atunci cand nu exista o lista completa a populatiei tinta sau cand lista completa nu este adecvata. De asemenea, reduce costurile asociate cu esantionarea prin grupuri. Folosirea esantionarii prin grupuri necesita o lista cu toate scolile din regiunile din care vor fi alcatuite grupurile.

In practica, esantionarea multistadiala este realizata prin gruparea populatiei tinta mai degraba pe baza variabilelor relevante pentru program decat pe criterii geografice.

Esantionarea rationala

In cazul esantionarii rationale analistul selecteaza esantionul pe baza propriilor rationamente sau criterii. Rationamentul este de obicei bazat pe experienta evaluatorului si relevanta fata de program sau politica. Este folosita in cazurile in care:

• Exista un numar limitat de populatie care poate furniza informatiile relevante;
• Populatia este dificil de determinat;
• Unii dintre membri au mai multe cunostinte si pot oferi informatii relevante.

Prin folosirea esantionarii rationale este dificil de mentionat daca populatia tinta este bine reprezentata in cadrul esantionului selectat. Astfel, este important sa se ajunga la un consens cu clientul evaluarii asupra criteriilor de selectie pentru a reduce distorsiunile.

Esantionarea in lant (tip bulgare de zapada)

Esantionarea in lant este folosita atunci cand este extrem de dificil sau costisitor sa se determine respondentii. Aceasta metoda alege respondentii dintre cei initiali pentru a genera respondenti suplimentari. Acest tip de esantionare este adesea folosit pentru a descoperi asa numita "populatie ascunsa" - persoanele fara adapost sau persoanele dependente de droguri.

Desi aceasta metoda poate reduce costurile, poate, de asemenea, introduce distorsionarea, deoarece este posibil ca esantionul sa nu reprezinte sectiunea transversala potrivita a populatiei.

Esantionarea prin cote

In cazul esantionarii prin cote toata populatia este grupata in grupuri mutual exclusive, precum in cea stratificata, iar apoi unitatile sunt selectate din fiecare grup pe baza unei cote specificate. Grupurile sunt formate pe baza anumitor caracteristici, cum ar fi varsta, genul, religia, educatia etc.

In cazul esantionarii prin cote selectia esantionului nu este aleatoare si asta face ca esantionul sa fie mai distorsionat. Este un fel de esantionare de convenienta in care unitatile sunt incluse in esantion pe masura ce apar pe baza anumitor variabile.

Esantionarea prin cote este adesea folosita cand timpul alocat este limitat, cadrul de esantionare nu este disponibil, bugetul este limitat si acuratetea nu este atat de importanta. 

In practica, procesul de esantionare rareori implica o singura metoda. Pentru a lua in considerare constrangerile legate de resurse si numeroasele trasaturi ale populatiei tinta, se va folosi o combinatie de metode pentru fiecare etapa a sondajului.

Alegerea metodelor de esantionare va depinde de numarul de factori inclusiv:

Scopul si acuratetea cerintelor. In cazurile in care sunt necesare date semnificative din punct de vedere statistic cu un nivel inalt de incredere (validitate externa), metodele de esantionare probabilistice vor fi folosite pentru a reduce distorsiunile. Ca regula, ele sunt folosite in evaluarile in care este nevoie sa se dovedeasca sau sa se respinga anumite ipoteze sau cand este necesar sa se decida continuarea sau finalizarea unui program.

Natura si calitatea populatiei tinta va influenta in mod semnificativ alegerea metodelor de esantionare. Aceste metode de esantionare vor depinde de accesul la populatia tinta, cat de dispersata este aceasta, din cate variabile este constituit profilul populatiei tinta etc.

• Constrangeri legate de resurse. Anumite metode de esantionare pot fi costisitoare si pot necesita foarte mult timp. In acest sens, alegerea metodelor de esantionare poate genera un compromis intre nevoile privind acuratetea si resursele disponibile.

Determinarea volumului esantionului

Volumul esantionului determina cat de mare va fi grupul unitatilor care vor fi supuse sondajului. Definirea volumului esantionului este o activitate importanta si dificila in cadrul procesului de colectare a datelor. Cu toate acestea, volumul esantionului nu este intotdeauna aspectul principal, ci doar unul dintre aspectele legate de calitatea evaluarii. Volumul esantionului depinde de un numar de factori:

• Scopul evaluarii;
• Volumul populatiei;
• Eroarea de esantionare acceptabila;
• Riscul selectarii unui esantion nepotrivit.

Exista mai multe abordari pentru a determina volumul esantionului:

• Recensamant pentru populatie redusa;
• Folosirea unui volum al esantionului din evaluari similare;
• Folosirea tabelelor publicate sau a calculatoarelor de esantion electronice;
• Aplicarea formulelor.

Esantionarea prin recensamant este de obicei folosita pentru populatiile cu un numar redus pentru a evita costurile foarte mari de colectare a datelor. Elimina eroarea de esantionare si sondeaza toata unitatile din recensamant.

O alta abordare este folosirea aceluiasi volum de esantion de la evaluari similare. Cu toate acestea, daca nu revizuiti procedurile de determinare a volumului, s-ar putea sa repetati greselile care au fost facute. Pe de alta parte, adesea literatura din diverse domenii furnizeaza indrumari cu privire la volumul obisnuit al unui esantion.

O a treia modalitate este folosirea tabelelor publicate sau a calculatoarelor de esantion electronice care sugereaza volumul de esantion pe baza unui set dat de criterii - de obicei numarul populatiei, nivelul de incredere, marginea erorii si distributia raspunsurilor. Un tabel de volume de esantion este prezentat in Anexa 2. De obicei aceste tabele sau calculatoarele de esantion electronice ofera numarul de raspunsuri care trebuie primit. Din acest motiv s-ar putea sa fie nevoie sa cresteti numarul pentru a compensa non-raspunsurile.

A patra modalitate de calcul a esantionului este folosirea formulelor. Formulele sunt de obicei folosite in cazurile cand se intentioneaza folosirea metodelor de analiza cantitativa precum analiza de regresie multipla, analiza co-variatiei (ANCOVA) etc. Daca folositi formule pentru a calcula volumul esantionului veti avea nevoie de cunostinte de statistica (ex. sa participati la un curs daca nu aveti un statistician sau o persoana cu abilitatile adecvate in cadrul echipei dvs.) sau puteti cauta asistenta specializata externa.

Esantionarea calitativa

Cine ar trebui sa fie prezent la interviuri si cine ar trebui sa faca parte din focus grupuri este o intrebare la care nu se raspunde cu usurinta. Pentru colectarea datelor calitative participantii pot fi selectati in functie de diferite variabile, cum ar fi nivelul de experienta, functia, clasa sociala. Variabilele vor depinde de:

• Intrebarile de evaluare;
• Trasaturile programului sau politicii dvs.;
• Factorii interesati ai programului (factori decizionali, dezvoltatori, implementatori, beneficiari).

Adesea, pentru interviurile aprofundate s-ar putea sa fie nevoie sa va intalniti cu persoane care au cunostinte bogate referitoare la program si care va pot ajuta cel mai bine sa raspundeti la intrebarile de evaluare. In general, grupurile principale care sunt incluse in esantion sunt:

• Beneficiarii programului;
• Factorii decizionali;
• Managerii de program;
• Implementatorii programului;
• Alti factori interesati care au impact direct sau indirect asupra programului.

In cazul proceselor de colectare a datelor calitative cele mai frecvent folosite metode de esantionare sunt metodele non-probabilistice. Scopul interviurilor aprofundate sau al focus grupurilor este de a obtine informatii despre implementarea sau impactul politicii/programului de la persoanele cu cele mai bogate cunostinte in domeniul respectiv. In acest sens, metoda de esantionare rationala va fi cea mai potrivita deoarece evaluatorii, adesea in urma consultarilor cu clientii sau factorii interesati, vor decide care grupuri tinta pot furniza informatii intrinsece evaluarii.  

Decizia privind cate interviuri sau grupuri sunt necesare implica o echilibrare a costurilor si a nevoilor de informare ale evaluarii. In mod obisnuit, puteti avea nevoie de cel putin doua focus grupuri pentru o variabila. Cu toate acestea, chiar daca aveti mai multe grupuri concluziile sunt de obicei limitate la indivizii care au luat parte la focus grupuri. Pentru interviurile aprofundate s-ar putea sa aveti nevoie sa va intalniti cu mai multi oameni pentru a observa tendintele si modelele de comportament. In general, nu va fi necesar sa desfasurati prea multe interviuri sau focus grupuri pentru a observa ca nu mai primiti informatii noi de la respondenti. In majoritatea cazurilor, rationamentul se va baza pe o combinatie de factori inclusiv resursele disponibile, nevoile de informare si situatiile specifice.

Metode de analiza a datelor calitative

Datele calitative sunt informatiile colectate intr-o forma non-numerica. Exemple de astfel de date sunt: transcrierile interviurilor, note privind domeniul (note luate in domeniul care este studiat), inregistrari video, audio, imagini, documente (rapoarte, procese verbale ale intalnirilor, e-mail-uri). Cele mai des intalnite forme ale datelor calitative sunt ce anume au afirmat sau au facut oamenii, ca un fel de explicatie, precum si o intelegere sau interpretare a persoanelor si situatiilor care sunt evaluate.

Cea mai obisnuita analiza a datelor calitative este impresia observatorului. Expertii examineaza datele, le interpreteaza si isi formeaza o impresie pe care apoi o raporteaza intr-o forma structurata si uneori cantitativa.

Ideea este de a analiza continutul care este semnificativ si simbolic al datelor calitative. De exemplu, pe durata analizei notelor din interviuri este important sa se afle raspunsuri asupra urmatoarelor intrebari:

• Interpretarea respondentului asupra situatiei;
• De ce are un anumit punct de vedere;
• Care este atitudinea sa asupra situatiei;
• Cum se identifica sau clasifica pe sine insusi sau pe altii prin ceea ce spune.

Exista doua abordari principale "opuse" pentru a documenta interpretarea cu metode de analiza a datelor calitative: abordarea studiu de caz non-cantitativa si nestructurata si abordarea structurata privind analiza continutului care genereaza date cantitative. Exista multe alte metode de analiza a datelor calitative care combina ambele abordari, precum analiza tematica, descrisa mai jos.

Analiza de continut este o metoda de analiza calitativa a comportamentelor/tendintelor. Aceasta abordare sistematica limiteaza efectele distorsiunii analistului. Este tehnica preferata pentru analiza interviurilor semi-structurate. Acest tip de analiza poate fi folosit pentru intrebarile cu raspuns deschis, care au fost adaugate chestionarelor in sondajele cantitative voluminoase, permitand astfel cercetatorului sa cuantifice raspunsurile. Rezultatul analizei de continut este transformarea documentului non-cantitativ in date cantitative.

Modul de prezentare a rezultatelor este de obicei similar cu cel al datelor de ancheta/sondaj. Prin folosirea acestei metode cercetatorul trece in mod sistematic prin fiecare transcriere, atribuie coduri, care pot fi numere sau cuvinte, trasaturilor specifice in cadrul textului (vezi Exemplul 22). Cercetatorul poate are deja o lista de categorii sau poate crea categoriile citind datele (categorizarea datelor). Unii cercetatori folosesc ambele abordari.

In cazul analizei de continut din cercetarile privind stiintele sociale aceasta poate implica cat de des apar anumite cuvinte sau fraze. In analiza politica, analiza de continut poate implica identificarea retelelor de comunicare, preferinte, tipare de votare etc.

Gasirea temelor este una dintre principalele parti ale metodelor de analiza a datelor calitative. Primul pas in cadrul procesului de gasire a temei este categorizarea datelor. Asta inseamna identificarea partilor din text (sau din imagini) si etichetarea acestora pentru a indica faptul ca ele sunt exemple ale anumitor idei tematice. Acest proces permite cercetatorilor ca colecteze rapid toate textele si celelalte date asociate cu anumite idei tematice, astfel incat sa poata fi analizate impreuna si sa poata fi realizate comparatii ale diferitelor cazuri.

Analiza incepe cu categorizarea deschisa: analistul citeste textul si incercuieste ceea ce par a fi termenii, evenimentele sau actiunile cheie. O nota scurta explicativa este scrisa langa cerc (nu si in acest exemplu din motive tehnice). Aceste note sunt discutate mai tarziu intre analisti cu scopul de a crea o lista de codare cu cuvinte cheie potrivite. Lista de codare de obicei rezuma actiunile si evenimentele desfasurate anterior in categorizarile deschise. In acest exemplu lista de categorizare/codare ar putea fi:

• Crestere a activitatilor,;
• Pesimism;
• Intentii bune;
• Speranta pentru imbunatatire;
• Sentimentul de implicare.

Pentru o codare mai facila textul poate fi tiparit folosindu-se spatierea dubla, astfel incat sa se poata scrie ideile codate si etichetele intre randuri.

Crearea listei de categorizare pare mai usoara si mai eficienta din punct de vedere al timpului decat este in realitate. Chiar daca seturile de date pentru analiza de continut sunt mai reduse decat cele pentru abordarile cantitative, ele au tendinta de a fi foarte lungi si necesita examinari intensive, o intelegere si un mod de lecturare/interpretare pe care doar fiintele umane le poseda. Este important pentru analisti sa isi planifice o perioada de timp adecvata pentru aceasta activitate a primelor analize a datelor calitative. Chiar si acest pas de inceput, mai usor, implica un anumit nivel de interpretare, mai ales atunci cand mai multi analisti codeaza datele.

Pentru a nu fi coplesit de volumul mare de date si documente analitice, analistul trebuie sa se organizeze. Acest lucru poate fi efectuat in doua moduri: manual si cu ajutorul computerului.

In cadrul categorizarii datelor manual, notele si interviurile sunt transcrise, iar transcrierile si imaginile sunt copiate. Cercetatorul foloseste apoi fisiere, dulapuri de indosariere pentru a colecta materialele intr-un singur loc care sunt exemple de teme similare sau idei analitice. De obicei este necesar sa se faca copii multiple ale datelor originale, deoarece aceleasi date pot reprezenta doua sau mai multe teme sau idei analitice. Aceasta abordare ofera posibilitatea de a re-verifica si a examina contextul mai larg in care datele au aparut.

Din ce in ce mai multi cercetatori prefera sa nu mai foloseasca sistemul de indosariere si prefera software-ul Computer Assisted Qualitative Data Analysis (CAQDAS), care este folosit pentru a cauta, organiza, categoriza si adnota date de tip text sau vizuale. Exista doua tipuri principale de programe disponibile pentru analiza textuala:

1. Software care cauta, organizeaza si adnoteaza datele textuale pentru viitoarele analize calitative si/sau cantitative (CAQDAS);
2. Software care analizeaza datele textuale prin evaluarea statisticilor textuale si concordantele si/sau desfasurarea unor analize de continut bazate pe dictionare (CatPac, Concordance etc.)

Urmatorul pas dupa codare si categorizare este intelegerea analitica, de ce sunt lucrurile asa cum le-au descoperit cercetatorii. Procesul de interpretare a datelor in termeni de teme/concepte/idei/interactiuni/procese trebuie realizat de catre analist. El/ea pregateste rapoartele in care rezuma raspandirea codurilor, discuta asemanarile si deosebirile privitoare la codurile asociate din surse/contexte originale diferite, sau compara relatia dintre coduri. Nu exista alt software care sa desfasoare aceasta activitate decat creierul uman.

Analiza de continut este o tehnica facila si nu necesita foarte mult timp. Dar ca si alte tehnici, aceasta are si ea dezavantajele sale. Rezultatele pot fi destul de "grosiere" si subiective. Chiar si pentru datele narative, folosirea exclusiva a analizei de continut nu este o abordare satisfacatoare. Analiza de continut este un bun inceput, dar nu este suficient.

Criticii adesea subliniaza faptul ca procesul de codare cauta sa transforme datele calitative in date cantitative, si prin urmare, datele isi pierd din bogatia de informatii si din trasaturile individuale. Analistii raspund acestei critici prin expunerea definitiilor lor cu privire la coduri si explica anumite trasaturi ale datelor.

Analiza datelor calitative nu este mereu bazata pe codarea si numararea datelor. Poate fi un proces de reflectare. In acest caz, analiza datelor tinde sa devina o activitate permanenta pe tot parcursul procesului de colectare a datelor. Cercetatorul in caz de nevoie include in analiza teme noi, adaptand si schimband metodele daca este necesar.

De exemplu, cercetatorul a sustinut trei interviuri, conform planificarii din calendarul interviurilor. Cu toate acestea, pe parcursul interviurilor descopera ca participantii pun probleme la care nu se gandise in prealabil. Asa ca cercetatorul isi structureaza programul interviurilor pentru a include aceste probleme in urmatoarele interviuri. Astfel, inseamna ca cercetatorul desfasoara o analiza a datelor in timpul procesului de colectare a datelor.

Analiza tematica este metoda de analiza a datelor calitative in cadrul careia oamenii vorbesc despre experientele lor. Analiza tematica se concentreaza pe teme usor de identificat si tipare de trai si/sau comportament. Analiza tematica adesea este folosita pentru a analiza datele colectate de la focus grupuri..

Primul pas este colectarea datelor. Cel mai bun mod este de a inregistra sesiunile (interviuri etnografice, focus grupuri) si apoi identificarea tiparelor de experienta folosind citate directe sau parafrazand idei comune.

Al doilea pas este identificarea tuturor datelor care au legatura cu tiparele deja clasificate.

Al treilea pas este combinarea si catalogarea tiparelor asociate in teme (subiecte de conversatie, vocabular, intelesuri, sentimente etc.). Temele formate in urma povestilor expuse de catre respondenti sunt puse cap la cap cu scopul de a crea un context al experientei lor colective.

Al patrulea pas dupa ce temele sunt combinate intr-un cadru cuprinzator este de a obtine feedback din partea informatorilor.

Cel de-al cincilea pas este stabilirea unui argument valid pentru alegerea temelor. Lecturarea literaturii de specialitate este implicata aici, deoarece cercetatorul obtine aprobarile privitoare la informatiile obtinute in cadrul interviurilor sau al sesiunilor de terapie. Odata temele colectate si literatura studiata, cercetatorul este pregatit pentru a formula declaratiile privind temele pentru a genera un fir al povestii.

Asa cum a fost mentionat mai devreme, studiul de caz este o metoda nestructurata de analiza a datelor calitative. Criticii acestei metode considera ca studiul unui numar mai redus de cazuri nu poate fi o baza pentru stabilirea nivelului de incredere al constatarilor si prin urmare este utila doar sub forma unui instrument de documentare. Cu toate acestea, este des folosita cu succes in evaluarea politicilor.

Studiul de caz este o intelegere aprofundata a procesului, evenimentului sau situatiei. Aceasta metoda este adecvata in cazurile in care intrebarea de evaluare inseamna descoperirea fundamentului unui proces din cadrul unui grup redus de participanti sau chiar individual, emiterea unor concluzii doar despre acel participant sau grup si fara a generaliza. Studiile de caz nu demonstreaza ipoteze si nu generalizeaza adevarul. Nu incearca sa gaseasca relatiile cauza-efect dar pun accentul pe explorare si descriere. Cu toate acestea, pe baza analizelor aprofundate ale problemelor concrete, studiile de caz pot sugera directii pentru cei care formuleaza politici pentru imbunatatirea procesului de implementare a politicilor.

Metode de analiza a datelor cantitative

Datele au o semnificatie pentru client doar dupa ce sunt interpretate si comunicate in mod eficient in conformitate cu interesele clientului. Un volum prea mare de date dezorienteaza cititorul si poate crea confuzie in perceperea rezultatelor. Adesea datele statistice extensive sunt incluse ca anexe ale evaluarii. Exista trei tipuri principale de date:

• Date fractionare/numerice sunt cifre "reale". Aceste date permit efectuarea diverselor operatii matematice, de exemplu, volumul de beneficii sociale acordate fiecarei gospodarii pe luna;
• Datele nominale prezinta date calitative codate in cifre si servesc drept abrevieri ale informatiilor. Acele cifre nu au nici un inteles de sine statator, de exemplu, 1=casatorit, 2=necasatorit, 3=divortat;
• Datele ordinale prezinta date calitative codate in cifre, dar diferenta fata de datele nominale este ca aceste cifre au un inteles. Cu toate acestea, ele nu pot fi folosite pentru calcule, de exemplu, 1=foarte satisfacut de servicii, 2=satisfacut, 3=oarecum satisfacut, 4=nesatisfacut.

In majoritatea cazurilor de cercetare analiza datelor cantitative implica trei pasi majori:

• Organizarea datelor pentru analiza (pregatirea datelor);
• Descrierea datelor (statistica descriptiva);
• Testarea ipotezelor si modelelor (statistica inferentiala).

Pe parcursul pregatirii datelor - primul pas al analizei datelor - datele sunt introduse, verificate din punct de vedere al acuratetei, transformate si transpuse in baza de date care integreaza diverse masuri de performanta, adecvate intrebarii de evaluare. In cadrul rapoartelor de evaluare partea legata de procesul de pregatire a datelor trebuie sa fie scurta si sa se concentreze doar pe aspectele unice ale studiului.

Diferiti indicatori de obicei masoara nivelul de realizare al rezultatelor imediate/rezultatelor programului/politicii dvs. Asta inseamna ca pe parcursul activitatii de M&E obtineti o cantitate mare de variabile diferite. Statistica va permite sa descrieti acest set de date si sa emiteti declaratii si judecati cu privire la o populatie din datele de esantion, precum si eficacitatea politicii. Aceasta este sarcina urmatorilor pasi in ceea ce priveste analiza datelor: statistica descriptiva si inferentiala.

Statistica descriptiva este folosita pentru a descrie ce anume prezinta datele. Furnizeaza rezumate ale diferitelor masuri ale esantionului. Statistica descriptiva poate fi exprimata sub forma diferitelor grafice sau tabele si este baza oricarei analize cantitative a datelor. Volumul de rezultate poate fi mare si dificil de inteles, prin urmare, adesea este organizat in tabele si grafice rezumat care prezinta doar informatiile cele mai relevante.

Exista trei trasaturi majore care sunt folosite in statistica descriptiva pentru a descrie trasaturile variabilelor:

• distributia,
• tendinta centrala,
• dispersia.

Aceleasi trasaturi sunt folosite si pentru orice tip de descriere in cazurile in care anticipati anumite tipare in viitor, inclusiv in cazul studiului de impact ex-ante privind politicile.

Distributia ofera o buna imagine generala asupra unor observatii numeroase ale unei singure variabile. Distributia de frecvente este distributia pe categorie. Este utila pentru a prezenta datele nominale sau ordinale, de exemplu, rezultatele privind satisfactia clientilor. Distributia procentuala este de exemplu listarea numarului sau procentului de elevi de la fiecare nivel de invatamant. Distributiile pot fi prezentate folosindu-se grafice sau tabele.

Exista aproximativ 20 de tipuri diferite de distributie, dar cel mai des intalnit este asa numita distributie normala. Inseamna ca marea majoritate a datelor sunt localizate aproape de medie si cu cat ne indepartam mai mult de medie, cu atat exista mai putine masuratori. Multe dintre masuratorile din viata reala sunt distribuite normal - inaltime, greutate, scor de test, venit etc., si graficul datelor are o curba in forma de clopot.

Tendinta centrala prezinta "centrul" setului de date:

-media este o valoare sau suma medie a n numere divizate la n. O medie este o masura utila deoarece este relativ de incredere in sensul ca mediile multor esantioane din cadrul aceleiasi populatii de obicei nu au fluctuatii prea mari. Nu se aplica in cazurile cand setul de date are multe valori, care sunt departe de "centru" (valoare aberanta). In acest caz o masura mai buna a tendintei centrale este mediana.

-mediana este punctul de mijloc al unu set de date. Pentru a descoperi mediana, datele trebuie aranjate de la cele cu valorile cele mai mici la cele cu valorile cele mai mari, iar abia apoi aflati care valoare este situata exact la mijloc. Masurarea medianei poate fi utila atunci cand datele includ valori foarte mici sau foarte mari, care ar putea distorsiona media.

-modul este definit drept valoarea care apare cu cea mai mare frecventa si mai des decat o singura data. De exemplu, daca doriti sa aflati care este cartea preferata a copiilor de gradinita, in cadrul evaluarii puteti folosi valoarea mod.

Pentru evaluarea de baza a politicii/programului estimarea sumelor totale, mediilor, va va permite sa analizati suficient datele. Aceste proceduri simple explica rezolva probleme si sunt usor de inteles de catre majoritatea factorilor interesati.

Daca datele au o calitate buna rezonabila si sunt raportate in mod clar, este posibil ca masurile de statistica descriptiva descrise mai jos sa nu fie necesare. Cu toate acestea, programele mari (de exemplu dezvoltare regionala) sau modificarile majore de politica (de exemplu reforma privind impozitul) pot necesita folosirea acestor masuri.

Dispersia se refera la extinderea valorilor in jurul tendintei centrale. Exista doua masuri comune de dispersie: amplitudinea si abaterea standard.

Amplitudinea este pur si simplu cea mai mare valoare minus valoarea cea mai mica. De exemplu, daca cel mai varstnic pacient din spital are 87 de ani si cel mai tanar are 10 ani, atunci amplitudinea privind varsta pacientilor din spital este de 77 de ani.

Abaterea standard prezinta cat de imprastiate sunt valorile intr-un anumit set de date din jurul mediei. Abaterea standard este sensibila la valori, care sunt foarte departe de centru (valori aberante). O singura valoare aberanta poate ridica abaterea standard si poate distorsiona imaginea imprastierii.

Daca toate valorile unui set de date sunt la fel, abaterea standard este zero (deoarece fiecare valoare este egala cu media). Daca multe puncte de date sunt departe de medie, atunci abaterea standard este mare. Pe de alta parte, daca multe puncte de date sunt aproape de valoarea medie, atunci abaterea standard este redusa. Abaterea standard este exprimata in aceleasi unitati ca si datele. Acele valori pot fi calculate folosindu-se SPSS software.

Pentru un set de date distribuit normal, regula empirica afirma ca in jur de 68% dintre valorile selectate dintr-o distributie normala sunt cu o abatere standard mai departe de medie, 95% dintre valori sunt cu doua abateri standard, iar 99,7% cu trei abateri standard.

Desi abaterea standard este o masura utila pentru a clarifica cat de diferite sunt raspunsurile la o anumita intrebare, este dificil de determinat daca abaterea standard este mica sau mare, fara a o compara cu volumul esantionului. Pentru a interpreta magnitudinea relativa a abaterii standard trebuie impartita la medie. Asta reprezinta asa numitul coeficient de variatie. De exemplu, daca media este 0,5 si abaterea standard este 0,2 atunci coeficientul de variatie este 0,2/0,5 = 0,4. Arata ca valorile sunt larg imprastiate (40%) in jurul valorii medii.

Pe parcursul evaluarii reformelor semnificative privind politicile, precum si pe parcursul evaluarii programelor transversale, urmatorul pas dupa statistica descriptiva este descoperirea cauzalitatii si nivelului de influenta ale anumitor factori asupra rezultatului asteptat al politicii. Aceasta sarcina poate fi realizata prin folosirea ultimului pas - cel mai complicat pa al analizei datelor - statistica inferentiala. Statistica inferentiala asupra datelor de esantion va pot ajuta sa gasiti raspunsuri la intrebarile legate de modul in care factori diferiti care influenteaza rezultatul politicii sunt legati intre ei, care dintre factori are o influenta mai mare, care factor nu este important pentru atingerea obiectivelor politicii.

Exista mai multe teste statistice (testul-t, testul-z), care pot fi folosite pentru a raspunde la intrebarea daca doua sau mai multe variabile sunt asociate sau independente. Alegerea testelor depinde de tipul datelor, precum si de numarul si tipul esantioanelor.

De obicei, evaluatorul testeaza intrebarile de cercetare specifice sau ipotezele prin diferite metode (regresie, corelatie, analiza variatiei (ANCOVA), analiza factorilor etc.). Acestea indica cat de probabil este ca relatia sau asocierile descoperite in datele de esantion sa descrie trasaturi ale populatiei din cadrul careia s-a selectat esantionul, sau daca, in termeni statistici, constatarile sunt semnificative.

Astfel, folosim statistica inferentiala pentru a face deductii (concluzii) din datele noastre catre conditii mai generale; folosim statistica descriptiva doar pentru a descrie ce anume se intampla in datele noastre.

Una dintre cel mai des folosite metode pentru a descoperi cauzalitatea diferitilor factori care pot influenta rezultatul unei  politici/program este analiza prin regresie multipla. Scopul acesteia este de a descoperi ecuatia liniei care se potriveste cel mai bine pentru a descrie dispersia setului de date si prin urmare sa descrie situatia constatarilor cu cea mai redusa eroare. Regresia multipla poate fi folosita in toate tipurile de modele de evaluare: experimente, cvasi-experimente, non-experimente. Punctul forte al acestei metode este de a demonstra puterea variabilelor, care influenteaza direct rezultatul politicii, de a exclude variabilele care influenteaza indirect rezultatul politicii (factori externi diferiti) si de a descoperi cauzalitatea cu cea mai mica eroare standard posibila, ceea ce indica cat de mult poate varia un parametru estimat fata de valoarea reala. Atunci cand eroarea standard este mica in relatie cu dimensiunea parametrului estimat, coeficientul este semnificativ din punct de vedere statistic.

Inainte ca cercetatorii sa aplice regresia multipla, echipa de evaluare, impreuna cu factorii interesati si cercetatorii trebuie sa decida care variabile pot fi cele mai semnificative si prin urmare masurabile in diferite modele de regresie. Urmatorul pas este de a elabora un model statistic. Acest model contine un set al tuturor variabilelor care influenteaza direct rezultatul politicii, factorii externi si eroarea de masurare. Intr-o situatie ideala, beneficiarul participa la o intalnire initiala cu cercetatorii, oferindu-le o imagine clara asupra nevoilor sale si asupra "destinului" constatarilor evaluarii. Asa cum a fost mentionat in capitolele anterioare, constatarile vor fi folosite doar daca clientul le poate vedea utilitatea in viitorul proces de formulare a politicilor. Avand in vedere ca cel care are cunostinte vaste legate de interventia guvernamentala supusa evaluarii este clientul, acesta poate ajuta cercetatorii printr-un schimb de experienta reciproc, privind posibilele rezultate ale politicii si factorii care le influenteaza cel mai mult.

Ca majoritatea statisticilor, puteti folosi rezultatele regresiei multiple in diferite stadii ale evaluarii politicii. Prin folosirea datelor de baza este posibil sa se anticipeze tiparul variabilelor conectate reciproc si mai tarziu pentru a le folosi pentru anticiparea posibilelor rezultate ale politicii (vezi exemplele de mai sus si mai jos).

Comunicarea analizei, judecarea datelor

Indiferent de metodele folosite in analiza datelor, raportul de evaluare trebuie sa puna in evidenta constatarile din trei perspective separate:

• Semnificatia statistica,
• Punctele forte ale relatiei sau corelatiei (asociere),
• Cauzalitatea.

In statistica "foarte semnificativ" inseamna ca este foarte probabil sa fie adevarat, dar asta nu inseamna ca este mereu foarte important. Cel mai obisnuit nivel, folosit pentru a preciza ca ceva este destul de bun pentru a fi credibil este .95. Asta inseamna respectiva constatare are 95% sanse de a fi adevarata. Cu toate acestea, software statistic pe durata calculelor va vor arata "0,05" asta insemnand ca respectiva constatare are 5% sanse de a nu fi adevarata.

Exista in principiu cinci tipuri de comparatii care pot fi utile pentru a prezenta constatarile evaluarii:

componentele sau proportiile temei evaluate,

numarul de itemi sau diferente

frecventa distributiilor trasaturilor

corelatiile dintre variabile

seriile temporale sau tendintele pentru un item. 

Diagramele circulare sunt cele mai potrivite pentru a ilustra proportiile, diagramele verticale pentru itemi, histogramele si diagramele punct pentru distributiile de frecventa, diagrama de dispersie pentru corelatie, curbele seriilor temporale pentru tendintele datelor. Tabelul 9 furnizeaza cea mai adecvata descriere grafica pentru cele mai obisnuite comparatii folosite in rapoartele de evaluare.

Tabel 9. Tipologia Altman a graficelor

Sursa: Altman S., «Teaching Data Analysis to Individuals Entering the Public Service», Journal of Urban Analysis 3, octombrie 1976.