Abordarea Bancii Mondiale a evaluarii impactului al soselelor

Abordarea Bancii Mondiale a evaluarii impactului al soselelor

(Adaptat dupa "Evaluarea impactului socio-economic al soselelor rurale", Metodologie si chestionare, Banca Mondiala, 2002)

De ce acest exemplu?

Acest exemplu de evaluare sumativa a fost selectat pentru:

• a arata o gama larga de indicatori, care pot fi utilizati pentru a masura impacturile directe si indirecte, nu numai pentru programe in sectorul transporturilor, ci si in evaluarea dezvoltarii regionale, reteaua de planificare a scolilor, spitalelor si alte elemente de infrastructura;
• a descrie procesul de creatie a grupurilor de control (comparatie) in situatia in care acesta nu a avut loc inainte de inceperea programului;
• a demonstra structura chestionarului conform indicatorilor identificati anterior;
• a furniza o imagine de ansamblu asupra utilizarii regresiei si a modelului sau statistic.

Informatii generale

Sectorul transporturilor are o lunga traditie in ceea ce priveste justificarea proiectelor pe baza eficientei, evaluarea investitiilor alternative in virtutea analizei cost-beneficiu. Pentru investitii in transportul pe sosele, principalele beneficii economice constau in economisirea costurilor de functionare ale vehiculelor (cum ar fi costul combustibililor, intretinerii vehiculului), economia de timp si riscul redus de accidente.

Deoarece, incepand cu 2001, Banca Mondiala se concentreaza in principal pe reducerea saraciei, s-a constatat aparitia interesului pentru impactul distributional al proiectelor de transport si in special, pentru impactul asupra grupurilor sarace. Pe langa evaluarea economica, s-au facut incercari de a masura impacturile sociale si economice ale drumurilor rurale utilizand diferite abordari.

Scopul acestei meta-evaluari a fost acela de a analiza practica evaluarii proiectelor de transport si de a ajuta managerii de sarcini si clientii sa-si dezvolte o colectie riguroasa de date si metode analitice, care sa poata forma baza unei evaluari sistematice a proiectelor de construire a soselelor. Principiile si instrumentele propuse aici trebuie sa fie percepute ca modele flexibile, un ghid pentru optiunile de dezvoltare pentru contexte de tara specifice.

Intrebari de evaluare

Care este magnitudinea si distributia efectelor direct si indirecte ale proiectelor construirii de sosele?

Efectele directe ale proiectelor de construire de sosele pot fi:

• reducerea timpului de calatorie spre locul de munca, scoli, spitale, piete etc.;
• economii in costurile de functionare ale vehiculelor (cum ar fi costul combustibilului, intretinerea vehiculului);
• reducerea riscului de accidente. 

Compozitia si distributia efectelor directe depinde de compozitia utilizatorilor si structura pietei de transport. Acestea pot fi locale, regionale, nationale, internationale. Beneficiile unei sosele rurale se pot extinde la fermierii locali, rezidentii urbani, producatorii interni sau turistii straini.

Indicatorii de rezultate directe utilizati pentru a masura efectele directe:

• Densitatea traficului (vehicule pe zi, frecventa serviciului de autobuz);
• Capacitatea soselei (numarul de zile de inchidere a soselei);
• Taxe si costuri (taxe de transport pasageri si marfuri);
• Modele de transport (numar de calatorii, durata, mod de transport catre destinatiile selectate, pe categorii de varsta si de sex);
• Detinerea de vehicule (vehicule motorizate si non-motorizate detinute);
• Accidente (rani si decese, pe grupe de varsta si sex).

Indicatorii de rezultate ale politicii utilizati pentru a masura efectele directe:

• Accesul la educatie (cifra de scolarizare si rata abandonului pe sexe);
• Calitatea educatiei (absenteismul profesorilor, disponibilitatea resurselor scolare);
• Statutul educatiei (alfabetizare, media anilor de educatie, pe grupe de varsta, pe sexe);
• Acces la facilitatile de sanatate (numarul de vizite, pe grupe de varsta si pe sexe);
• Calitatea facilitatilor de sanatate (calificarile personalului, disponibilitatea resurselor medicale);
• Statutul sanatatii (incidenta bolilor, numarul de zile de lucru pierdute din cauza bolilor, pe grupe de varsta si pe sexe);
• Accesul la piete (frecventa vizitelor pe grupe de varsta si sex, produse vandute si achizitionate);
• Preturi (preturile marfurilor cheie, resurse agricole, teren).

Indicatori de rezultate pe termen lung utilizati pentru a masura efectele indirecte:

• Impactul asupra activitatilor agricole (combinatia de recolte, utilizarea resurselor, vizite ale agentilor de extindere);
• Impactul asupra activitatilor non-agricole (combinatia de activitati, angajarea in afara fermei);
• Structura venitului (tipul surselor de venit);
• Compozitia cheltuielilor (procentajul de alimente, transport);
• Interactiunea sociala (numarul de vizite in alte sate si orase, participare la evenimente sociale, pe grupe de varsta si sex);
• Participarea politica (numar de vizite ale oficialilor guvernului, participarea la evenimente in cadrul comunitatii sau politice, pe grupe de varsta si sexe).

La evaluarea proiectelor de construire de drumuri, este necesar de masurat de asemenea, efectele negative deoarece poate exista o crestere a numarului de accidente, despadurire si raspandirea HIV/SIDA.

Modelul evaluarii

Alegerea modelului evaluarii depinde de caracteristicile soselelor si ale populatiei din imprejurimi (e. g. densitatea populatiei, dispersia spatiala a populatiei, tipul de activitate economica etc.). Utilizarea de modele experimentale va fi fezabila cand, cel putin doua conditii vor fi indeplinite:

• Programul se desfasoara la scara larga si are un numar suficient de zone de tratament si control pentru a putea fi selectate aleatoriu;
• Programul poate fi implementat in doua etape: la inceput, evaluarea efectelor directe si apoi, indirecte ale proiectelor de constructie de sosele. Aceasta pre-conditie ofera o oportunitate pentru a evita dificultatile politice si etice care ar putea aparea in ceea ce priveste controlul si misiunea grupului de tratament.

Din pacate, in majoritatea proiectelor de sosele rurale, aceste conditii nu vor fi indeplinite. Astfel, cea mai potrivita alegere metodologica va fi din randul metodelor cvasi-experimentale. Daca datele de referinta sunt disponibile sau pot fi colectate ca parte din procesul de evaluare, modelul preferat in mod clar este Modelul 2: Pre-testarea, Post-testarea grupurilor de tratament si control.

Acesta consta in compararea variabilelor de impact inainte (date pre-testare) si dupa (date post-testare) construirea soselei in zonele de tratament si compararea acestor schimbari cu schimbarile observate in ariile de control unde nu s-a construit sau modernizat nicio sosea. In cazul evaluarii soselelor, unitatea de observare va fi in mod tipic comunitatea sau entitatea geografica (district, judet), care este utilizata pentru a defini zona de influenta a soselei.

Grupul de control trebuie sa fie creat utilizand esantionarea simpla aleatorie a zonelor de interventie, sau utilizand metode cvasi-experimentale. Grupurile de tratament si control ar trebui sa fie indeajuns de mari pentru a avea semnificatie statistica valabila.

Modelul de evaluare propus consta in doua etape bazandu-se in special, pe culegerea datelor bazata de sondaje si pe analiza cantitativa a acestora.

Prima etapa cuprinde impactul direct asupra variabilelor de transport (costuri de transport si timp, accesibilitate etc.) si a variabilelor sociale (acces la piete, facilitati de sanatate si educatie etc.). Datele din acest modul fac posibila distribuirea efectelor directe asupra diferitelor grupuri socio-economice.

A doua etapa cuprinde efecte indirecte de crestere a nivelului de bunastare concentrate pe imbunatatirea venitului gospodariilor, starii de sanatate si a statutului educatiei si a unui grad crescut de interactiune sociala si participare politica.

Prima etapa poate fi aplicata fara cea de-a doua, dar a doua are sens numai impreuna cu prima.

Colectarea de date

Modele experimentale trebuie sa fie stabilite inainte de interventie. Aceasta este o diferenta importanta fata de modelele cvasi-experimentale care incearca sa genereze grupuri de control in urma interventiei, cu ajutorul metodelor statistice si econometrice, ca de exemplu metoda de potrivire prin utilizarea scorurilor de inclinare, calcularea diferentelor duble sau utilizarea comparatiilor reflexive, generice sau comparatii umbra.

In cazul comparatiilor reflexive, participantii insisi furnizeaza informatiile de control comparandu-se inainte si dupa ce beneficiaza de aceasta interventie. In ceea ce priveste comparatiile generice, impactul interventiei asupra beneficiarilor este comparat cu norma stabilita pentru schimbarile obisnuite ce apar in randul populatiei tinta. Comparatiile umbra constau in parerea expertilor, administratorilor de program si/sau a participantilor selectati asupra a ceea ce este de asteptat in mod obisnuit pentru populatia tinta in comparatie cu rezultatele reale.

Modelul de evaluare propus se bazeaza in primul rand pe culegerea de date prin sondaj si pe analizele cantitative si calitative ale acestora. Acest lucru nu inseamna ca nu exista loc pentru metodele de evaluare participative sau calitative. Astfel de metode pot fi combinate cu un sistem pe baza de sondaje, in functie de necesitati. Metodele calitative, in mod obisnuit nu se bazeaza pe chestionare, ci mai degraba pe discutii deschise cu respondentii, focus grupuri formate din gospodarii selectate si interviuri cu respondenti cheie, cum ar fi conducatorii satului, profesorii de scoala, oficiali din sectorul sanatatii si cei asemenea.

Zona de control trebuie sa fie identica cu cea de tratament, cu exceptia interventiei. Abordarea practica va fi definirea zonei de influenta pentru a coincide cu entitatile administrative parcurse de sosea.

Grupul de tratament consta din comune selectate in mod aleatoriu dintr-o lista a tuturor comunelor cu propuneri de proiect in fiecare provincie. Comunele supuse controlului (comparatiei) sunt selectate dintr-o lista a celor ramase, fara propuneri de proiect, dar care se afla in acelasi district ca si cele supuse tratamentului.

Sondajul de referinta ar trebui sa fie finalizat inainte de inceperea construirii sau modernizarii soselei. Anumite lucrari de modernizare, ca densitatea crescuta a traficului sau imbunatatirea accesului la scoli, pot avea loc destul de rapid, dar efectele asupra ciclului recoltelor si veniturilor din mediul rural se pot materializa in cativa ani. Astfel, decizia trebuie luata in baza numarului de sondaje de urmarire ce trebuie sa fie efectuate si in ce interval de timp.

Daca nu exista resurse disponibile decat pentru un sondaj de urmarire, practica comuna este de a-l programa pe acesta la 2 sau 4 ani dupa cel de referinta. Daca sunt posibile, se recomanda runde multiple, intervale mai scurte, ca de exemplu, doi ani. Deoarece multe dintre activitatile ce trebuie observate sunt de natura sezoniera, va fi important de efectuat sondajul de referinta si pe cele de urmarire in acelasi moment al anului (evitand perioadele de varf ale activitatii economice, cum ar fi perioada insamantarilor sau a recoltei).

Urmatoarea lista de variabile reprezinta un punct de plecare pe baza caruia poate fi planificata culegerea de date pentru o anumita evaluare a soselelor. Datele de mai jos, pe langa variabilele date, pot fi colectate utilizand diferite chestionare.

Variabile de trafic

Densitatea traficului

Vehicule pe zi (pe tip de vehicul), frecventa serviciului de autobuze, frecventa serviciului de taxi.

Capacitatea soselei

Numarul de zile de drum inchis.

Taxe si costuri

Costurile operatiunilor cu vehicule, taxe pentru pasageri, procentajul incarcaturii cu marfa a camioanelor pe o anumita distanta, costul transportului de resurse agricole (seminte, fertilizatori), costul transportului produselor agricole.

Modele de transport

Numarul de calatorii efectuate in afara satului (pe scopuri), timpul necesar pentru a ajunge la destinatiile selectate (cel mai apropiat oras, piata, scoala, centru de sanatate, loc de munca), principalul mod de transport catre destinatiile selectate, numarul de pasageri in transportul public.

Detinerea de vehicule

Detinerea de vehicule motorizate (pe tip) si biciclete, tip de utilizare a vehiculelor detinute.

Accidente

Numarul accidentelor in trafic (raniri si decese).

Variabile ale veniturilor si cheltuielilor

Impactul asupra activitatilor agricole

Teren dedicat diferitelor culturi, cantitati de culturi produse, rezultatul culturilor cheie pe unitate de teren cultivat, cantitatea de recolta vanduta la piata, utilizarea fertilizatorilor, utilizarea echipamentului agricol (tractoare, masini), preturi pe piata locala a culturilor cheie, pretul pe unitate al contributiilor agricole, numarul de persoane (membrii ai gospodariei, altele) ce lucreaza la ferma, detinerea de animale.

Impactul asupra activitatilor non - agricole

Numarul de magazine din sat, detinerea de intreprinderi familiale non-agricole (pe tip), numarul de zile lucrate in afara fermei, modelul de angajare (la ferma, in afara fermei).

Modelul de venit

Compozitia veniturilor.

Modelul de cheltuieli

Modelul cheltuielilor gospodariei.

Piete

Distanta pana la piata, numarul de vanzatori/magazine in cea mai apropiata piata, numarul de produse disponibile la piata, numarul de vizite la piata in calitate de consumator si produsele cumparate, numarul de vizite la piata in calitate de producator si produsele vandute.

Preturi

Pretul produselor cheie comercializate, pretul terenului, pretul locuintelor.

Altele

Detinerea de teren, accesul la credite, numarul de emigranti, numarul de emigranti care se intorc, numarul de persoane/zile de angajare generate de constructia/intretinerea de sosele.

Variabile sociale

Educatie

Numarul de scoli primare din sat, rata de inscriere in invatamantul primar (pe sexe), rata de inscriere in invatamantul secundar (pe sexe), rata de abandon a invatamantului primar (pe sexe), distanta pana la cea mai apropiata scoala primara/secundara, calitatea scolilor:

• calificarea profesorilor;
• rata absenteismului profesorilor;
• disponibilitatea resurselor scolare.

Sanatate

Distanta pana la cel mai apropiat centru de sanatate/spital, numarul de vizite la facilitatile de sanatate (pe grupe de varsta/sexe), numarul de vizite la centrul de sanatate imposibil de efectuat din cauza starii drumurilor, zile de munca pierdute din cauza bolii, rata morbiditatii, rata imunizarii copiilor, femei insarcinate ce beneficiaza de ingrijire prenatala, calitatea facilitatilor de sanatate

• calificarile personalului medical;
• numarul de zile de prezenta;
• disponibilitatea medicamentelor si resurselor medicale;
• disponibilitatea paturilor de spital.

Interactiunea sociala

Numarul de vizite in cel mai apropiat oras/sat, numarul de vizite primite din partea prietenilor sau rudelor din alte sate sau orase, gospodarii care beneficiaza de sume de bani, participarea la evenimente sociale (nunti, festivaluri, inmormantari) care nu au loc in sat.

Participarea politica

Prezenta la intalniri publice care nu au loc in sat, numarul de vizite in sat efectuate de catre oficialii guvernamentali, utilizarea tribunalului/politiei, calitatea de membru al comunitatii sau organizatiilor politice, numarul de programe guvernamentale accesate, implicarea comunitatii in intretinerea soselei.

Lista variabilelor potentiale pentru o evaluare ex-post completa a politicii de investitii in constructia de sosele este lunga, iar proiectarea si administrarea chestionarelor reprezinta o sarcina complexa.

Metode de analiza a datelor

Pentru a evalua relatia cauzala intre variabile, modelele de regresiune trebuie estimate in ceea ce priveste comunitatile sau districtele/judetele. De aceasta este nevoie de un numar suficient de observatii la acest nivel atat in cadrul, cat si in afara proiectului, acele date, comunitati sau districte/judete existand sau putand fi derivate din datele la nivel de gospodarie. Tehnicile calitative sunt incorporate pentru a suplimenta constatarile cantitative.

Metoda diferentelor duble (Double-Differences Method) (utilizare Model 2)

Compararea comunitatilor, care au sosele, si a comunitatilor, care nu au sosele, genereaza prima dintre cele doua diferente necesare pentru aplicare metodei diferentelor duble. A doua diferenta va fi cea dintre situatiile pre- si post-proiect.

Aplicarea metodei diferentelor duble este descrisa mai jos, pe scurt. Mai intai se calculeaza valorile medii pentru toti indicatorii de rezultate ale politicii relevanti, Y pentru comunitatile din grupul de tratament si din grupul de control, atat pentru anul de referinta si anul de urmarire. Aceste valori sunt mentionate in urmatoarea matrice:

Diferenta de valori din coloana "Cu sosele" a matricei arata media schimbarilor din grupul de tratament. Diferenta din coloana "Fara sosele" prezinta media schimbarilor din grupul de control. Diferenta dintre media schimbarilor in grupul de tratament si cea din grupul de control reprezinta o estimare a impactului programului.

Impact program =

Deoarece comunitatile cu au conditii sociale complet egale, impactul programului in diferite comunitati poate depinde de diferite variabile. Pentru a lua in considerare aceste diferente, o abordare regresiva poate fi indicata.

Sa consideram t =1,2 unde 1 se refera la perioada pre-sosea si 2 se refera la perioada post-sosea. Atunci, valoarea medie a oricarei variabile de rezultat Y a comunitatii c in perioada 2 (post-sosea) poate fi descrisa dupa cum urmeaza:

    (1),

unde:

R - variabila temporala indicand prezenta unei sosele. R=0 inainte de construirea soselei si R=1 dupa construirea acesteia

X - diferite serii de variabile incorporand caracteristicile gospodariilor si ale comunitatii,

u - eroare. Pot fi elemente variabile de timp (e) si invariabile de timp (f), pentru t = 1,2

In perioada de baza, ecuatia este (2),

unde R=0 in perioada de baza pre-proiect

Luand diferenta dintre (1) si (2)

(3)

Aceasta ecuatie regreseaza schimbarea unei anumite variabile de rezultat determinata de prezenta unei sosele si schimbarea altor variabile explicatorii. Estimarea ecuatiei (3) prin metoda celor mai mici patrate, va avea drept rezultat o estimare nedeviata b a impactului proiectului construirii de sosele asupra variabilei de rezultat care a fost analizata.

In cazul in care ar exista o deviatie de selectie din cauza unor variabile neobservate, aceasta va disparea datorita procesului de diferentiere, cel putin daca astfel de deviatii nu depind de timp.

Repetarea regresiei pentru fiecare set de variabile mentionat inainte (trafic, venit si cheltuieli si social), evaluatorii vor obtine diferite valori ale b (coeficientii de regresie) si pot estima impactul socio-economic al fiecarei variabile asupra comunitatii.