Programul pentru Internet de banda larga in scolile din Irlanda

(Adaptat dupa Raportul de evaluare al Programului pentru Internet de Banda Larga in Scoli,
Departamentul pentru Educatie si Stiinta, Irlanda 2009)

De ce acest exemplu?

Evaluarea programului pentru Internet de banda larga in scoli arata oportunitatea de a ajusta colectarea de date si esantionarea conform timpului si resurselor bugetare disponibile. Deoarece scopul acestei evaluari a fost de a evalua exactitatea (masurand eficienta si eficacitatea) procesului de livrare, si de a stabili "legatura slaba" din cadrul acestuia, acesta constituie un exemplu de evaluare formativa.

Informatii generale

In 2005, Ministerul Comunicatiilor, Resurselor Marine si Naturale si Ministerul pentru Educatie si Stiinta din Irlanda au pornit un proiect, ce prevedea ca fiecare scoala primara si secundara din tara sa fie conectata la reteaua de internet de banda larga pana la finele anului 2006. Ministerele au alocat impreuna 18 milioane Euro pentru instalarea de internet de banda larga in toate cele 4.100 scoli primare si secundare. Se astepta ca aceasta conectivitate de banda larga sa furnizeze viteze de descarcare mult mai rapide pentru continutul educational, sa ofere un mai mare acces la aplicatiile multimedia si sa ofere posibilitatea dezvoltarii unei retele centrale de internet pentru scoli impreuna cu helpdesk-urile asociate pentru siguranta si securitate.

Programul pentru Internet de Banda Larga in Scoli cuprinde trei elemente - o legatura locala la scoli, o retea nationala de banda larga si un Birou National de Service. Conectivitatea scolilor la internet este asigurata prin intermediul unei Retele Nationale de Banda Larga, dezvoltata de HEAnet. Canalele HEAnet controleaza accesul la banda larga al scolilor si furnizeaza servicii gestionate central pentru scoli, cum ar fi: securitate, filtrare anti-spam, anti-virus si de continut. Un birou de Service a fost infiintat pentru a actiona in calitate de interfata intre retea, furnizorii de servicii si scoli in faza de conectare si pentru a furniza scolilor sfaturi si asistenta in mod continuu.

Intrebari de evaluare

Obiectivul cheie al evaluarii a fost acela de a furniza o analiza independenta a progresului si dezvoltarilor din cadrul programului pana la data evaluarii, si de asemenea pe baza acesteia sa se faca recomandarile adecvate pentru ajustarea programului. Evaluatorul a trebuit sa evalueze eficienta si eficacitatea, cu accent special asupra orarului, sustinerii conform tintelor, gradul de completare, eficienta costurilor si gradul de adecvare fata de scop, ale urmatoarelor elemente:

• disponibilitatea serviciilor de conectivitate si router;
• tipul tehnologiei/largimii benzii furnizate;
• infiintare si functionarea Biroului National de Service;
• performanta furnizorilor de conectivitate contractati.

O alta sarcina a evaluatorului a fost de a aprecia impactul schimbarilor ca rezultat a furnizarii conectivitatii in banda larga si a face recomandarile relevante.

Planificarea evaluarii

Deoarece Ministerul Educatiei si Stiintei a dorit sa aiba o evaluare independenta intr-o perioada de timp relativ scurta, s-a decis externalizarea evaluarii in cadrul unei licitatii. In linii mari, evaluarea trebuia sa acopere implementarea si functionarea programului si a eficacitatii percepute a acestuia. Revizuirea s-a concentrat asupra a patru arii cheie:

• experienta serviciilor de banda larga in scolile primare si secundare si infrastructura existenta in scoli;
• conectivitatea de banda larga, achizitionarea si furnizarea, procese si proceduri;
• evaluarea tehnologiei si serviciilor;
• evaluarea functionarii si intretinerii.

Metodologia de evaluare a fost aleasa pentru a permite evaluarea nivelului de satisfactie a scolilor fata de serviciile de banda larga (livrarea serviciului, largimea benzii, tehnologia utilizata), calitatea serviciilor Biroului de Service, impactul serviciilor de banda larga asupra activitatilor si infrastructurii scolii. Pentru a evalua ariile de mai sus, a fost selectata o combinatie de metode cantitative si calitative: sondaje si vizite la fata locului (combinand interviuri si examinari la fata locului).

Colectarea datelor

Pentru a colecta informatiile necesare pentru a raspunde la intrebarile de evaluare de mai sus, a fost planificat un sondaj si vizite la fata locului pentru scolile primare si post-primare.

Pentru a selecta esantionul de scoli pentru evaluare, s-a utilizat o abordare de esantionare cu mai multe etape. A implicat cateva etape de aplicare a urmatoarelor variabile relevante pentru caracteristicile programului:

• I etapa - gruparea scolilor in primare si secundare;
• a II-a etapa - in cadrul acestor grupuri, gruparea scolilor dupa marime: mari, medii si mici;
• a III-a etapa - continuarea gruparii scolilor in categoriile urbane si rurale;
• a IV-a etapa - gruparea scolilor conform tehnologiilor majore de livrare.

Ca rezultat al esantionarii, 59 de scoli cu urmatoarele tehnologii de livrare au fost selectate:

Nu s-a dorit ca esantionul sa produca rezultate semnificative din punct de vedere statistic la nivel inalt de incredere din cauza costurilor procesului de esantionare (avand in vedere bugetul si presiunea timpului in ceea ce priveste evaluarea) si multiplele variabile care definesc profilul unei scoli si care fac dificil procesul de definire a unui esantion util din punct de vedere statistic.

Abordarea adoptata a fost aceea de a selecta scolile ce acopera diferitele profiluri scolare (pentru a reduce deviatia) si de a utiliza un chestionar si intervievatori cu experienta pentru a extrage datele in urma sondajului. Dovezile rezultate din sondaj au fost indeajuns de consistente pentru a furniza indicatori puternici in ceea ce priveste principalele probleme, iar cresterea dimensiunii esantionului ar putea ingusta amplitudinea fara a schimba rezultatele cheie.

S-a realizat un sondaj prin trimiterea de chestionare scolilor din cadrul esantionului inainte ca interviul sa aiba loc. Respondentii au trebuit sa raspunda la intrebari referitoare la furnizarea de servicii si sa puncteze arii specifice ale experientei proprii in ceea ce priveste serviciul in banda larga livrat scolii.

Au fost organizate vizite pe teren in toate scolile participante la sondaj, implicand interviuri si inspectii la fata locului. Respondentul, in cazul interviului, era, de obicei, directorul scolii si, uneori, profesorul cel mai implicat in mediul TIC al scolii. In timpul interviurilor au fost clarificate experientele scolilor cu furnizare de servicii in banda larga, problemele intampinate si actiunile de urmarire ale aspectelor ramase in urma analizei chestionarelor.

In timpul inspectiilor la fata locului a fost evaluat gradul de adecvare al fiecarei retele scolare pentru a suplimenta accesul in banda larga furnizat si sprijinul disponibil in ceea ce priveste intregul mediu TIC din scoala. Acest proces de revizuire nu a reprezentat un audit la scara intreaga a retelei. Opinia formata s-a bazat pe simple inspectii vizuale ale componentelor retelei, dulapurilor, cablare IT si  pe abilitatea retelei de a profita la maximum de serviciul in banda larga si de livrarea de incredere a aplicatiilor pentru acesta. Intentia nu a fost de a identifica o anume scoala sau reteaua sa interna. Pentru a ilustra existenta anumitor aspecte, s-au pus la dispozitie fotografii.

Analiza datelor

Informatiile colectate in timpul sondajului si vizitelor la fata locului (interviuri si inspectii pe teren) au fost analizate utilizand analiza de continut. Pe baza constatarilor, au fost identificate concluziile generale si impacturile asupra programului.

Concluzii

Etapa de monitorizare si mai ales de evaluare intermediara ex-post a politicilor publice este adesea etapa cel mai putin dezvoltata din cadrul practicilor privind politicile publice, nu in ultimul rand deoarece este ultima etapa din ciclul unei politici publice. In tarile unde exista procese de reforma a politicilor publice adesea focalizarea este asupra etapei de dezvoltare a politicii si evaluarii ex-ante. Scopurile si rezultatele pozitive ale evaluarilor intermediare si ex-post sunt foarte des subestimate.

Acest Manual serveste drept cadru in care se desfasoara procesul de evaluare a politicilor publice. Procesul, metodele si instrumentele descrise in acest Manual sunt folosite pe larg in multe organizatii si tari din intreaga lume, dar aplicarea acestora poate necesita cunostinte, abilitati si uneori asistenta externa mai specializate. Nivelul de cunostinte si abilitati necesar pentru a desfasura evaluari depinde de scopurile si locul evaluarii (interna sau externalizata).

In cadrul procesului de evaluare va exista intotdeauna un rol important atribuit functionarilor publici si structurilor de conducere. Factorii decizionali si managerii seniori pot solicita si pot conduce evaluarea. Managerii de program si personalul implicat pot desfasura procesul de evaluare ei insisi sau pot lucra in echipe de evaluare pentru a obtine cele mai bune rezultate prin combinarea cunostintelor si informatiilor lor privind politica cu abilitatile si expertiza specializata a evaluatorilor externi.

Autorii prezentului Manual considera ca acesta serveste unui dublu scop. Va reprezenta baza si punctul de pornire pentru evaluarile interne la o scara mai redusa si, in acelasi timp, va furniza cadrul in baza caruia managerii si personalul programului isi vor identifica rolurile si sarcinile de lucru in conditiile evaluarilor externalizate. Acestia vor sti cum sa interactioneze cu evaluatorii externi care ii sprijina in procesul de selectare a abordarii de evaluare si vor putea judeca calitatea rezultatelor furnizate de evaluatorii externi.

Autorii considera ca acest Manual va creste nivelul de interes al acelor cititori care sunt pe cale de a se angaja in procese de evaluare si va furniza o abordare unitara pentru persoanele care au deja experienta in acest domeniu.