EVALUAREA

Obiective specifice:

La sfarsitul modulului cursantii vor fi capabili:

- sa formuleze intrebarile specifice evaluarii;

- sa raspunda la intrebarile specifice evaluarii;

- sa defineasca tipurile de evaluare;

- sa cunoasca nivelele de evaluare;

- sa descrie functiile evaluarii;

- sa administreaze instrumente de evaluare in vederea asigurarii calitatii procesului didactic.

Competente specifice:

- cunoaste terminologia specifica conceptului de evaluare;

- elaboreaza instrumente de evaluare corespunzatoare secventelor de lectii

- interpreteaza feed-back-ul obtinut si il foloseste pentru adecvarea programului de formare la nevoile grupului tinta;

- demonstreaza competente reale de autoevaluare, interevaluare si de evaluare

- transfera cunostintele si abilitatile dezvoltate in timpul sedintelor de formare in predarea propriei discipline

Intrebari de provocare

De ce evaluam?

Ce evaluam?

Cui foloseste evaluarea?

Pe cine evaluam?

Cand evaluam?

Cum evaluam?

Evaluarea reprezinta totalitatea activitatilor prin care se colecteaza, organizeaza si implementeaza datele obtinute in urma alicarii unor instrumente de evaluare in scopul emiterii unei judecati de valoare pe care se bazeaza o anumita decizie in plan educational.

Concepte cheie:

• Evaluare vs. Examinare
• Evaluare vs.Monitorizare
• Eficienta investitiilor in formare
• Impactul - valoarea adaugata
• Metode de evaluare; Sesiuni de evaluare/examinare, demonstrare de competente 
• Instrumente de evaluare
• Tipuri de evaluare: interna si externa
• Nivele de evaluare: dupa Kirckpatrick
• Standarde
• Fisa de evaluare sintetica a formatorului: Criterii de evaluare, Nivel de performanta, Indicatori
• Evaluare continua: Criterii de evaluare si bareme de notare
• Autoevaluarea
• Feed-back in urma prelucrarii rezultatelor evaluarii

Continuturi tematice:

Evaluare vs. Examinare; Evaluare vs.Monitorizare;

"Pentru conceptele de evaluare / examinare / monitorizare noi avem un singur cuvant: controlul "    Sylvia Uzbeg

Dificultatile majore in administrarea unui proces corect de evaluare-examinare deriva din acceptiunea consacrata a acestor termeni, intarite de practici curente gresite, formale.

Delimitarile conceptuale sunt necesare pentru a clarifica rolurile complementare ale acestor procese precum si sinergia acestora. In acest sens notiunile trebuiesc analizate separat si apoi integrate intr-o abordare holistica.

Care sunt aspectele supuse unui proces de examinare?

Nevoi de formare;

Competente pe care le au cursantii (validarea achizitiilor formale si non-formale)

Examinare ca parte a procesului de selectie

Examinarea pentru a demonstra efectivitatea procesului de formare (este doar o parte a procesului de evaluare, care nu are voie sa se reduca doar la acest aspect !!!)

Examinarea competentelor dobandite ca rezultat al formarii ( valoarea adaugata a cursului, cresterea realizata)

Care sunt aspectele supuse unui proces de evaluare?

Evaluarea eficientei investitiilor in formare - raportul dintre castigurile organizationale / personale in raport cu investitia realizata (dificil de realizat deoarece investitiile prin formare vizeaza beneficii pe termen lung, de sustenabilitate, dificil de masurat cu acuratete la finalul trainingului, si apoi mai tarziu dificil de demonstrat efectul exclusiv al trainingului la cresterea realizata, izoland de celelalte influente)

Estimari cat se poate de masurabile si observabile pentru impactul ulterior; impact posibil si credibil; necesar a fi insotite de masuri de asigurare a beneficiilor ulterioare.

Evaluare a valorii adaugate la nivel de individ/grup/organizatie

Costurile evaluarii: avantaje si dezavantaje ale celor doua tipuri de evaluari:

In contextul definit printr-o serie de incertitudini Ce se poate masura?

Nivele de evaluare: dupa Kirckpatrick

Nivel 1.- REACTII - opinii ale participantilor referitor la materiale, facilitati, metode, continuturi, formatori, durata, relevanta programului, climat, parteneri etc. Ce parere aveti? Ce ganditi despre? Cum va simtiti? Apreciat:. pe o scala..! Estimati in procente..!

Nivel 2.-ACHIZITII - cognitive, atitudinale, comportamentale, elemente de competenta, competente, etc. In ce masura au fost atinse obiectivele de invatare ale programului? (Standarde profesionale - in raport cu standarde ocupationale)

Nivel 3. - COMPORTAMENTE - modificari in performante demonstrate la locul de munca, care se datoresc programului de formare. Ce va face altfel, diferit incepand de maine? (dupa ce se intoarce la locul de munca de la formare?)

Nivel 4. - REZULTATE - efecte observabile si masurabile la nivel de organizatie, schimbari comportamentale (fata de clienti, in cadrul organizatiei, relatii interpersonale, organizare departamentala etc)

Evaluarea reactiilor:

Evaluarea gradului de satisfactie a cursantilor

Ofera oportunitatea cursantilor de a-si exprima sentimentele, punctele de vedere despre curs si dezvoltare

Ofera feedback formatorilor despre atmosfera cursului

Este un mecanism de control

Ofera posibilitatea unui transfer al achizitiilor formarii in practica la locul de munca

Ofera posibilitatea ameliorarii facilitatilor de training

Evaluarea bazata pe performanta

Scopul evaluarii bazate pe performanta consta in asigurarea ca, cursantul, care parcurge un program de pregatire, va fi capabil sa aduca la indeplinire sarcinile la nivelul solicitat de locul de munca. Un element foarte important al acestei abordari consta in pregatirea obiectivelor de performanta, care formuleaza ceea ce trebuie sa realizeze cursantul, conditiile ce vor fi prezente in momentul realizarii cursantului precum si standardele sau criteriile care trebuie obtinute. Prin urmare, obiectivele in sine furnizeaza instructorului un instrument util pentru planificarea si elaborarea modalitatii de evaluare a cursantilor. Bazandu-se pe aceste obiective, instructorul elaboreaza un set de instrumente si proceduri de evaluare, care indica daca cursantul a atins standardul cerut.

Examinarile in functie de norma si criterii

O examinare in functie de norma are ca scop masurarea si compararea performanta unui cursant cu performanta altuia. Acest sistem utilizeaza ideea de repartizare corespunzatoare si diagrama conforma de distribuire. Notele sunt acordate in mare masura pe baza gradarii cursantului in clasa. De exemplu, un test de realizare specific vizeaza stabilirea pozitiei cursantului - slaba, medie sau avansata - in raport cu altii care au dat testul. Aici rezultatele unui grup sunt utilizate pentru a stabili "norma'.

Principiul de baza al examinarii bazate pe criterii este acela prin care cursantilor li se solicita sa invete obiective specifice. Nivelul performantei cursantului nu este comparat atat de mult cu performanta altora, dar este evaluat in comparatie cu standarde rigide care trebuie realizate. Deoarece diferiti cursanti au nevoie de intervale variate de timp pentru stapanirea obiectivelor, daca un cursant nu este capabil sa indeplineasca standardul acceptabil de performanta, li se permite sa continue activitatea pana cand acestia ating nivelul de performanta asteptat. Un program de instructie bazat pe performanta sau competenta nu elimina diferentele individuale in continutul invatarii. In timp ce se asteapta ca toti cursantii sa stapaneasca obiectivele de baza, alti cursanti vor invata mai mult decat este necesar pentru o stapanire de baza a cunostintelor.

Scopul instructiei bazata pe performanta nu este de a diferentia cursantii, ci de a spori performanta fiecarui cursant la nivelul specificat ca acceptabil de catre obiective. Scopul principal al examinarii bazate pe criterii este de a determina momentul in care cursantul individual a obtinut un nivel acceptabil de performanta. Astfel, examinarile bazate pe criterii formeaza legatura necesara intre programul de pregatire si cerintele locului de munca. Prin intermediul examinarii bazate pe criterii, instructorul este capabil sa determine daca a fost obtinut acest nivel de performanta, in consecinta, abordarea bazata pe performanta in privinta instructiei, evidentiaza mai mult evaluarea bazata pe criterii decat evaluarea bazata pe norme.

CARACTERISTICILE UNEI EXAMINARI CORESPUNZATOARE

l. Validitate - Validitatea unei examinari reprezinta masura in care aceasta verifica intr-adevar ceea ce a fost destinat verificarii. Validitatea depinde de gradul similaritatii intre metoda de examinare si performanta ca masurare. De exemplu, reprezinta notele la o examinare scrisa ale unei persoane, o masura valida de cat de bine poate fi realizata o abilitate.

Evident, daca o aptitudine este masurata, un test practic este mult mai intemeiat decat o examinare scrisa. Examinarile bazate pe criterii sunt usor de validat deoarece cunostintele, aptitudinile si atitudinile care vor fi masurate au fost deja stabilite in mod clar prin intermediul obiectivelor de performanta precizate in cadrul Ghidurilor de Studii.

2. Siguranta. Siguranta unei examinari reprezinta abilitatea acesteia de a masura realizarile cu exactitate si consecventa. Reflecta rezultatele, cu exactitate, cunostintele, aptitudinile si atitudinile cursantului ? In instruirea bazata pe performanta, obiectivele precizeaza nivelul performantei ce va fi evaluat, conditiile actuale si standardele ce vor fi obtinute. Standardele obiectivului vor fi realiste si bazate pe nivelul de performanta cerut pentru persoanele care vor sa detina o anumita ocupatie. Prin urmare, in ceea ce priveste siguranta, standardele vor fi specificate asa incat instructorii pot aprecia performanta fiecarui cursant dupa aceeasi metoda.

De exemplu:

Descrie standardul in mod clar care este nivelul de performanta
la care cursantul trebuie sa ajunga ?

Este clar definit nivelul minim de performanta acceptabil ?

Este definita calitatea rezultatelor si serviciilor activitatii in ceea
ce priveste standardele de acuratete, desavarsire, format, secventa, claritate, abilitate, indulgente sau numar de greseli
permise ?

Sunt clar definite standardele de timp in termeni de durata a
realizarii, viteza de realizare sau timp total alocat pentru
realizare.

3.Obiectivitate. Obiectivitatea unei examinari presupune ca opinia personala a instructorului sa nu afecteze evaluarea. O examinare trebuie sa fie astfel incat mai miilti instructori sa o poata conduce si sa ajunga la aceleasi rezultate. Opinia personala a instructorilor nu trebuie sa intervina in ceea ce priveste valoarea raspunsurilor, standardelor, etc. Altfel spus, cu cat este mai obiectiva evaluarea cu atat mai mare este temeinicia acesteia. Majoritatea examinarilor bazate pe criterii sunt obiective in sensul ca instructorul este capabil sa identifice cursantii care indeplinesc obiectivele de performanta si pe aceia care nu le indeplinesc in conformitate cu standardele stabilite. Datorita specificitatii acestor standarde exista un punct de plecare comun obiectiv care asigura temeinicia examinarii.

4.Caracterul cuprinzator. Examinarile sunt stabilite pentru a furniza o apreciere valida a realizarilor cursantului, in mod clar, cu cat instructia relevanta ce poate fi examinata are mai multe etape, cu atat mai cuprinzatoare este examinarea. O examinarea bazata pe criterii, bazandu-se pe standardele de performanta stabilite, are ca scop determinarea daca un cursant a indeplinit sau nu toate criteriile stabilite ale cursului. Prin urmare, examinarea poate furniza o apreciere cuprinzatoare a nivelului atins de cursant, in cadrul limitelor rezultatelor procesului de invatare.

Evaluarile procesului sau a rezultatului

Multi instructori care sunt la inceput au dificultati atunci cand se decid pentru prima data asupra modalitatii de evaluare a performantelor pe care ei le asteapta. O abordare care tinde sa dea rezultate este metoda de apreciere a procesului-rezultatului. Instructia bazata pe performante recurge la evaluarea procesului si rezultatului. Evaluarea procesului sau rezultatului masoara abilitatea cursantului de a folosi cunostintele, aptitudinile si atitudinile pe care ei le-au deprins. Acestea solicita cursantului sa realizeze practic sarcinile, nu numai sa discute sau sa scrie despre indeplinirea acestora.

Evaluarea procesului se axeaza pe actiunile sau operatiunile cursantului, privite ca indicatori ai gradului de realizare. Testele referitoare la proces sunt utilizate atunci cand instructorul verifica daca cursantul poate realiza operatiunile si procesele corecte. In mod specific, evaluarea procesului este adecvata in momentele cand:

Se identifica cauzele de esec (de ex. remedierea defectiunilor);

La sfarsitul procesului nu se obtine nici un rezultat/produs (de ex. verificarea
intretinerii);

Nu se poate distinge procesul de produs/rezultat (de ex. proceduri de diagnosticare);

Nu poate fi masurat un produs/rezultat datorita masurilor de siguranta sau altor constrangeri (de ex. inlocuirea unui motor de automobil).

Cel mai des intalnit format de evaluare a procesului este lista de verificare a performantelor.O lista de verificare este un instrument de consemnare daca o caracteristica este prezenta sau nu, sau daca s-a realizat sau nu o anumita conduita. Aceasta presupune o apreciere de tip da/nu. Spre deosebire de scala de evaluare, lista de verificare poate avea numai raspunsuri cu da sau nu. Lista de verificare include numai criteriile care sunt esentiale pentru indeplinirea cu succes a competentei. Instructorul noteaza fiecare element pe lista de verificare pentru a indica daca acesta a fost realizat sau nu in mod satisfacator.

INSTRUMENTE DE EVALUARE

Testarea teoriei si cunostintelor

Majoritatea obiectivelor de performanta impun un anumit grad de teorie si cunostinte generale si, adesea, cea mai eficienta modalitatea de testare este reprezentata de utilizarea examinarilor scrise. De exemplu, cu toate ca este posibil sa observi un cursant indeplinind o competenta, aceasta este o metoda atat ineficienta cat si incompleta de evaluare a cunostintelor terminologiei ale cursantului. De aceea, instructorul trebuie sa aleaga tipul instrumentului de testare bazandu-se pe nivelul de cunostinte pe care un cursant trebuie sa le acumuleze. Examinarea utilizata pentru a testa daca cursantul intelege definitiile de baza, va fi diferita de cea utilizata pentru a evalua abilitatea cursantului de formulare a principiilor sau conceptelor pentru rezolvarea de probleme specifice. De aceea, decizia privind care tip de test va fi utilizat, va depinde de caracteristicile rezultatului procesului de invatare preferat.

Metode scrise de evaluare

Examinari subiective

Examinarile subiective sunt adesea denumite "lucrari scrise' datorita formei scrise a raspunsurilor. In cadrul examinarii scrise, cursantilor li se solicita sa realizeze o comparatie, sa redacteze o prezentare, sau sa explice diferite chestiuni care au fost predate. De exemplu, examinarile scrise sunt utilizate adesea cand:

Rezultatul procesului de invatare presupune argumentare, exprimare clara sau aplicare a cunostintelor, decat o simpla rememorare efectiva de informatii.

Se apreciaza abilitatea cursantului de sistematizare si exprimare a ideilor.

Sa apreciaza intelegerea completa a anumitor puncte de predare.

Examinarile subiective ofera cursantului o nota bazata pe opinia subiectiva a instructorului. Acestea se refera la subiectele pe care studentul trebuie sa le dezvolte. Avantajul lor este ca sunt usor de elaborat astfel incat sa ceara studentilor sa-si demonstreze abilitatea de a-si organiza si exprima gandurile si de a reflecta la un anumit subiect. Dezavantajele lor sunt ca sunt mai dificil de evaluat corect si, deoarece scrierea raspunsurilor la intrebari necesita timp, o examinare va acoperi doar un numar limitat de subiecte. Cel mai important dezavantaj al examinarii scrise se gaseste in faptul ca notarea devine subiectiva. Daca scopul evaluarii este sa verifice exact cunostintele studentului, subiectivitatea evaluarii prin lucrare scrisa o transforma deseori intr-o modalitate de evaluare nepotrivita si nesatisfacatoare.

Liniile directoare pentru elaborarea de examinari subiective, de aceea, se bazeaza pe nevoia de a le face posibile obiective.

Elaborati intrebarile concis. Spuneti, "Explicati (a) diferenta dintre curentul alternativ si cel direct; (b) avantajul fiecaruia; si, (c) folosinta principala a fiecaruia', mai degraba decat "Discutati despre curentul alternativ si cel direct'.

Puneti intrebari care sa necesite motivarea si aplicarea cunostintelor pentru a raspunde, mai degraba decat intrebari care evalueaza reamintirea efectiva, intrebati, " Care a fost efectul practic al deciziei de folosire a evaluarilor pe baza unor criterii?' mai degraba decat "Numiti trei caracteristici ale evaluarii pe baza criteriilor.'

Identificati cat de dezvoltat doriti sa fie raspunsul la intrebari. De exemplu, " in 50 de cuvinte sau mai putin.'

Verificati atent intrebarile pentru a avea a exprimare. Nu spuneti, "Cum puteti determina daca, cauza din care un motor nu porneste este o aprindere defectuoasa?' daca va referiti la, "Care este modalitatea recomandata de a determina daca, cauza pentru care un motor nu porneste se datoreaza unei aprinderi defectuoase?' Aceste doua exprimari nu sunt neaparat la fel!

Despartiti intrebarile care necesita raspunsuri mai lungi in mai multe parti, Ia fiecare se poate raspunde scurt. Prin aceasta se va evita permiterea structurii corecte a cuvantului din raspuns facand notarea mai dificila.

Inaintea notarii lucrarilor, elaborati raspunsuri clare, exprimand ceea ce ar trebui sa contina un raspuns pentru a lua punctajul maxim. Prin verificarea raspunsurilor cu aceasta grila in loc de impresiile fiecaruia, lucrarea poate fi notata corect.

Examinari obiective

Printre formele de examinare obiective folosite pe scara larga se afla si: (i) forma cu mai multe optiuni; (ii) forma cu optiune alternative; (iii) forma de combinare; si, (iv) forma cu raspuns scurt, in afara libertatii datorate influentei preferintelor personale si gandirii individuale a instructorilor, examinarile prin raspuns scurt au avantajul de a acoperi complet obiectivele de invatat. Studentii pot raspunde la aceste examinari intr-un timp mult mai scurt decat ar necesita raspunsul la o examinare scrisa, astfel o mare parte a materialului poate fi verificata, spre deosebire de partea redusa a acestuia care poate fi verificata printr-o examinare scrisa. Cu toate ca rezultatele examinarii obiective este demn de incredere, aceasta nu garanteaza obtinerea de rezultate valide. Nu conteaza cat de precis este rezultatul, deoarece nu indica cunostintele studentului asupra unei anume parti a materiei, daca rezultatul este derivat din intrebari care nu masoara nivelul cunostintelor referitoare la acel subiect. Din aceasta cauza, testele sunt susceptibile de a da erori din care rezulta rezultate eronate. Pentru a evita erorile care duc la examinari care verifica un anumit lucru, in conditiile in care se cere verificarea validitatii unui alt lucru, examinarile trebuie sa verifice insusirea de catre student a standardelor de performanta precizate in obiective.

Dificultatile unei evaluari:- care nu pot fi eliminate, doar constientizate, si percepute ca limite ale procesului de evaluare.

Aceste dificultati permit stabilirea cat mai corecta a ceea ce SE POATE masura. In acest sens putem sa nu ne propunem sa masuram ceea ce este imposibil. Este singura modalitate de a face evaluarea eficienta. (Peter Drucker)

Masurarea exacta a nivelului de competente initial (costuri nejustificat de mari pentru a masurare exacta)- pornim cu o incertitudine acceptata;

Masurarea finala a cresterii realizate este dificila- mai ales pentru traininguri de lunga durata (din cauza influentelor externe pe parcurs) iar la cele de scurta durata influentele nu sunt consolidate si atunci ceea ce se masoara este sub efectele reale.

Strategii de formare utilizate:

Crearea unui mediu ambiental atractiv

Formatorul va face parte din grup si nu va aborda o atitudine de superioritate;

Se va acorda sprijin cursantilor pe tot parcusul sesiunilor;

Feed-back-ul va fi bilateral;

Se va folosi o metodologie interactiva;

Nu vor lipsi jocurile de rol si exercitiile de energizare.

Criterii de evaluare a activitatii practice a cursantilor:

Chestionare;

Autoevaluare bilaterala si individuala;

Turul galeriei;

Aprecieri ale cursului din partea beneficiarilor acestuia.

Resurse ale cursului de formare:

Fise;

Prezentari power point

Chestronare;

Materiale realizate de cursanti, anterior.

Resurse didactico-materiale disponibile

Flipp-chart;

Lap-top;

Videoproiector;

Markere;

Tabla si creta

Carti,

Brosuri, reviste.

grupa nu va avea mai mult de 25 de cursanti