Retele neuronale cu invatare nesupravegheata de tip kohonen

RETELE NEURONALE CU INVATARE NESUPRAVEGHEATA DE TIP KOHONEN

Utilizarea RNA pentru rezolvarea unor probleme practice necesita parcurgerea, unei etape esentiale - etapa de invatare sau antrenare. In majoritatea cazurilor, antrenarea unei RNA consta in determinarea ponderilor conexiunilor sinaptice dintre neuroni w_ij si a pragurilor fiecarui neuron q_i , care asigura performantele optime ale retelei, in sensul in care, pentru un set de date aplicat la intrare, reteaua ofera la iesire raspunsul cel mai apropiat de solutia exacta a problemei studiate. Din punctul de vedere al metodei de antrenare, retelele neuronale pot fi clasificate in doua mari categorii: retele cu antrenare supravegheata si retele neuronale cu antrenare nesupravegheata.

Perceptronul multistrat este cea mai reprezentativa si des utilizata retea neuronala cu antrenare supravegheata. Din a doua categorie, fac parte retelele Hopfield si Kohonen.

Retele neuronale artificiale de tip Kohonen

Retelele SOFM - harti de trasaturi cu auto-organizare (in engleza Self-Organizing Feature Maps) au fost inspirate dupa organizarea creierului uman, in care relatii spatiale sau de alt tip intre stimuli corespund unor relatii spatiale intre neuroni, iar cortexul cerebral are forma unei panze subtiri care infasoara suprafata creierului, realizand prin modul de dispunere a centrilor nervosi o proiectie deformata a intregului corp.

Pe baza acestor observatii, Kohonen a construit retelele SOFM, ce au fost concepute pentru invatarea nesupravegheata, deseori numita si auto-organizare. Daca in cazul invatarii supravegheate setul de antrenare continea perechi intrare-iesire dorita, iar reteaua neuronala trebuia sa realizeze maparea intrarilor catre iesiri, la invatarea prin auto-organizare setul de antrenare contine numai marimi de intrare, iar reteaua SOFM incearca sa invete structura datelor de intrare, chiar si in cazul inexistentei vreunei informatii despre aceasta structura. Reteaua invata singura, fara a i se indica raspunsul corect pentru un model prezentat la intrare. Altfel spus, ea descopera trasaturi caracteristice ale datelor de intrare, fara a folosi valori cunoscute sau dorite la iesire. Informatiile despre aceste trasaturi caracteristice se creeaza in procesul de invatare si sunt memorate in ponderile conexiunilor sinaptice, sub forma unor asa-numite prototipuri. In orice moment, iesirile retelei descriu relatia dintre intrarea curenta si prototipurile memorate in retea.

In studiul de caz realizat, s-a folosit principiul invatarii competitive, care extrage din datele de intrare un set de prototipuri sau vectori centru asociati unor zone din spatiul datelor de intrare. Fiecare prototip este memorat ca un vector de ponderi. Numarul prototipurilor este independent de dimensiunea spatiului de intrare. O harta de trasaturi se obtine daca la neuronii dintr-o retea cu invatare competitiva se adauga o forma de organizare topologica

Reteaua SOFM foloseste dispunerea neuronilor in nodurile unei grile, de obicei, dar nu obligatoriu, bi-dimensionala. In aceasta lucrare, s-a folosit o grila unidimensionala (Fig.1). Un neuron din grila-suport este asociat unei clase, fiind numit neuron-clasa. Fiecare dintre acestia este caracterizat de pozitia sa in grila si un anumit prototip.

Fig. 1 Structura retelei Kohonen cu grila unidimensionala.

De fiecare data cand retelei i se prezinta un model de intrare, se calculeaza distantele euclidiene intre modelul respectiv si prototipurile neuronilor-clasa. Dintre aceste distante se alege cea cu valoare minima, iar neuronul-clasa asociat acesteia va purta numele de neuron castigator. Dupa prezentarea unui numar de modele de intrare, reteaua incearca sa proiecteze grila-suport in spatiul datelor de intrare, astfel incat fiecare vector de intrare sa fie cat mai apropiat de un anumit prototip, iar proiectia grilei sa fie cat mai putin deformata.

Principala particularitate a retelelor SOFM este aceea ca adaptarea ponderilor prototipurilor nu are loc numai pentru neuronul-clasa castigator, ci si pentru neuronii-clasa aflati in apropierea sa. Vecinatatea neuronului clasa c, care il include intotdeauna si este centrata pe acesta, este definita ca fiind multimea neuronilor-clasa dispusi in nodurile grilei-suport la o distanta fata de neuronul c mai mica decat o anumita valoare-prag.

Intr-o retea SOFM, toti neuronii-clasa concureaza pentru dreptul de a invata. Fiecare vector din setul de antrenare, notat x^(m), este comparat cu prototipurile w_c asociate neuronilor clasa. Neuronul castigator este acela pentru care distanta ||x^(m)-w_c|| este minima. Dupa stabilirea neuronului castigator c, acesta isi adapteaza prototipul alaturi de toti neuronii-clasa aflati in vecinatatea sa, notata V_c. In aplicatia realizata, s-au folosit vecinatati continue, ce sunt caracterizate de o functie de forma gaussiana:

(1)

unde σ² este dispersia, care descrie imprastierea distributiei gaussiene, iar ρ_c este distanta dintre neuronul-clasa c si neuronul castigator c_cs, masurata prin diferenta dintre pozitiile celor doi neuroni pe grila-suport:

ρ_c = | P_c - P_cs | (2)

Vecinatatea neuronului castigator este definita de dispersia σ². Cu cat gradul de imprastiere pentru un neuron este mai mare, cu atat vecinatatea sa este mai larga. In cursul antrenarii retelei, vecinatatile neuronilor trebuie ingustate, pentru a se evita blocarea in minime locale. Initial, se porneste, in principiu, de la vecinatati foarte largi (practic, vecinatatea unui neuron cuprinde toti neuronii-clasa din retea). In prima etapa (ordonarea) are loc organizarea bruta a hartii de trasaturi si ordonarea primara a caracteristicilor datelor de intrare. Prototipurile multor neuroni-clasa sunt asemanatoare. In etapa a doua (convergenta), vecinatatile se ingusteaza treptat, pana ajung la 0 si are loc diversificarea prototipurilor.

In ceea ce priveste prototipurile, acestea sunt initializate in general aleatoriu, cu valori din intervalul (0,1). Se considera apoi fiecare model de intrare x^(m), pentru care se face adaptarea unilaterala a prototipurilor neuronilor-clasa, astfel: dupa determinarea neuronului castigator c_cs, se face adaptarea ponderilor numai pentru neuronii din vecinatatea sa, prin apropierea prototipurilor de modelul curent. Restul neuronilor nu isi modifica ponderile. Matematic, se poate scrie:

c e V_cs

w_c = w_c  c e V_cs

unde este rata de invatare.

Un domeniu in care retelele neuronale cu invatare nesupravegheata isi gasesc o larga aplicabilitate il reprezinta recunoasterea formelor. Proprietatile associative ale RNA Kohonen sau Hopfield sunt utilizate in variate aplicatii, pornind de la recunoasterea optica a caracterelor (OCR) pana la studii de profilare a sarcinii in energetica.

Profilarea sarcinii

Metodele ce pot fi folosite pentru dezvoltarea unei metodologii de profilare a sarcinii difera, in functie de datele pe care le are la dispozitie furnizorul si de efortul financiar pe care acesta este apt a-l depune. Astfel, tehnica denumita profilarea sarcinii reprezinta un set de proceduri care permite transformarea istoricului de consum al unor consumatori, care nu sunt echipati cu contoare electronice, intr-o serie de curbe de sarcina estimate, pentru o anumita categorie de consum, profilate orar, denumite frecvent grafice sau curbe tip de sarcina.

O Curba sau un Grafic Tip de Sarcina descrie o estimare a tiparului mediu de consum al unui grup de consumatori, in care variatia sarcinii se indica la nivel orar sau la nivelul unei subdiviziuni corespunzatoare (de exemplu la sfert de ora). Curbele tip de sarcina se exprima de regula in unitati relative ; de exemplu, diagrama de mai jos indica un asemenea grafic tip de sarcina.

Fig. 2 Exemplu pentru un grafic tip de sarcina exprimat in u.r.

In cele ce urmeaza sunt descrise succint cateva dintre cele mai cunoscute asemenea metode.

Metoda curbei de sarcina a sistemului

Aceasta metoda foloseste forma curbei de sarcina a sistemului (zona deservita de furnizorul respectiv) pentru modelarea tuturor consumatorilor din sistem. Aceasta este cea mai primitiva forma de profilare a sarcinii. Desi nu presupune costuri aditionale, metoda curbei de sarcina a sistemului se caracterizeaza prin precizii foarte slabe, deoarece foarte multi consumatori vor avea curbe de sarcina cu forme total diferite.

Metoda curbei de sarcina nete a sistemului

Aceasta metoda foloseste, de asemenea, o curba unica pentru modelarea tuturor consumatorilor. Curba unica, de referinta, se obtine de aceasta data din curba sistemului, din care se scade curba de sarcina agregata a tuturor consumatorilor prevazuti cu contoare electronice. Costurile implicate de implementarea acestei metode sunt reduse, insa precizia este inca foarte slaba, chiar daca poate fi imbunatatita prin instalarea unui numar sporit de contoare electronice.

Metoda curbelor tip statice

In acest caz, folosind date din istoricul de consum al anumitor categorii de consumatori, se construiesc curbe tip de sarcina pentru diferite tipuri de zile si regimuri sezoniere. Aceasta abordare reprezinta un salt calitativ remarcabil in raport cu cele doua metode anterioare, care se traduce prin cresterea substantiala a preciziei de reprezentare. Totusi metoda curbelor tip statice implica costuri suplimentare, achizitia unor date pentru formarea istoricului de consum si - ceea ce este mai important - nu ia in considerare factorii care pot influenta nivelul consumului de energie electrica (de ex. conditiile meteorologice).

Metoda curbelor de sarcina similare

Curbele de sarcina similare se construiesc folosind date corespunzatoare unei zile asemanatoare zilei de calcul conform anumitor criterii. Exista o varietate larga de criterii de similitudine ce pot fi folosite, dintre care amintim consumul total de energie din sistem, tipul de zi sau conditiile meteorologice. Aceasta metoda are o precizie comparabila cu cea a metodei curbelor tip statice, insa necesita un istoric de consum mai restrans. Totodata, principiul metodei asigura (desi nu intr-o forma foarte riguroasa si transparenta) luarea in considerare a factorilor care pot influenta nivelul consumului (conditiile meteorologice).

Metoda curbelor tip statice ajustate

Pentru aceasta metoda, curbele tip de sarcina sunt create prin prelucrarea istoricului de date pentru o anumita categorie de consum. Curbele astfel generate sunt ajustate apoi pentru a reflecta influenta anumitor factori (de ex. conditiile meteorologice). Din punctul de vedere al tipului de abordare, cele mai raspandite modele pentru aceasta metoda sunt regresia liniara si retelele neuronale artificiale. Chiar daca implica costuri suplimentare si necesita existenta unui istoric al sarcinii, aceasta metoda se caracterizeaza printr-o precizie superioara metodelor descrise anterior.

Metoda curbelor tip dinamice

Aceasta metoda presupune instalarea, cu caracter permanent, a unor contoare electronice la o serie de consumatori considerati reprezentativi pentru diferite categorii de consum. In plus, contoarele respective trebuie interogate zilnic, pentru preluarea curbelor de sarcina (teletransmisie). Folosind datele astfel obtinute, se genereaza zilnic noi curbe tip de sarcina pentru fiecare categorie de consum. Totodata, caracterul zilnic al prelucrarii curbelor tip face ca acestea sa includa intr-o forma indirecta si influentele unor factori cum ar fi conditiile meteorologice. In prezent, se considera ca aceasta ar fi cea mai performanta metoda de profilare a sarcinii, care exclude si existenta oricarui istoric al consumului. Totusi, costurile antrenate in special de teletransmisia datelor si de achizitionarea contoarelor electronice pentru consumatorii reprezentativi, pot reduce substantial atractivitatea ei.

Metoda curbelor tip dinamice cu decalaj

Aceasta metoda este asemanatoare metodei dinamice standard, exceptand faptul ca interogarea contoarelor electronice instalate la consumatorii considerati reprezentativi nu se mai face zilnic, ci saptamanal sau lunar. Costurile asociate acestei metode se reduc intr-o anumita masura, dar si precizia de modelare are de suferit.

Analiza comparativa a metodelor de profilare

Dintre cele sapte metode de profilare a sarcinii prezentate, primele doua - metoda curbei de sarcina  a sistemului si metoda curbei nete de sarcina a sistemului - sunt cele mai imprecise si de aceea utilizarea lor nu se recomanda decat in situatiile in care nu exista studii prealabile privind profilarea sarcinii. La cealalta extrema se situeaza metodele curbelor tip dinamice standard sau cu decalaj, care implica insa costuri foarte mari. Pe de alta parte, metoda curbelor tip statice, desi asigura o precizie relativ buna nu poate fi utilizata decat cu caracter interimar, deoarece nu ia in considerare factorii de influenta cum ar fi conditiile meteorologice. In sfarsit, metoda curbelor de sarcina similare si metoda curbelor tip statice ajustate conduc la rezultate similare din punctul de vedere al preciziei. Totusi, prima dintre aceste metode este considerata mult prea simplista, in principal din punctul de vedere al criteriului de similitudine folosit.

In acest context, majoritatea lucrarilor care abordeaza problematica profilarii sarcinii recomanda profilarea statica ajustata ca fiind cea mai convenabila in momentul de fata. Totodata, avand in vedere precizia de calcul sporita, profilarea dinamica a sarcinii ramane o optiune atractiva pentru viitor. In Fig. 3 se indica o posibila etapizare a metodologiei de profilare a sarcinii.

Fig. 3 - Etapizarea profilarii sarcinii.

Segmentarea structurii de consum

Indiferent daca este vorba de abordarea statica sau de cea dinamica, construirea graficelor tip de sarcina presupune parcurgerea anumitor etape, dintre care cea mai sensibila in raport cu rezultatele profilarii este segmentarea. Segmentarea este operatia prin care se decide numarul de grafice tip de sarcina ce urmeaza sa descrie consumatorii din categorii reprezentative pentru populatia considerata. In general, ca parametri de segmentare se pot folosi individual sau in combinatii: activitatea desfasurata de consumator; amplasarea acestuia in cadrul sistemului; tariful aplicat; nivelul de consum apreciat dupa puterea absorbita, energia consumata sau factorul de putere; tipul zilei si sezonul.

In general, la alegerea numarului de curbe tip de sarcina, pe baza acestor criterii, se recomanda luarea in considerare a urmatoarelor aspecte:

• Categoriile de consum trebuie sa reflecte grupuri de consumatori relativ omogene din punctul de vedere al formei curbei de sarcina.
• Fiecare curba tip trebuie sa difere semnificativ de celelalte curbe.
• Numarul total de curbe tip trebuie sa fie cat mai redus.
• Construirea curbelor tip trebuie sa se faca urmarind minimizarea dezechilibrului balantei productie/consum (inclusiv pierderi) a sistemului.

Sunt interesant de urmarit solutiile de segmentare adoptate de diferiti furnizori in lume. De exemplu, compania Illinois Power (S.U.A.) foloseste 32 segmente impartite dupa nivelul de consum (mai mic sau mai mare de 200 kW), natura consumului (general sau pentru incalzire electrica), natura activitatii (birouri, comert cu amanuntul, restaurante, locuinte, scoli, etc), precum si 4 segmente speciale, care au in vedere iluminatul public si alti consumatori speciali. O alta companie de electricitate din S.U.A., compania BGE foloseste un model de segmentare cu 4 segmente pentru consumul casnic (cu / fara incalzire electrica si cu / fara tarif diferentiat) si 3 segmente pentru consumatorii comerciali (peste 60 kW si tarif diferentiat, respectiv sub 60 kW, cu / fara tarif diferentiat). In sfarsit, Rockland Electric Company foloseste o segmentare foarte "adanca" si complexa, organizata pe 5 straturi, ajungand in cele din urma sa foloseasca cate 475 curbe tip in decursul unui an, pentru consumatorii casnici si comerciali.

In momentul de fata, in tara noastra ANRE a stabilit urmatoarele segmente de consum: consumatori casnici, consumatori agenti economici (consumatori industriali, servicii publice, consumatori agricoli, consumatori tertiari) si consumatori atipici.

Dupa cum se constata din parcurgerea acestor exemple, modul de segmentare urmareste in principiu doua componente majore - consumatorii casnici si cei comerciali - insa in interiorul fiecarei componente segmentarea difera substantial de la un furnizor la altul si nu este intr-atat de limitativa cantitativ precum rezulta din cerintele generale ale profilarii, mentionate mai sus

In acest context, implementarea unor solutii specifice inteligentei artificiale, au ca obiectiv simplificarea etapei de segmentare, asigurand totodata o rezolutie cat mai buna a acestui proces.

Aplicatii

TEMA A - Recunoasterea formelor

Scopul lucrarii il reprezinta studiul capabilitatii retelelor neuronale de Kohonen de a identifica intr-o forma alterata prezentata la intrare, caracteristicile uneia din formele predefinite memorate in etapa de antrenare. Formele standard pe care le invata RNA sunt cifrele arabe 1, 2, 3, 4, 5, 6, 9 si caracterul ".". Caracterele sunt memorate sub forma de matrice cu 12 linii si 10 coloane ale caror elemente formeaza o suprafata in interiorul careia apartenenta unui punct (element din matrice) la forma memorata este modelata prin valoarea 1, iar un punct liber are valoarea 0.

Recunoasterea formelor folosind reteaua neuronala Kohonen

In Fig. 4 este prezentata aplicatia software pentru studiul recunoasterii formelor folosind o retea Kohonen. Pe langa cifrele utilizate in aplicatia anterioara, aceasta permite construirea a maximum 4 modele oarecare, imaginate de utilizator (matricele notate generic A, B, C, D). Un asemenea model se construieste cu mouse-ul pe panoul "Model Initial" si se salveaza in una din matricele A - D folosind butonul "Actualizare model".

Fig. 4 - Aplicatia de calcul pentru studiul recunoasterii formelor cu RNA Kohonen

Similar construirii unui model nou, perturbarea unui model existent se face pe panoul "Model Initial". La apasarea butonului "Recunoastere", se va evidentia grafic si numeric modelul recunoscut, in panoul corespunzator acestuia. Se va afisa caracterul prezent in setul de date de antrenare care difera cel mai putin de modelul perturbat.

Tema lucrarii:

Se va studia, pentru seturile de antrenare existente, capabilitatea de recunoastere a formelor cu retelele neuronale de tip Kohonen.

TEMA B - Profilarea sarcinii

Clasificarea curbelor de sarcina folosind retele Kohonen

Folosind aplicatia EleFact (Fig. 5), se va verifica capacitatea acestui tip de retea de a recunoaste si separa in clase diferite formele curbelor  de sarcina ce descriu consumul zilnic al unui consumator de tip agent economic.

Fig. 5 Fereastra principala a aplicatiei EleFact

Etapele utilizarii programului:

introducerea datelor de intrare

Prin apasarea butonului , se deschide o caseta de dialog suplimentara in care se indica calea de pe disc unde se gaseste fisierul de date analizat. In partea superioara a ferestrei va apare lista cu toate fisierele in format *.RPT care contin date, dintre care se alege prin bifare cel dorit (coloana Ins din Fig. 5). Pentru analiza unui singur fisier, se selecteaza fisierul respectiv (si numai acesta) in coloana Ins, dupa care se apasa butonul . Dupa citirea datelor din fisierul *.RPT selectat, valorile prelucrate (consumuri inregistrate din 15 in 15 minute) vor fi afisate in partea inferioara a ferestrei aplicatiei (Fig. 5).

profilarea curbelor de sarcina, afisarea si analiza rezultatelor

Utilizand meniul "Profilare", se acceseaza fereastra de lucru a modulului de profilare. In aceasta fereastra, se va efectua conversia valorilor din aplicatia principala in valori orare, eliminandu-se in acelasi timp curbele incomplete ce ar putea mafecta rezultatele profilarii. In acest scop, se va alege din meniul "Antrenare" importarea datelor din gridul ferestrei principale.

Meniul "Optiuni" permite modificarea parametrilor retelei (rata de invatare, dispersie, factori de descrestere, numar de cicluri de antrenare, prag de diferentiere a claselor) si a tipului de invatare (cu numar fix sau liber de clase).

Dupa antrenarea retelei, programul va prezenta urmatoarele rezultate (Fig. 6):

numarul de curbe tip (clase) determinate de retea;

apartenenta curbelor de sarcina din setul de intrare la clasele determinate de retea, numeric si grafic;

pentru fiecare clasa determinata, graficul tip al acesteia, numeric si grafic.

Fig. 6 Rezultatele profilarii

APLICATIE

Dupa modelele prezentate mai sus, se vor studia curbele de sarcina apartinand mai multor categorii de consumatori, pentru cazul clasificarii cu reteaua Kohonen. Se vor compara rezultatele obtinute si se vor trage concluzii referitoare la posibilitatile de folosire a retelelor neuronale Kohonen in domeniul profilarii sarcinii.