Pagina documente » Informatica, Matematica » Retele neuronale ART

Despre lucrare

lucrare-licenta-retele-neuronale-art
Aceasta lucrare poate fi descarcata doar daca ai statut PREMIUM si are scop consultativ. Pentru a descarca aceasta lucrare trebuie sa fii utilizator inregistrat.
lucrare-licenta-retele-neuronale-art


Cuprins

CUPRINS
Introducere.........iiiCapitolul 1: Arhitecturi neurale recurente....1
1.1. Arhitecturi neurale recurente unistrat...1
1.1.1. Memorii Hopfield - model asincron cu evolutie in timp discret1
1.1.2. Memorii Little - model sincron cu evolutie in timp discret......7
1.2 Arhitecturi neurale recurente cu doua straturi..... 8
1.2.1. Memorii asociative bidirectionale.............8
1.2.1.1. Notiuni introductive.....8
1.2.1.2. Asociatorul linear.....10
1.2.1.3. Functionarea memorii asociative bidirectionale ..............12
1.2.1.4. Stabilitatea bidirectionala ......... 14
1.2.2. Masina Boltzmann..............19
1.2.2.1. Notiuni introductive...19
1.2.2.2. Functia Liapunov pentru masina Boltzmann 20
1.2.3. Memorii asociative construite pe baza Brain state in a box generalizat.........24
1.2.3.1. Notiuni introductive... 24
1.2.3.2. Dinamica modelului Brain state in a box generalizat ......26
1.2.3.3. Memorii asociative realizate cu metoda Brain state in a box generalizata.............28
1.2.4. Aplicatii asupra altor modele..32
1.3. Arhitecturi neurale recurente multistrat...........34
1.3.1. Back - Propagarea recurenta..34
Capitolul 2: Sisteme dinamice.38
2.1. Rezultate generale de modelare a sistemelor dinamice........38
2.1.1. Introducere........38
2.1.2. Rezultate Liapunov..............39
2.2. Stocarea memoriei adresabile prin continut......56
2.2.1. Ecuatiile aditive STM..57
2.2.2. Modelul Brain state in a box......58
2.2.3. Modelul McCulloch - Pitts ..........61
2.2.4. Masina Boltzmann .....62
2.2.5. Memorii asociative bidirectionale (BAM).........62
Anexa pentru capitolul 2.......67
Capitolul 3: Teoria rezonantei adaptive.....71
3.1. Introducere............71
3.2. Exemple de arhitecturi rezonante...75
3.2.1. Retele neurale ART1..........75
3.2.1.1. Prezentare generala..75
3.2.1.2. Subsistemul atentional.............77
3.2.1.3. Procesarea pe F1.....78
3.2.1.4. Procesarea pe F2.....82
3.2.1.5. Ponderile LTM top-down.........83
3.2.1.6. Ponderile LTM bottom - up......85
3.2.2. Retele neurale ART2 .........88
3.2.2.1. Prezentare generala ..88
3.2.2.2. Principiile de proiectare ART2 ...88
3.2.2.3. Ecuatiile STM pentru ART2: F1 ......92
3.2.2.4. Ecuatiile STM pentru ART2: F2 ..94
3.2.2.5. Ecuatiile LTM pentru ART2 .....94
3.2.2.6. Ecuatiile de reset pentru ART2: Subsistemul de orientare...95
3.2.2.7. Problema potrivire - respingere: alegerea valorilor LTM top-down initiale .........96
3.2.2.8. Prin invatare creste senzitivitatea sistemului la o alegere gresita si se confirma
alegerea unei categorii.............98
3.2.2.9. Alegerea unei noi categorii: valorile initiale LTM bottom-up...........98
3.2.3. Retele neurale ART2 alternative.............99
3.2.4. Sistemul ARTMAP............101
3.2.4.1. Introducere............101
3.2.4.2. Modulele ARTa SI ARTb ...........103
Capitolul 4: Prezentarea aplicatiei..........109
i

EXTRAS DIN DOCUMENT

?1.2.1.4 INTRODUCERE

Aparitia calculatoarelor si studiul modului in care acestea pot fi facute „sa invete” si „sa gandeasca” au fost complementare (1940). Daca realizarea acestor lucruri ar fi fost posibila, folosind calculatoarele s-ar fi putut face aproape orice: de la invatarea din inregistrarile medicale a tratamentelor care ar fi indicate pentru vindecarea unor boli necunoscute la construirea de case care ar invata din experienta sa optimizeze costul energiei bazandu-se pe „sabloane” particulare de folosire furnizate de catre ocupantii lor.

Inca de atunci calculatorul a fost folosit drept unealta pentru a modela neuronul individual si clusterii de neuroni (retelele neurale).

Primele sisteme neurale au aparut la sfarsitul anilor 1950; Frank Rosenblatt a inventat perceptronul, Bernard Widrow modelul ADALINE, etc.

Din pacate, a urmat o perioada in care a scazut interesul cercetatorilor pentru studiul sistemelor neurale artificiale. Aceasta perioada a fost o consecinta a aparitiei cartii lui Marvin Minsky si Simon Papert („Perceptrons”) in 1969 si a durat pana in 1986 cand cartea lui David Rumelhart si James McClelland, „Paralel Distributed Processing”, o compilatie de materiale individuale din jurnale si conferinte de specialitate, a reusita sa intr-o lumina noua sistemele neurale.

Modelele de arhitecturi neurale au fost derivate din analiza inteligentei din punct de vedere biologic sau din modele euristice obtinute din analiza proprietatilor observate la formele de viata inteligente. Comportarea flexibila si autonoma a oamenilor si a unor animale este regasita in abilitatea de a – si organiza raspunsuri adaptive la schimbarile mediului in timp real. Autonomia flexibila este scopul spre care tind tehnicile moderne. In multe cazuri, sistemele neurale au fost folosite pentru a face predictii si a explica date comportamentale si neurale. Rezultatele obtinute in domeniul inteligentei artificiale contribuie la o intelegere mai buna a creierului uman pe cateva niveluri, de la analiza functionala a regiunilor macroscopice ale acestuia cum ar fi cortexul vizual si hipocampusul, la analiza mediatorilor chimici si a altor procese sinaptice.

Sistemele neurale au fost in continuare dezvoltate cu ajutorul analizei matematice si a celei de calcul pentru a putea fi structurate principiile de organizare si de calcul evidentiindu-se punctele „tari” dar si defectele. Rezultatele teoretice au fost dezvoltate pentru a caracteriza relatia fundamentala dintre numarul exemplelor pe care sistemul neural „invata”, numarul de ipoteze considerate si eroarea asteptata in ipotezele invatate.

Algoritmii care au aparut pana acum sunt specializati pe anumite tipuri de invatare. Astfel, orientate pe anumite domenii, au aparut foarte multe aplicatii practice; exista programe pentru recunoasterea limbii vorbite, aplicatii cu care se detecteaza folosirea frauduloasa a cartilor de credit, programe care pot conduce vehicule pe drumuri publice (folosesc senzori vizuali) sau care joaca anumite jocuri avand performante comparabile cu cele ale campionilor mondiali.

In aceasta lucrare principala tema de studiu este clasificarea textelor folosind teoria rezonantei adaptive, respectiv sistemele neurale ART1 si ART2.

In primul capitol se face o introducere in domeniul retelelor neurale recurente prin schitarea catorva modele: McCulloch-Pitts, Hopfield si Little, memorii lineare asociative, memorii asociative bidirectionale, back - propagarea recurenta, masina Boltzmann si modelul „Brain State In A Box”. Sunt prezentate paradigme ale invatarii, legile de invatare si teoremele de stabilitate pentru memoriile adaptive bidirectionale, Hopfield si Little.

In capitolul doi sistemele neurale sunt vazute prin prisma teoriei sistemelor dinamice abordate in sens Liapunov. Teoria stabilitatii miscarii studiaza influenta factorilor perturbatori asupra miscarii unui sistem material si se ocupa cu stabilirea unor criterii care sa ne permita sa spunem daca o miscare este stabila sau nu. Capitolul contine teoreme de stabilitate si criterii de nestabilitate precum si conditiile in care exista o functie Liapunov. Rezultatele de sisteme dinamice sunt apoi aplicate pe o serie de arhitecturi particulare: BAM, „Brain State in a Box”, modelul McCulloch-Pitts, masina Boltzmann.

In capitolul trei sunt prezentate sistemele neurale ART1 si ART2 precum si o serie de arhitecturi neurale derivate cum ar fi ART2 alternative si ARTMAP - ul. ART1 si ART2 sunt arhitecturi care sunt folosite in particular pentru probleme de “pattern classification” in medii reale. Aceste retele neurale difera prin natura sabloanelor de intrare, ART1 necesitand vectori de intrare binari, iar ART2 vectori de intrare reali (putand lucra si numai pe vectori binari). Restrictia la vectori binari pentru ART1 poate parea ca limiteaza utilitatea retelei, dar exista multe probleme ale caror date pot fi transformate in vectori binari. Retelele ART si-au primit numele de la rolul special pe care il joaca in reteaua neurala invatarea si reamintirea. In fizica, rezonanta apare atunci cand o vibratie de amplitudine mica, cu frecventa potrivita, produce o vibrate de o amplitudine mai larga intr-un sistem electric sau mecanic. ARTMAP-ul este un sistem de invatare supervizata care invata sa clasifice vectorii dat la intrare in categorii. Acest sistem este construit cu ajutorul unei perechi de module ART (ARTa si ARTb) ce sunt capabile sa-si auto-organizeze categoriile de recunoastere stabile ca raspuns la vectori arbitrari de intrare.

Aplicatia practica implementeaza sistemele ART1 si ART2 pentru a permite clasificarea de texte avand la dispozitie un numar de categorii. Programul a fost testat pe douazeci de categorii (sport, muzica, posibilitati de deconectare, calatorii, software, cumparaturi, lege, educatie, filme, ziare, stiri, vreme, sanatate, publicitate, distractii, hobby-uri, jucarii, carti, fitness, oferte de munca) si ar putea fi folosit in particular pentru clasificarea mesajelor primite de catre o persoana pentru ca acea persoana sa poata selecta si citi doar mesajele care intereseaza.

CAPITOLUL 1

ARHITECTURI NEURALE DE TIP RECURENT

1.1 ARHITECTURI NEURALE RECURENTE UNISTRAT

1.1.1 MEMORII HOPFIELD - MODEL ASINCRON CU EVOLUTIE ÎN TIMP DISCRET

Se considera un strat de n neuroni notat cu Fx, asupra caruia se poate aplica un stimul I = ( I1, …, In ). Pentru acest tip de arhitectura exista doua tipuri de legaturi intra-strat

(ponderile sunt simetrice wij = wji ) si, in cazul celui de-al doilea tip, fiecare neuron poate

avea si o legatura spre el insusi (wii) care corespunde unei bucle in graful care descrie topologia retelei (aceasta legatura poate lipsi).

În acest tip de memorie timpul are valori discrete si functia neuronala este o functie prag.

Fie S(t) vectorul format din starile neuronilor stratului Fx .

Si(t) = ( S1(t), … , Sn(t) )T

S(t) reprezinta starea intregului sistem la momentul t.

Componentele acestui vector pot fi {0,1} sau bipolare, {-1,1}. Si(t) reprezinta starea neuronului i din campul Fx la timpul t; spatiul starilor este {-1,1}n sau {0,1}n iar traiectoria urmata de un tip de evolutie a sistemului reprezinta o succesiune de puncte de pe hipercubul unitate.

Se noteaza cu Ri(t) activarea neuronului i:

Ri(t) =wijSi(t) +Ii

unde matricea ponderilor este simetrica si patratica si se calculeaza cu formula:

w = Sj(t)Sj(t)T

Activarile neurale reprezinta fluctuatii continue dar reactualizarile vectorului de stare sunt permise numai la anumite momente de timp fiindca la memoriile de tip Hopfield regimul de actualizare este un regim asincron. Intr-un model de activare asincron, la fiecare moment se actualizeaza o submultime a neuronilor din stratul FX.

Daca starile neuronilor sunt 0 si 1 atunci starea neuronului i la momentul t +1 va fi Si(t+1) si se calculeaza folosind functia prag:

Si(t+1) =

unde ?i este conditia de prag pentru neuronul “i”.

Observatie: