Autor: Velibor Ilić

ABSTRAKT: U radu se govori o evolutivnim autonomnim agentima kojima upravlja neuronska mreža. Predložen je hijerarhijskih model neuronskih mreža. Prikazan softver ENAA koji simulira evolutivno obučavanje agenata koji se kreću unutar arene i izvršavaju postavljene ciljeve.

Ključne reči: Evolutivni autonomni agenti (EAA), neuronske mreže (ANN), genetski algoritam (GA), simuliranje evolucije

Datum izrade: Maj, 2001
Demo: https://www.dropbox.com/s/cw6y83edi3e0tqv/enaa.zip?dl=0

Follow @velibor

Karakteristični eksperimenti u kojima se upotrebljavaju evolutivni autonomni agenti (EAA) sastoje od populacije agenata koji evoluiraju upotrebom genetskog algoritma tokom mnogo generacija, tako što najbolji preživljavaju u datom okruženju. Neuronske mreže su posebno pogodne za ovu svrhu pošto imaju sposobnost obučavanja. Neuronska mreža prima i obrađuje ulazne informacije iz okruženja i upravlja ponašanjem agenta vršeći izbor njegovih akcija.

Polja su u areni označena na sledeći način:

Sezone predstavljaju određeni vremenski period nakon koga se u areni obnavlja količina hrane i otrova i brišu se polja koja agenti označavaju kao pretražena. U primeru koji je obrađen u radu, sezona traje 300 vremenskih jedinica.

U agentu su senzori (s1, s2, s3) raspoređeni kao na slici 3. Oni omogućavaju agentima da čitaju sadržaj polja. Jedan senzor očitava polje neposredno ispred agenta, a druga dva senzora očitavaju polja sa leve i desne strane agenta. Agenti se kreću pomoću tri motora, prvi motor omogućava kretanje jedno polje napred, dok ostala dva motora omogućavaju rotiranje agenta u levu ili desnu stranu. Prilikom kretanja, agenti markiraju polja u areni na kojima su boravili.

Upravljačka neuronska mreža (slika 2.) očitava vrednosti senzora s1, s2, s3 (slika 3.) i na osnovu tih vrednosti upravlja kretanjem agenta (odlučuje koji će se motor uključiti). U jednom koraku može biti uključen samo jedan motor. Nakon obrade vrednosti senzora, na izlazu neuronske mreže se dobiju tri vrednosti (m1, m2 i m3). Agent uključuje motor čiji izlaz neuronske (m1, m2, m3) ima najveću vrednost.

Nadzorna neuronska mreža (slika 2.) prati vrednosti senzora s1, s2, s3 i izlazne vrednost upravljačke neuronske mreže preko parametra O1. Parametar O1 dobija vrednosti (1, 0 ili -1) u zavisnosti od toga koji motor je bio uključen (m1, m2 ili m3). Preko nadzorne neuronske mreže agenti imaju mogućnost da sami koriguju svoju ponašanje za vreme svog životnog perioda. Ukoliko se na izlazu nadzorne neuronske mreže (parametar O2) pojavi vrednost veća od 0.5, agent vrši korekciju težinskih koeficijenta upravljačke neuronske mreže. Agenti imaju znatno slabiji intenzitet dejstva na težinske koeficijente upravljačke neuronske mreže, nego mutacija prilikom kreiranja novog agenta. Međutim, sam agent ima češće priliku da utiče na težinske koeficijente upravljačke neuronske mreže. Ako se posmatra duži vremenski period, dejstvo nadzorne neuronske mreže na upravljačku neuronsku mrežu nije zanemarljivo.

Početna generacija agenata, koja se kreira pokretanjem simulacije, nema informaciju šta se od njih očekuje i na koji način treba da se ponašaju. Agenti se u početku najčešće stalno rotiraju u levu ili desnu stranu ili se “zaglave” pored zida pošto “ne znaju” da treba da skrenu u stranu kada im se zid nađe na putu. Da bi se agenti naučili da se kreću kroz arenu, neophodno ih je motivisati tako što dobijaju pozitivne poene za ispravne poteze, a negativne poene kada načine potez koji ne bi trebalo da rade.

Ukoliko agent sakupi više bodova od ostalih, uglavnom znači da taj agent ima najbolji algoritam ponašanja, međutim i povoljni početni uslovi takođe mogu omogućiti agentu da prikupi više bodova od drugih.
Na primer, agent koji se kreće ispred drugog agenta ima priliku da pokupi više hrane, ili ako je agent kreiran u zoni gde preovladava hrana ima bolje preduslove nego agent kreiran u zoni sa većom količinom otrova. Agenti koji steknu više bodova zahvaljujući boljim početnim uslovima, a ne boljim algoritmom ponašanja, mogu usporiti evoluciju ili je čak usmeriti u pogrešnom smeru.

Takvi slučajevi utiču na nekoliko generacija agenta u kojima potomci mogu imati lošije rezultate nego prethodna generacija agenata ali na duži vremenski period ovakve pojave nisu previše štetne.

Životni vek agenta ograničen je količinom energije ili maksimalnom dužinom života. Za svaki načinjeni korak agentima se oduzima po jedna energetska jedinica. Kada agent potroši svu energiju, uništava se i umesto njega se kreira novi agent na slučajnoj poziciji u areni. Koeficijenti neuronske mreže novog agenta formiraju se ukrštanjem agenta koji je upravo uništen i agenta sa najvećim brojem bodova, na tako dobijene težinske koeficijente se primenjuje “mutacija” koja se sastoji u dodavanju slučajnih brojeva u intervalu od -0.3 do 0.3 na težinske koeficijente mreže. Na isti način se podešavaju težinski koeficijenti upravljačke i nadzorne neuronske mreže.

Životni vek agenta je ograničen količinom energije koju agent troši prilikom kretanja kroz arenu. Za svaki korak agentu se oduzima po jedna energetska jedinica. Prilikom kreiranja, svaki agent dobija 300 energetskih jedinica. Prelaskom preko polja na kome se nalazi hrana agent dobija dodatnih 100 energetskih jedinica, dok prilikom prelaska preko polja na kome se nalazi otrov agentu se oduzima 100 energetskih jedinica.
Agenti koji imaju dobar algoritam ponašanja, prikupljaju veću količinu hrane i izbegavaju otrov, na taj način povećavaju sebi šansu da ostvare prednost u odnosu na ostale agente i da svoje iskustvo prenesu na nove generacije agenata.

Poeni koje agenti dobijaju ne utiču na njihovo trenutno ponašanje, nego se koriste za uočavanje agenata se najboljim algoritmom ponašanja. Agenti sa najvećim brojem bodova stiču mogućnost da svoje “gene” (informacije) prenose na nove generacije. Kada jedan agent uspešno reši situaciju koja mu omogućava da stekne prednost u odnosu na ostale agente, većina agenata narednih generacija će naslediti takvo ponašanje. Ukoliko se neki od agenata počne ponašati loše (npr. agent prikuplja otrove umesto hrane), takav agent ne dobija priliku da takvo ponašanje prenese na potomke. U programu ENAA agenti su bodovani na sledeći način:

Agenti imaju tri senzora koji mogu da detektuju 5 različitih situacija (neotkriveno polje, istraženo polje, zid, hrana, otrov) što čini skup od 5³=125 mogućih situacija koje bi agent trebalo da uspešno nauči. Od tog skupa mogućih situacija agenti prvo uče one situacije sa kojima se češće sreće i one u kojima se direktno ostvaruje veća količina pozitivnih ili negativnih poena. Za postupke u kojima se indirektno ostvaruju bodovi, potrebno je duže obučavanje.

Zadatak agenata je da nauče da istražuju što veću površinu arene, zaobilaze prepreke, prikupljaju hranu i izbegavaju otrove. Program omogućava vizuelno praćenje toka obučavanja agenata, prikazivanje trenutnih rezultata svakog pojedinačnog agenta u areni (broj pređenih polja, broj otkrivenih novih polja arene, broj pojedene hrane i otrova, broj bodova, količinu energije, starost agenta). Tokom simulacije kreiraju se dva log fajla sa rezultatima koje su agenti ostvarili i sa zbirnim rezultatima po sezonama. Ovi log fajlovi se mogu učitati u Microsoft Excel radi statističke analize ili crtanja grafikona.

Program ENAA omogućava korisniku da tokom simulacija uključi ili isključi pojavljivanje hrane i otrova u areni i da tako simulira različite okolnosti koje se mogu pojaviti. Takođe korisnik može u toku simulacije menjati vrednost bodova koje agenti dobijaju za prikupljenu hranu, otrov i istražena polja, i na taj način uticati na ponašanje agenata. Tokom simulacije se mogu učitavati različiti rasporedi zidova u areni.

Simulacija se može početi u arenu bez hrane i otrova, a kasnije uključiti opcije za njihovo pojavljivanje ili obe opcije istovremeno. Kada agenti jednom nauče da izbegavaju otrove oni prenose to znanje prenose na svoje potomke. To znanje se ne gubi, čak i ako se otrovi ne pojavljuju u areni tokom života više generacija.
Program ENNA je napisan na programskom jeziku Delphi 6.0.

Ovaj način obučavanja neuronskih mreža je interesantan iz razloga što se one ne obučavaju nekom matematičkom funkcijom nego se težinski koeficijenti menjaju dodavanjem slučajnih brojeva i izborom neuronske mreže koja daje najbolje rezultate.

Demo program ENAA u kome su primenjeni evolutivni neuro agenti i koji je poslužio za eksperimentalna ispitivanja u može se preuzeti sa adrese:

https://www.dropbox.com/s/cw6y83edi3e0tqv/enaa.zip?dl=0