Analiza iterativnih metoda učenja unaprijedne neuronske mreže

master's thesis

• Title (english): Analysis of iterative learning algorithms for the feedforward neural network
• Author: Tomislav Baček
• Mentor: Dubravko Majetić (mentor)
• Granter: University of Zagreb; Faculty of Mechanical Engineering and Naval Architecture; Zagreb
• Defense date and country: 2011-07-07, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Mechanical Engineering

Abstract

U ovom radu prikazana je analiza algoritama učenja unaprijednih (statičkih) neuronskih mreža, koje su ujedno najčešće korištene neuronske mreže. Testirane algoritme učenja čine algoritam povratnog rasprostiranja pogreške (eng. Error Back Propagation, EBP), koji je zapravo obična gradijentna metoda, Resilient BackPropagation algoritam (RPROP), algoritam konjugiranih gradijenata (eng. Conjugate Gradient, CG) te Levenberg-Marquard algoritam (LM), koji je kombinacija gradijentne i Gauss-\Newtonove metode. Spomenuti algoritmi učenja uključuju metode prvog i drugog reda, kao i lokalne i globalne adaptivne tehnike učenja. Ukupno je testirano deset verzija algoritama - četiri verzije gradijentnog algoritma te po dvije verzije Resilient BackPropagation, Levenberg-Marquardt i algoritma konjugiranih gradijenata. Tesiranje i analiza algoritama provedeni su na sedam različitih realnih problema koji uključuju predviđanje nelinearnog, kaotičnog dinamičkog sustava, identifikaciju dinamičkog sustava prvog reda, estimaciju trošenja oštrice noža alatnog stroja te aproksimaciju potrošnje energije i vode u zgradi kao regresijske probleme, te klasifikaciju vrste raka dojke i klasifikaciju (ne)oboljenja od dijabetesa kao klasifikacijske probleme. Za funkciju cilja odabrana je suma kvadrata pogreške, dok je za mjeru točnosti učenja i testiranja kod regresijskih problema odabran normalizirani korijen srednje kvadratne pogreške. U klasifikacijskim problemima za mjeru točnosti odabran je omjer broja krivo klasificiranih i ukupnog broja uzoraka skupa za učenje/testiranje. Kako bi se ubrzalo učenje svih algoritama, korišteni su promjenjivi nagib sigmoidalne aktivacijske funkcije neurona sakrivenog sloja i modificirana metoda odabira početnih težinskih koeficijenata. Struktura mreže mijenjala se ovisno o problemu (broj slojeva nije se mijenjao), a svaka mreža testirana je samo jednom na svakom problemu uz iste početne parametre. Kvaliteta algoritama ocjenjivana je kvalitativnim (točnost) i kvantitativnim (efikasnost) kriterijem.

• Keywords: unaprijedne neuronske mreže; klasifikacija; regresija; adaptivna aktivacijska funkcija
• Language: croatian
• URN:NBN: urn:nbn:hr:235:710248
• Study programme: Title: Mechanical Engineering; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka strojarstva (magistar/magistra inženjer/inženjerka strojarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Access restricted to students and staff of home institution
• Created on: 2019-05-21 22:32:32