Troslojna perceptronska mreža s ReLU aktivacijskom funkcijom

završni rad

• Naslov (engleski): A three-layered perceptron neural network with ReLU activation function
• Autor: Dominik Mačečević
• Mentor: Danko Brezak (mentor)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet strojarstva i brodogradnje; Zagreb
• Datum i država obrane: 2024-02-28, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Strojarstvo

Sažetak

Za aktivaciju neurona u višeslojnoj perceptronskoj neuronskoj mreži se najčešće koriste sigmoidalna aktivacijska funkcija i hiperbolni tangens, a kod dubokih i konvolucijskih neuronskih mreža ReLU i njezina aproksimacija Softplus aktivacijska funkcija. ReLU funkcija je uvedena za rješavanje problema nestajućeg gradijenta koji se javlja u neuronskim mrežama s više saktivenih slojeva. U ovome je radu provedena usporedba navedenih aktivacijskih funkcija na problemima identifikacije dinamičkih sustava i predviđanju Mackey-Glass vremenske serije s ciljem ispitivanja svojstava ReLU aktivacijske funkcije kod neuronskih mreža s jednim krivenim slojem. Analiza je pokazala kako ReLU aktivacijska funkcija daje bolje odzive od sigmoidalne i tangens-hiperbolne aktivacijske funkcije u rješavanju problema identifikacije identifikacije dinamičkih sustava, a lošije odzive na problemima predviđanja nelinearnog kaotičnog sustava. Jednostavna implementacija i optimizacija ReLU funkcije čini ju dobrim kandidatom za rješavanje problema identifikacije dinamičkih sustava.

Sažetak (engleski)

For the activation of neurons in multilayer perceptron neural networks, sigmoidal and hyperbolic-tangent activation functions are most commonly used, while for deep and convolutional neural networks, ReLU and its approximation, the Softplus activation functions, are often used. The ReLU function was introduced to solve the vanishing gradient problem that occurs in deep neural networks. In this work, an analysis of activation functions was conducted on the identification of dynamic systems and prediction of the Mackey-Glass time series in order to examine the properties of the ReLU activation function in neural networks with a single hidden layer. It was shown that the ReLU activation function produces better responses than sigmoidal and hyperbolic-tangent activation functions in the identification of dynamic systems, but it performs worse in predicting a nonlinear chaotic system. The simplicity of implementing and optimizing of the ReLU function makes it a good candidate for solving the identification of dynamic systems.

• Ključne riječi: Neuronske mreže; ReLU; Softplus; Identifikacija dinamičkog sustava
• Ključne riječi (engleski): Neural networks; ReLU; Softplus; Dynamic system identification
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:235:558425
• Studijski program: Naziv: Strojarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka strojarstva (univ. bacc. ing. mech.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2024-02-26 07:20:31