Troslojna perceptronska mreža s ReLU aktivacijskom funkcijom

undergraduate thesis

• Title (english): A three-layered perceptron neural network with ReLU activation function
• Author: Dominik Mačečević
• Mentor: Danko Brezak (mentor)
• Granter: University of Zagreb; Faculty of Mechanical Engineering and Naval Architecture; Zagreb
• Defense date and country: 2024-02-28, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Mechanical Engineering

Abstract

Za aktivaciju neurona u višeslojnoj perceptronskoj neuronskoj mreži se najčešće koriste sigmoidalna aktivacijska funkcija i hiperbolni tangens, a kod dubokih i konvolucijskih neuronskih mreža ReLU i njezina aproksimacija Softplus aktivacijska funkcija. ReLU funkcija je uvedena za rješavanje problema nestajućeg gradijenta koji se javlja u neuronskim mrežama s više saktivenih slojeva. U ovome je radu provedena usporedba navedenih aktivacijskih funkcija na problemima identifikacije dinamičkih sustava i predviđanju Mackey-Glass vremenske serije s ciljem ispitivanja svojstava ReLU aktivacijske funkcije kod neuronskih mreža s jednim krivenim slojem. Analiza je pokazala kako ReLU aktivacijska funkcija daje bolje odzive od sigmoidalne i tangens-hiperbolne aktivacijske funkcije u rješavanju problema identifikacije identifikacije dinamičkih sustava, a lošije odzive na problemima predviđanja nelinearnog kaotičnog sustava. Jednostavna implementacija i optimizacija ReLU funkcije čini ju dobrim kandidatom za rješavanje problema identifikacije dinamičkih sustava.

Abstract (english)

For the activation of neurons in multilayer perceptron neural networks, sigmoidal and hyperbolic-tangent activation functions are most commonly used, while for deep and convolutional neural networks, ReLU and its approximation, the Softplus activation functions, are often used. The ReLU function was introduced to solve the vanishing gradient problem that occurs in deep neural networks. In this work, an analysis of activation functions was conducted on the identification of dynamic systems and prediction of the Mackey-Glass time series in order to examine the properties of the ReLU activation function in neural networks with a single hidden layer. It was shown that the ReLU activation function produces better responses than sigmoidal and hyperbolic-tangent activation functions in the identification of dynamic systems, but it performs worse in predicting a nonlinear chaotic system. The simplicity of implementing and optimizing of the ReLU function makes it a good candidate for solving the identification of dynamic systems.

• Keywords: Neuronske mreže; ReLU; Softplus; Identifikacija dinamičkog sustava
• Keywords (english): Neural networks; ReLU; Softplus; Dynamic system identification
• Language: croatian
• URN:NBN: urn:nbn:hr:235:558425
• Study programme: Title: Mechanical Engineering; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka strojarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka strojarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2024-02-26 07:20:31