Mapiranje zvučnih informacija s pokretima lica afektivnog virtualnog agenta

diplomski rad

• Naslov (engleski): Mapping sound information with facial movements of an affective virtual agent
• Autor: Petra Gregov
• Mentor: Tomislav Stipančić (mentor)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet strojarstva i brodogradnje; Zagreb
• Datum i država obrane: 2023-12-07, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Strojarstvo

Sažetak

Tema ovog rada je generiranje lica vođeno zvukom u stvarnom vremenu kroz primjenu dubokog učenja. Rad se u teorijskom dijelu fokusira na pravilnu obradu ulaznih podataka za trening modela i analizu najčešće korištenih neuronskih mreža. Dodatno se razmatraju različita rješenja zadatka u sklopu aktualnih istraživanja. U praktičnom dijelu rada se istražuje implementacija gotovog modela putem Audio2Face aplikacije. Rad aplikacije se dodatno obrađuje u sklopu virtualnog okruženja unutar Unreal Engine platforme s naglaskom na prijenos uživo.

Sažetak (engleski)

The theme of this paper is real-time sound-driven face generation utilizing deep learning. In the theoretical part, the emphasis is on proper processing of input data for model training and analysis of the most commonly used neural networks. Furthermore, diverse approaches to the task are investigated within the context of ongoing research. In the practical part, exploring the implementation of a pretrained model through the Audio2Face application takes focus. The application's functionality is further analyzed within a virtual environment on the Unreal Engine platform, with a focus on live streaming.

• Ključne riječi: duboko učenje; obrada zvučnog signala; točke lica; generiranje lica vođeno zvukom; Audio2Face; Unreal Engine
• Ključne riječi (engleski): deep learning; audio signal processing; facial landmarks; sound driven face generation; Audio2Face; Unreal Engine
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:235:035815
• Studijski program: Naziv: Strojarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka strojarstva (mag. ing. mech.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2023-12-05 08:29:30