Aplikacija afektivnog virtualnog agenta temeljena na višemodalnoj interakciji

diplomski rad

• Naslov (engleski): An affective virtual agent application based on multimodal interaction
• Autor: Andrija Ričko
• Mentor: Tomislav Stipančić (mentor)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet strojarstva i brodogradnje; Zagreb
• Datum i država obrane: 2022-07-20, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo; Programsko inženjerstvo

Sažetak

Tema ovog rada je izrada programske upravljačke platforme i vizualizaciju afektivnog
virtualnog robota PLEA koji se razvija u sklopu Laboratorija za projektiranje izradbenih i
montažnih sustava. Takva platforma krajnjem korisniku omogućuje kreiranje vlastitog profila,
konfiguracija spremanja podataka te pregledavanje i brisanje spremljenih podataka te
komunikaciju s virtualnim agentom. Ako je krajnji korisnik administrator, platforma
omogućuje dodatne opcije kao što su uživo pregledavanje svih povezanih korisnika,
konfiguriranje virtualnog agenta, daljinsko otvaranje komunikacije s određenim klijentima i
pregledavanje povijesti svih konekcija.
Vizualizacija virtualnog agenta izrađena je u programu Unreal Engine 4 pomoću
programskog dodatka Metahuman Creator. Izrađen je set animacija lica koje se aktiviraju kao
odgovor na emociju korisnika s kojim PLEA komunicira. Prijenos podataka (slika i zvuk)
između korisnika i virtualnog agenta ostvaruje se pomoću istorazinske (eng. Peer to Peer)
komunikacije koja omogućuje vizualnu interakciju realnom vremenu.

Sažetak (engleski)

The topic of this paper is the creation of a program management platform and
visualization of the affective virtual robot PLEA, which is being developed as part of the
Laboratory for Designing Manufactured and Assembled Systems. Such a platform enables the
end user to create his own profile, configure data storage, view and delete saved data, and
communicate with a virtual agent. If the administrator is the end user, the platform offers
additional options such as directly viewing all connected users, configuring a virtual agent,
remotely opening communication with specific clients and viewing the history of all
connections.
The visualization of the virtual agent was created in Unreal Engine 4 using the Metahuman
Creator plugin. A set of facial animations was created that are activated in response to the
emotion of the user with whom PLEA communicates. Data transfer (image and sound) between
the user and the virtual agent is achieved using peer-to-peer communication, which enables
visual interaction in real time.

• Ključne riječi: afektivna robotika; Unreal Engine 4; WebRTC; internetska platforma; imitacija
• Ključne riječi (engleski): affective robotics; Unreal Engine 4; WebRTC; web platform; imitation
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:235:959860
• Studijski program: Naziv: Strojarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka strojarstva (mag. ing. mech.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2022-07-18 18:58:54