Optimizacija, prilagodba i procjena vizijsko-jezičnih modela

diplomski rad

• Naslov (engleski): Optimization, fine tuning, and evaluation of vision-language models
• Autor: Luka Majnarić
• Mentor: Petar Ćurković (mentor)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet strojarstva i brodogradnje; Zagreb
• Datum i država obrane: 2025-03-27, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Strojarstvo

Sažetak

Ovaj rad istražuje optimizaciju vizijsko-jezičnih modela (VLM) putem kvantizacije i finog podešavanja kako bi se poboljšala učinkovitost na hardveru s ograničenim resursima. Metoda kvantizacije LLM.int8() smanjuje troškove memorije i računanja uz očuvanje točnosti modela. Fino podešavanje primjenjuje se na skup arhitektonskih podataka, poboljšavajući točnost klasifikacije s 24% na 83% i poboljšavajući sposobnost modela da generira detaljne opise stilova gradnje. Kombinirajući kvantizaciju s finim podešavanjem, pokazano je da VLM-ovi mogu postići visoke performanse uz smanjene računalne zahtjeve, što ih čini praktičnijima za specijalizirane aplikacije. Ovi rezultati pridonose širem cilju da se veliki modeli umjetne inteligencije učine pristupačnijim i učinkovitijim.

Sažetak (engleski)

This thesis explores the optimization of vision-language models (VLMs) through quantization and fine-tuning for efficient deployment on resource-limited hardware. The LLM.int8() quantization method reduces memory and computation costs while preserving accuracy. Fine-tuning is applied to an architectural dataset, improving classification accuracy from 24% to 83% and enhancing the model’s ability to generate detailed descriptions of building styles. By combining quantization with fine-tuning, it is demonstrated that VLMs can achieve high performance with reduced computational requirements, making them more practical for specialized applications. These results contribute to the broader goal of making large-scale AI models more accessible and efficient.

• Ključne riječi: Vizijsko-jezični modeli; Veliki jezični modeli; Kvantizacija; Fino podešavanje; Optimizacija modela
• Ključne riječi (engleski): Vision-language models; Large language models; Quantization; Fine-tuning; Model optimization
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:235:550344
• Studijski program: Naziv: Strojarstvo; smjerovi: Konstrukcijski smjer, Procesno-energetski smjer, Proizvodni smjer, Inženjersko modeliranje i računalne simulacije, Brodostrojarski smjer, Industrijsko inženjerstvo i menadžment, Inženjerstvo materijala, Mehanika i robotika, Autonomni sustavi i računalna inteligencija, Mehatronika i robotika; Smjer: Mehatronika i robotika; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka strojarstva (mag. ing. mech.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2025-03-26 11:26:21