Vizualna klasifikacija predmeta pomoću CNN mreže trenirane pomoću simulacijskog robotskog softvera

undergraduate thesis

• Title (english): Visual classification of objects using a CNN trained with robotic simulation software
• Author: Lovro Đuka
• Mentor: Filip Šuligoj (mentor)
• Granter: University of Zagreb; Faculty of Mechanical Engineering and Naval Architecture; Zagreb
• Defense date and country: 2025-02-24, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Mechanical Engineering

Abstract

U ovom radu istražuje se vizualna klasifikacija predmeta pomoću konvolucijske neuronske
mreže (CNN). Klasifikacija predmeta je bitna u brojnim industrijskim primjenama, a naročito
kod automatiziranih proizvodnih procesa gdje se koristi za prepoznavanje i razvrstavanje
predmeta različitih oblika i veličina. Glavni cilj je kreiranje modela koji će klasificirati deset
predmeta, te detektirati njihove pozicije na danoj slici. Rad počinje korištenjem RoboDK
softvera za što sličniju simulaciju stvarnog okruženja, gdje se korištenjem API simulirane
kamere i RoboDK PythonAPI-a generira veliki broj slika predmeta na nasumičnim pozicijama
i s nasumičnim rotacijama oko Z-osi. Uz slike, u RoboDK PythonAPI-u se kreiraju i anotacije
kojima se označuju pozicije i naziv predmeta na slici. Anotacije i slike predstavljaju skup
podataka kojima se trenira konvolucijska neuronska mreža (CNN), u ovom radu je to DETR
model koji uz klasifikaciju, detektira i poziciju predmeta. Nakon toga model se nadograđuje
treniranjem na malom broju realnih slika predmeta. Anotacije za realne slike se kreiraju alatom
Roboflow. Rad završava testiranjem točnosti i sigurnosti istreniranih modela. Testiraju se na
realnim i virtualnim slikama predmeta, te se njihovi rezultati uspoređuju.

Abstract (english)

This paper explores object classification using a convolutional neural network (CNN). Object
classification is crucial in numerous industrial applications, especially in automated
manufacturing processes where it is used for recognizing and sorting objects of different shapes
and sizes. The main goal is to create a model that classifies ten objects and detects their positions
in a given image. The study begins with the use of RoboDK software to simulate a real-world
environment as accurately as possible. By utilizing the simulated camera API and the RoboDK
Python API, a large number of object images are generated at random positions and with
random rotations around the Z-axis. In addition to images, annotations are created within the
RoboDK Python API to mark object positions and names in the images. These annotations and
images form the dataset used to train the convolutional neural network (CNN). In this study,
the DETR model is used, which, in addition to classification, also detects object positions.
Subsequently, the model is fine-tuned using a small set of real object images. Annotations for
real images are created using the Roboflow tool. The paper concludes with testing the accuracy
and reliability of the trained models. The models are evaluated on both real and virtual object
images, and their results are compared.

• Keywords: RoboDK; Python; CNN; DETR
• Keywords (english): RoboDK; Python; CNN; DETR
• Language: croatian
• URN:NBN: urn:nbn:hr:235:218387
• Study programme: Title: Mechanical Engineering; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka strojarstva (sveučilišni/a prvostupnik/prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka strojarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2025-02-20 16:52:09