Integracija metoda strojnog vida i učenja za automatiziranu detekciju, lokalizaciju i verifikaciju mikroprocesorskih pločica

master's thesis

• Title (english): Integration of machine vision and learning methods for automated detection, localization, and verification of microprocessor boards
• Author: Luka Šiktar
• Mentor: Filip Šuligoj (mentor)
• Granter: University of Zagreb; Faculty of Mechanical Engineering and Naval Architecture; Zagreb
• Defense date and country: 2024-01-25, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Mechanical Engineering

Abstract

Kontrola kvalitete mikroprocesorskih pločica predstavlja krajnji korak u proizvodnom ciklusu mikroprocesora. Ona značajno utječe na vrijeme proizvodnje, kvalitetu finalnog proizvoda i njegovu konačnu cijenu. U vrijeme konstantnog tehnološkog napretka, potiče se razvoj inovativnih metoda kontrole kvalitete koje osim što osiguravaju točnost, ubrzavaju proizvodni proces, čime on postaje ekonomski isplativiji. Jedan od smjerova razvoja kontrole kvalitete je uključivanje naprednih tehnologija i alata kao što su računalni vid i duboko učenje u proces. Ovaj rad predstavlja sustav za automatiziranu detekciju, lokalizaciju, verifikaciju i inspekciju mikroprocesorskih pločica, korištenjem metoda računalnog vida i učenja. Sustav se sastoji od nekoliko segmenata: detekcija i verifikacija mikroprocesorskih pločica i njihovih komponenti korištenjem YOLOv8 konvolucijske neuronske mreže, segmentiranje i izdvajanje slika detektiranih komponenti mikroprocesora za provođenje inspekcije lemljenih spojeva i pinova korištenjem metoda adaptivnog praga (engl. adaptive threshold) i optičko prepoznavanje teksta. Sustav kombinira inovativne tehnologije kako bi omogućio točnost i brzinu kontrole kvalitete mikroprocesorskih pločica.
Cilj rada je konstruirati inovativni sustav industrijske primjene računalnog vida za adaptivnu kontrolu kvalitete mikroprocesorskih pločica. Razvoj kompletnog sustava uključuje izradu seta podataka mikroprocesorskih pločica za treniranje YOLOv8 konvolucijske neuronske mreže, trening neuronske mreže korištenjem posebnih alata te razvoj implementacije sustava za detekciju, verifikaciju, inspekciju i optičko prepoznavanje teksta. Trenirana YOLOv8 konvolucijska neuronska mreža prema mean Average Precision (mAP) metrici postiže rezultat od 99.53% mAP, inspekcijski sustav s adaptivnim pragom postiže preciznost (engl. precision) od 95,9%, a pokrivenost (engl. recall) iznosi 97,87%. Optičko prepoznavanje teksta postiže 95.64% točno prepoznavanje teksta.

Abstract (english)

The quality control of microprocessor boards, Single Board Computers (SBCs), or Printed Circuit Boards (PCBs) is the final and crucial segment of microprocessor manufacturing. Quality control has a significant influence on final production time and product pricing. Nowadays, there is an imperative to develop solutions that speed up quality control and make it more practical and economical. This research presents automated detection, localization, verification, and inspection of microprocessor boards using computer vision and deep learning. The proposed system encompasses several modules: microprocessor board detection and component verification using YOLOv8 convolutional neural network, targeted components image extraction for solder joint quality assessment via adaptive thresholding and optical character recognition (OCR) on selected images. The main goal is to develop industrial computer vision application for adaptable quality control.
The system development involved SBCs and PCBs dataset creation for training YOLOv8 convolutional neural network, YOLOv8 train process using PyTorch, and development of final implementation that consists of solder joint inspections and OCR. The trained YOLOv8 neural network achieves Mean Average Precision (mAP) of 99.53%, the proposed inspection system scores 95,9% precision and 97,87% recall. The OCR model scores 95.64% true positive character predictions.

• Keywords: Računalni vid; strojno učenje; mikroprocesorske pločice; YOLOv8; adaptivni threshold; optičko prepoznavanje teksta
• Keywords (english): Computer vision; Deep learning; SBC; PCB; adaptive thresholding; YOLOv8; OCR
• Language: croatian
• URN:NBN: urn:nbn:hr:235:428168
• Study programme: Title: Mechanical Engineering; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka strojarstva (magistar/magistra inženjer/inženjerka strojarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2024-01-18 11:34:21