Novi model prepoznavanja ljudskih aktivnosti u proizvodnim procesima primjenom računalnoga vida

doctoral thesis

• Title (english): A new model for detection of human activities in manufacturing processes using computer vision
• Author: Mihael Gudlin
• Mentor: Nedeljko Štefanić (mentor)
• Committee member: Dragutin Lisjak (predsjednik povjerenstva)
• Committee member: Nedeljko Štefanić (član povjerenstva)
• Committee member: Ivica Veža (član povjerenstva); MBZ: 95643
• Granter: University of Zagreb; Faculty of Mechanical Engineering and Naval Architecture; Zagreb
• Defense date and country: 2021-03-26, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Mechanical Engineering
• Universal decimal classification (UDC): 67/68 - Various industries, trades and crafts; 004 - Computer science and technology. Computing. Data processing

Abstract

Učinkovitost ljudskog faktora će i u budućnosti imati značajan utjecaj na cjelokupni proizvodni sustav, što znači da će tu učinkovitost biti potrebno pratiti i kvantificirati. Metrika bazirana na vremenu izvođenja rada jedan je od važnijih pokazatelja učinkovitosti. Konvencionalni pristupi studiju vremena temeljeni su na promatranju ljudskih operacija, unaprijed definiranim vremenskim standardima i u novije vrijeme video snimkama i njihovoj ručnoj analizi. Nedostaci postojećih metoda studija vremena te tehnološki trendovi poticaj su za istraživanje tehnika umjetne inteligencije s ciljem automatizacije prepoznavanja i procjene trajanja ljudskih aktivnosti u proizvodnim procesima.
Analiza ljudskih aktivnosti iz video zapisa je upravo jedan od problema iz domene računalnog vida, a koji spada u područje umjetne inteligencije. Studij vremena zahtijeva istovremeno prepoznavanje aktivnosti koju subjekt izvodi kao i vrijeme trajanja te aktivnosti. Istovremeno rješavanje ova dva zadatka predstavlja jedan od smjerova istraživanja u području računalnog vida, a koji u kontekstu proizvodnje još uvijek nije dovoljno istražen. Moderni pristupi rješavanju problema istovremenog prepoznavanja i vremenske segmentacije aktivnosti temeljeni su na dubokom strojnom učenju, području iz domene umjetne inteligencije.
Na temelju prethodnih spoznaja kao cilj istraživanja definiran je razvoj modela dubokog strojnog učenja koji će imati sposobnost prepoznavanja i vremenske segmentacije niza ljudskih aktivnosti na temelju video zapisa prikupljenih u proizvodnim procesima. Kako bi ovaj cilj bio ostvaren prikupljen je uzorak iz realnog proizvodnog procesa koji se sastoji od devet radnih aktivnosti. Prilikom snimanja procesa, radne aktivnosti su izvodila četiri subjekta na tri različita tipa proizvoda, dok je samo snimanje izvedeno iz dva različita kadra. Razvijeno je 27 različitih modela koji se razlikuju po pitanju kadra snimanja procesa, vrste ulaznih značajki modela i arhitekture modela odgovorne za finalnu klasifikaciju aktivnosti i vremensku segmentaciju. U radu je predložena i procedura za ocjenu učinkovitosti te usporedbu novih modela. Razvijeni modeli doprinijeti će poslovima industrijskih inženjera, olakšavajući analizu produktivnosti ljudskog faktora u proizvodnim procesima.

Abstract (english)

The performance of the human factor will continue to have a significant impact on the overall manufacturing system efficiency, which means that this performance will need to be monitored and quantified. Time-based metrics are viewed as one of the important performance indicators. Conventional approaches to the time study are based on observation of human activities, predefined time standards, and more recently videos and manual analysis of videos. The deficiencies of existing approaches to the time study and technological progress are the motivation for the research of artificial intelligence techniques with the aim of automating action detection in manufacturing processes.
Analysis of human activities from a video is one of the research problems in the domain of computer vision, which belongs to the field of artificial intelligence. Time study requires recognition of the activity performed by the subject and the duration of that activity. The simultaneous solution of these two tasks represents one of the research directions in the field of computer vision, which in the context of production is still not sufficiently investigated. Modern approaches to solving the problem of simultaneous recognition and time segmentation of activities are based on deep learning, an area from the domain of artificial intelligence.
The goal of this research was the development of a deep learning model with the capability of recognition and temporal segmentation of a series of human activities from videos collected in manufacturing processes. To achieve this goal, a sample was collected from the real manufacturing process, which consists of nine work activities. During the video recording of the process, the work activities were performed by four subjects on three different types of products, while the recording itself was performed from two different view positions. 27 different models have been developed which differ with respect to recording viewpoint, model input features, and model architecture responsible for activity classification and time segmentation. In the dissertation, a procedure for evaluating efficiency and comparison of new models is proposed. The developed models will contribute to the work of industrial engineers, facilitating the analysis of human factor productivity in manufacturing processes.

• Keywords: studij vremena; računalni vid; duboko strojno učenje; prepoznavanje aktivnosti; vremenska segmentacija aktivnosti; proizvodni procesi
• Keywords (english): time study; computer vision; deep learning; action segmentation; action detection; manufacturing processes
• Language: croatian
• URN:NBN: urn:nbn:hr:235:854727
• Study programme: Title: Mechanical Engineering and Naval Architecture; Study programme type: university; Study level: postgraduate; Academic / professional title: doktor/doktorica znanosti, područje tehničkih znanosti (doktor/doktorica znanosti, područje tehničkih znanosti)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2021-05-20 09:25:13