Optimasi Model Hybrid Convolutional Vision Transformer untuk Defect Detection pada Extrusion-Based 3D Food Printing

Abstract

Teknologi 3D Printing khususnya cetak objek makanan di Indonesia belum banyak diterapkan baik sisi industri maupun masyarakat umum. Efisiensi dan efektivitas cetak makanan pada 3D Food Printing sangatlah diperlukan demi menghemat bahan material cetak makanan. Sistem monitoring cetak jarak jauh diperlukan untuk membantu pengguna dalam mengawasi proses cetak tersebut. Selain dapat menghemat bahan material, sistem monitoring jarak jauh secara real-time bagi proses cetak 3D Food Printing juga dapat melakukan pengawasan proses cetak tanpa harus menunggu di tempat secara efektif. Beberapa riset sebelumnya telah dilakukan penelitian dalam hal deteksi defect pada objek cetak pada mesin 3D Printing konvensional. Penelitian tersebut dilakukan dengan dua model algoritma yakni dengan model machine learning (ML) dan deep learning (DL) dengan nilai akurasi bervariasi yang didasari bahan material yang digunakan. Convolutional Neural Network (CNN) menjadi salah satu metode deep learning yang paling banyak digunakan pada jenis klasifikasi dan object detection untuk monitoring defect pada 3D Printing konvensional. Hal ini menjadi peluang penelitian dimana model deep learning yang digunakan untuk melakukan deteksi defect pada objek 3D Food Printing belum pernah dilakukan. Tantangan algoritma deep learning pada implementasinya perlu beban komputasi tinggi dan kumpulan data yang besar. Tantangan lain adalah kompleksitas data berupa objek cetak makanan dengan tingkat kesulitan dalam orientasi dan skala yang bervariasi. Penelitian awal dilakukan mendeteksi defect pada makanan yang sedang dicetak secara real-time berbasis Internet of Things (IoT). Skema setup formation berbasis IoT diterapkan sebagai kombinasi alat sebagai proses cetak awal. Tujuan dari penelitian ini adalah untuk menguji sistem deteksi yang biasa digunakan pada 3D Printing biasa agar diterapkan pada 3D Food Printing. Hasil dari penelitian ini memberikan informasi bahwa deteksi cacat dan kegagalan proses cetak dapat dikontrol secara jarak jauh (PC dan Smartphone). Serta monitoring yang sebelumnya hanya diterapkan pada 3D Printing biasa, dapat diterapkan pada monitoring 3D Food Printing dengan deteksi defect pada proses cetak. Selain itu, penelitian ini bertujuan mendapatkan kumpulan dataset citra defect untuk dapat diklasifikasikan dengan model deep learning. Penelitian selanjutnya melakukan klasifikasi awal pada model pre-trained learning dengan model ResNet-50 dan Inception-V3 berdasarkan dataset hasil deteksi real-time 3D Food Printing ditambah dengan dataset 3D Printing konvensional. Penelitian utama mengusulkan model Con4ViT, model hybrid yang menggabungkan model vision transformer (ViT) dengan kemampuan ekstraksi fitur milik Convolutional Neural Network (CNN). Fitur yang diekstraksi secara lokal di CNN digabungkan menggunakan fitur global dengan empat blok encoder transformer. Kebaruan penelitian ini adalah membangun serta melakukan metode hybrid antara CNN dengan mengekstrak fitur tingkat lokal ke dalam fitur ekstraksi global milik ViT dengan memodifikasi beberapa fitur dalam encoder serta urutan arsitektur hybrid antara CNN dengan ViT. Penggunaan konvolusi satu dimensi pada feed forward network (FFN) dilakukan pada penelitian ini. Kemudian modikasi urutan dataflow proses hybrid dengan empat blok encoder transformer menggunakan tiga skenario yang akan diimplementasikan pada model hybrid Con4ViT. Tiga skenario berupa reshape linear projection (RLP), reshape embedding linear projection (RELP) dan reshape embedding linear projection (RELP) patches disimulasikan untuk mendapatkan kinerja terbaik. Hasil simulasi jika dibandingkan antara model Con4ViT dengan skenario RLP, RELP dan RELP patches dihasilkan kinerja terbaik pada model Con4ViT RLP dengan akurasi 95,91% dan 939,06 MFLOPs. Simulasi selanjutnya dilakukan perbandingan dengan model deep learning berbasis pre-trained learning lainnya seperti VGG16, VGG19, EfficientNetB2, Inception-V3, dan ResNet50. Hasil simulasi menunjukkan bahwa model tersebut menghasilkan akurasi sebesar 95,91%, lebih tinggi dibandingkan teknik pre-trained learning lain, yaitu VGG16, VGG19, MobileNetV2, EfficientNetB2, InceptionV3, dan ResNet50, dengan akurasi masing-masing sebesar 77,88%, 86,30%, 82,95%, 90,87%, 84,62%, dan 93,83%. Penelitian ini menunjukkan bahwa model Con4ViT yang diusulkan dapat digunakan untuk klasifikasi defect 3D Food Printing dengan akurasi yang tinggi dan beban komputasi yang ringan. Penggantian lapisan akhir fully connected pada FFN dengan lapisan konvolusi satu dimensi (Conv1D) terbukti dapat meningkatkan efisiensi parameter sehingga memiliki hasil kinerja yang baik. Lapisan konvolusi tersebut juga lebih efektif dalam menangkap pola lokal dan dependensi antar fitur sehingga beban komputasi menjadi lebih ringan. Selain itu, penggunaan parameter yang lebih sedikit memungkinkan model ini untuk diimplementasikan secara efisien pada perangkat IoT dan smartphone, namun tetap memiliki nilai akurasi yang tinggi. Setelah proses pemodelan, dilanjutkan pembuatan framework web 3D Food Printing berupa prototype yang dikembangkan pada server colab berbasis flask. Framework web tersebut diberi nama Cakari 3D Food Printing. Sistem kerja web ini berbasis tunnel yang dilakukan pada localhost milik flask sehingga bisa diakses dari internet. Tujuan dari penggunaan framework web ini memungkinkan model dapat diakses oleh aplikasi lain sehingga dapat diintergrasikan sesuai kebutuhan seperti aplikasi berbasis smartphone, IoT ataupun cloud.

3D printing technology, especially printing food objects in Indonesia, has not been widely applied by either the industry or the general public. The efficiency and effectiveness of 3D Food Printing are needed to save food printing materials. A remote print monitoring system is needed to assist users in monitoring the print process. In addition to saving materials, a real-time remote monitoring system for the 3D food printing process can also effectively monitor the printing process without having to wait on-site. Some previous research has been conducted in terms of defect detection on printed objects on conventional 3D printing machines. The research was conducted with two algorithm models, namely machine learning (ML) and deep learning (DL) models, with varying accuracy values based on the materials used. Convolutional Neural Network (CNN) is one of the most widely used deep learning methods in classification and object detection for monitoring defects in conventional 3D printing. This is a research opportunity where a deep learning model is used to perform defect detection on 3D Food Printing objects, which has never been done. The challenge of deep learning algorithms in their implementation requires high computational load and large data sets. Another challenge is the complexity of data in the form of food printing objects with varying levels of difficulty in orientation and scale. Initial research was conducted to detect defects in food being printed in real-time based on the Internet of Things (IoT). The IoT-based setup formation scheme is applied as a combination of tools for the initial printing process. The purpose of this research is to test the detection system commonly used in ordinary 3D printing to be applied to 3D food printing. The results of this research provide information that defect detection and failure of the printing process can be controlled remotely (PC and Smartphone). As well as monitoring that was previously only applied to ordinary 3D Printing, it can be applied to 3D Food Printing monitoring with defect detection in the printing process. In addition, this research aims to obtain a collection of defect image datasets to be classified with deep learning models. The next research performs initial classification on pre-trained learning models with ResNet-50 and Inception-V3 models based on real-time detection datasets of 3D Food Printing, coupled with conventional 3D Printing datasets. The main research proposes the Con4ViT model, a hybrid model that combines the vision transformer (ViT) model with the feature extraction capabilities of a Convolutional Neural Network (CNN). Locally extracted features in the CNN are combined using global features with four transformer encoder blocks. The novelty of this study is: building and implementing a hybrid method between CNN by extracting local-level features into ViT's global extraction features by modifying several features in the encoder and the sequence of hybrid architectures between CNN and ViT. The use of one-dimensional convolution in a feed-forward network (FFN) was carried out in this study. Then, modify the dataflow sequence of the hybrid process with four block encoder transformers using three scenarios that will be implemented in the Con4ViT hybrid model. The three scenarios of reshape linear projection (RLP), reshape embedding linear projection (RELP), and reshape embedding linear projection (RELP) patches are simulated to get the best performance. The simulation results, when compared between the Con4ViT model with the RLP, RELP, and RELP patches scenarios, resulted in the best performance on the Con4ViT RLP model with 95.91% accuracy and 939.06 MFLOPs. Further simulations were carried out in comparison with other pre-trained deep learning models such as VGG16, VGG19, EfficientNetB2, InceptionV3, and ResNet50. The simulation results show that the model produces an accuracy of 95.91%, higher than other pre-trained learning techniques, namely VGG16, VGG19, MobileNetV2, EfficientNetB2, InceptionV3, and ResNet50, with accuracies of 77.88%, 86.30%, 82.95%, 90.87%, 84.62%, and 93.83%, respectively. This study shows that the proposed Con4ViT model can be used for 3D Food Printing defect classification with high accuracy and light computational load. Replacing the final fully connected layer in the FFN with a one-dimensional convolutional layer (Conv1D) has been shown to improve parameter efficiency, resulting in improved performance. This convolutional layer is also more effective at capturing local patterns and dependencies between features, reducing the computational burden. Furthermore, the use of fewer parameters allows this model to be implemented efficiently on IoT devices and smartphones while maintaining high accuracy. After the modeling process, creating a 3D Food Printing web framework in the form of a prototype was continued, which was developed on a Flask-based colab server. The web framework is named Cakari 3D Food Printing. The working system of this web is based on a tunnel that is carried out on the Flask localhost so that it can be accessed from the internet. The purpose of using this web framework is to allow the model to be accessed by other applications so that it can be integrated according to needs, such as smartphones, IoT, or cloud-based applications.