Pengembangan Fitur dan Komparasi Akurasi, Kecepatan Inferensi, dan Ukuran Model YOLOv8s Sebelum dan Sesudah Kuantisasi ONNX Untuk Deteksi Helm pada ESP32-CAM

Abstract

MUHAMMAD AQSHA. Pengembangan Fitur dan Komparasi Akurasi, Kecepatan Inferensi, dan Ukuran Model YOLOv8s Sebelum dan Sesudah Kuantisasi ONNX untuk Deteksi Helm pada ESP32-CAM. Dibimbing oleh FALDIENA MARCELITA.

Sistem pengawasan helm pada area parkir memerlukan deteksi objek yang mampu memberikan informasi secara otomatis kepada pengguna. Penelitian ini bertujuan mengembangkan sistem pengawasan helm menggunakan ESP32-CAM sebagai sumber video, YOLOv8s sebagai model deteksi, object tracking, penyimpanan hasil deteksi, dan Telegram sebagai media notifikasi, serta membandingkan model PyTorch (best.pt) dengan model ONNX terkuantisasi (best.onnx). Pengujian dilakukan untuk mengevaluasi performa deteksi, kesesuaian hasil deteksi, kecepatan pemrosesan, dan ukuran model. Hasil evaluasi best.onnx menunjukkan precision sebesar 89,98%, recall 71,21%, F1-score 79,50%, mAP@0,50 76,48%, dan mAP@0,50:0,95 54,51%. Perbandingan pada 57 frame menghasilkan rata-rata IoU sebesar 0,9694 dengan Detection Jaccard 0,9600. Ukuran model berkurang sebesar 49,78%, sedangkan waktu inferensi dan pemrosesan end-to-end masing-masing menurun sebesar 15,94% dan 14,07%. Sistem berhasil melakukan deteksi dan pelacakan helm, menyimpan hasil deteksi, serta mengirimkan notifikasi melalui Telegram. Hasil tersebut menunjukkan bahwa model ONNX menghasilkan ukuran dan waktu pemrosesan yang lebih rendah dengan kesesuaian hasil deteksi yang tinggi terhadap model PyTorch.

MUHAMMAD AQSHA. Feature Development and Comparison of YOLOv8s Accuracy, Inference Speed, and Model Size Before and After ONNX Quantization for Helmet Detection Using ESP32-CAM. Supervised by FALDIENA MARCELITA.

Helmet monitoring systems in parking areas require object detection capabilities that can automatically provide information to users. This study aimed to develop a helmet monitoring system using ESP32-CAM as a video source, YOLOv8s as the detection model, object tracking, detection-result storage, and Telegram as a notification medium, as well as to compare the PyTorch model (best.pt) with the quantized ONNX model (best.onnx). Testing was conducted to evaluate detection performance, detection-result similarity, processing speed, and model size. Evaluation of best.onnx resulted in a precision of 89.98%, recall of 71.21%, F1-score of 79.50%, mAP@0.50 of 76.48%, and mAP@0.50:0.95 of 54.51%. Comparison using 57 frames resulted in a mean IoU of 0.9694 and a Detection Jaccard score of 0.9600. The model size decreased by 49.78%, while inference time and end-to-end processing time decreased by 15.94% and 14.07%, respectively. The system successfully performed helmet detection and tracking, stored detection results, and sent notifications through Telegram. These results indicate that the ONNX model provides lower model size and processing time while maintaining high detection-result similarity to the PyTorch model.