Implementasi Sistem Pengenalan Plat Nomor Otomatis Berbasis Large Language Model di PT XYZ

Abstract

Penelitian ini bertujuan untuk mengembangkan sistem Automatic Number Plate Recognition (ANPR) berbasis video untuk lingkungan pertambangan dengan mengintegrasikan YOLOv11 untuk deteksi plat nomor dan Large Language Model (LLM) untuk pengenalan karakter, serta membandingkan kinerjanya dengan EasyOCR dan Tesseract OCR. Sistem dikembangkan menggunakan metodologi CRISP-DM dengan dataset berupa frame video CCTV yang diambil pada berbagai kondisi pencahayaan, sudut pengambilan gambar, dan gangguan visual. Model YOLOv11 mencapai nilai mAP@50 sebesar 0,995. Pada tahap pengenalan karakter, LLM memberikan performa terbaik dengan akurasi format sebesar 97,2%, akurasi karakter sebesar 69,4%, dan estimasi latensi ±1–3 detik. Sebagai perbandingan, EasyOCR memperoleh akurasi format sebesar 39,8% dan akurasi karakter sebesar 21,3%, sedangkan Tesseract OCR memperoleh akurasi format sebesar 20,4% dan akurasi karakter sebesar 0%, dengan estimasi latensi ±0,2–0,8 detik untuk kedua metode. Hasil tersebut menunjukkan bahwa LLM lebih robust untuk diterapkan pada sistem ANPR di lingkungan pertambangan.

This study aims to develop a video-based Automatic Number Plate Recognition (ANPR) system for mining environments by integrating YOLOv11 for license plate detection and a Large Language Model (LLM) for character recognition, while comparing its performance with EasyOCR and Tesseract OCR. The system was developed using the CRISP-DM methodology with CCTV video frames captured under varying lighting conditions, viewing angles, and visual disturbances. The YOLOv11 model achieved a mAP@50 of 0,995. For character recognition, the LLM outperformed the other methods, achieving 97,2% format accuracy, 69,4% character accuracy, and an estimated latency of ±1–3 seconds. In comparison, EasyOCR achieved 39,8% format accuracy and 21,3% character accuracy, while Tesseract OCR achieved 20,4% format accuracy and 0% character accuracy, with an estimated latency of ±0,2–0,8 seconds for both methods. These results demonstrate that the LLM is more robust for ANPR applications in mining environments.