Optimalisasi Sistem Cerdas Menggunakan ResNet50 dan YOLOv8 untuk Estimasi Nilai Gizi pada Makanan

Abstract

Pemantauan asupan gizi secara konvensional bersifat manual, memakan waktu, dan rentan kesalahan. Penelitian ini bertujuan mengembangkan sistem cerdas berbasis deep learning untuk identifikasi jenis makanan sekaligus estimasi nilai gizi otomatis dari citra makanan. Sistem mengintegrasikan YOLOv8 sebagai detektor objek dan ResNet-50 sebagai klasifikator. Citra dideteksi oleh YOLOv8 untuk menghasilkan Region of Interest (ROI) guna meminimalkan pengaruh latar belakang. ROI kemudian diklasifikasikan oleh ResNet-50 melalui pendekatan transfer learning. Penelitian berfokus pada lima pangan utama (Nasi, Ayam, Telur, Tahu, Tempe) sesuai konteks Program Makan Bergizi Gratis (MBG), yang hasilnya diintegrasikan dengan basis data komposisi pangan Indonesia untuk mengestimasi kalori, protein, lemak, dan karbohidrat. Pengujian ResNet-50 membandingkan optimizer Adam dan AdamW. Hasilnya, AdamW memberikan performa terbaik dengan test accuracy 92,7% dibandingkan Adam (83,7%) karena mampu mengurangi overfitting. Model YOLOv8 menunjukkan deteksi objek yang stabil dan akurat. Evaluasi confusion matrix mengonfirmasi kinerja klasifikasi yang baik, meskipun terdapat kesalahan minor akibat kemiripan visual antar kelas dan variasi pencahayaan. Kesimpulannya, integrasi YOLOv8 dan ResNet-50 menghasilkan pipeline visi komputer yang efektif untuk identifikasi makanan dan estimasi gizi secara real-time. Pengembangan lebih lanjut disarankan untuk menambah variasi data dan menguji sistem pada kondisi lapangan yang lebih kompleks.

Conventional nutritional intake monitoring is manual, time-consuming, and prone to errors. This study aims to develop an intelligent deep learning-based system to identify food types and automatically estimate nutritional values from food images. The system integrates YOLOv8 as an object detector and ResNet-50 as a classifier. Images are processed by YOLOv8 to generate Regions of Interest (ROI), minimizing background influence. The ROI is then classified by ResNet-50 using a transfer learning approach. The research focuses on five main food items (Rice, Chicken, Egg, Tofu, Tempeh) relevant to the Free Nutritious Meal Program (MBG) context. The classification results are integrated with the Indonesian food composition database to estimate calories, protein, fat, and carbohydrates. Testing of ResNet-50 compared the Adam and AdamW optimizers. AdamW yielded the best performance with a test accuracy of 92.7% compared to Adam (83.7%), as it effectively reduced overfitting. The YOLOv8 model demonstrated stable and accurate object detection. Evaluation using a confusion matrix confirmed good classification performance, despite minor errors caused by high visual similarities between classes and lighting variations. In conclusion, integrating YOLOv8 and ResNet-50 produces an effective computer vision pipeline for food identification and real-time nutritional estimation. Further development is recommended to expand data variety and test the system in more complex field conditions.