Pengembangan dan Evaluasi Performa Chatbot AI sebagai Asisten Panduan pada Sistem Informasi Perjalanan Dinas di Kementerian Dalam Negeri

Abstract

Operational guidance administrator SIJADIN secara manual memicu tantangan transisi bagi verification administrators di Kementerian Dalam Negeri. Penelitian ini bertujuan merancang, membangun, dan mengevaluasi fitur chatbot AI berbasis Dialogflow-Laravel menggunakan metode prototyping sebagai asisten panduan operasional interaktif. Hasil pengujian menggunakan metrik Pengujian klasifikasi intent menunjukkan akurasi meningkat dari 85% menjadi 100% pada pengujian ulang terhadap set 40 kueri yang sama setelah pengayaan training phrases. Namun, hasil tersebut belum merepresentasikan kemampuan generalisasi terhadap kueri baru. Dari aspek performa, code refactoring memangkas rata rata waktu respons server dari 990 ms menjadi 827 ms. Evaluasi system usability scale (SUS) juga meningkat dari skor 86,5 menjadi 89,0 (kategori excellent). Selain itu, mekanisme validasi masukan, perlindungan kredensial, dan pencatatan aktivitas dasar telah berfungsi sesuai skenario pengujian yang ditetapkan.

Operational guidance for SIJADIN administrators is still provided manually on the Official Travel Information System website, which triggers transition challenges for verification administrators at the Ministry of Home Affairs. This research aims to design, develop, and evaluate an AI chatbot feature based on Dialogflow-Laravel using the prototyping method as an interactive operational guide assistant. The evaluation results using a confusion matrix show that accuracy increased from 85% to 100% after expanding the training phrases. Furthermore, code refactoring successfully reduced the average server response time from 990 ms to 827 ms. User satisfaction evaluated via the system usability scale also increased from 86.5 to 89.0, placing the digital assistant in the excellent category. Additionally, input validation, basic credential protection, and activity logging mechanisms functioned as intended in the defined test scenarios.