Pengembangan Fitur Chatbot Berbasis Large Language Model dengan Retrieval-Augmented Generation pada Website Pemetaan Riset

Abstract

Dashboard pemetaan riset yang telah dikembangkan sebelumnya masih memerlukan navigasi manual yang kurang efisien dalam mengakses informasi penelitian. Penelitian ini bertujuan mengembangkan fitur chatbot berbasis Large Language Model (LLM) dengan pendekatan Retrieval-Augmented Generation (RAG) untuk memungkinkan pengguna memperoleh informasi riset secara lebih cepat, relevan, dan kontekstual. Sistem dibangun menggunakan model Qwen3 sebagai LLM, ChromaDB sebagai basis data vektor, dan model intfloat/multilingual-e5-base untuk vector embedding, dengan backend FastAPI dan frontend berbasis HTML, CSS, serta JavaScript. Data bersumber dari sistem BIMA periode 2021-2025 yang mencakup lebih dari 66.000 dokumen terindeks. Sistem mendukung dua mode interaksi, yaitu Mode Data Listing dan Mode Consultation. Pengujian BERTScore menghasilkan rata-rata Precision 0,6152, Recall 0,7201, dan F1-Score 0,6634. Pengujian black box terhadap 19 test case menunjukkan tingkat keberhasilan 100%. Rata-rata response time sistem adalah 157,172 detik dengan penggunaan sumber daya yang stabil selama proses inferensi.

The previously developed research mapping dashboard still requires manual navigation that is inefficient for accessing research information. This study aims to develop a chatbot feature based on a Large Language Model (LLM) with a Retrieval-Augmented Generation (RAG) approach to enable users to obtain research information more quickly, relevantly, and contextually. The system was built using Qwen3 as the LLM, ChromaDB as the vector database, and the intfloat/multilingual-e5-base model for vector embedding, with a FastAPI backend and an HTML, CSS, and JavaScript frontend. Data was sourced from the BIMA system covering the 2021–2025 period, comprising more than 66,000 indexed documents. The system supports two interaction modes, namely Data Listing Mode and Consultation Mode. BERTScore evaluation yielded average Precision of 0.6152, Recall of 0.7201, and F1-Score of 0.6634. Black box testing across 19 test cases demonstrated a 100% success rate. The average system response time was 157.172 seconds with stable resource usage throughout the inference process.