Pengembangan Chatbot Berbasis Large Language Model dengan Pendekatan Retrieval-Augmented Generation untuk Layanan Informasi Akademik

Abstract

Penyampaian informasi akademik di Sekolah Vokasi IPB masih statis dan terbatas pada jam kerja staf. Penelitian ini bertujuan merancang, mengembangkan, dan mengevaluasi chatbot layanan informasi akademik berbasis Large Language Model (LLM) dengan pendekatan Retrieval-Augmented Generation (RAG) guna mengatasi halusinasi informasi. Metode pengembangan menerapkan Prototyping Process Model dalam dua iterasi. Pada Iterasi 1, uji fungsionalitas black-box berhasil 100%, namun evaluasi RAGAs menunjukkan performa retrieval di bawah target. Pada Iterasi 2, optimasi retrieval dilakukan menggunakan hybrid search (vektor dan BM25), Reciprocal Rank Fusion (RRF), cross-encoder reranking, dan section-aware chunking. Hasil Iterasi 2 menunjukkan seluruh metrik RAGAs melampaui target (nilai faithfulness 0,992 dan context precision 0,859). Optimasi ini meningkatkan efisiensi sehingga waktu respons turun dari 29,08 detik menjadi 3,90 detik, dan konsumsi memori menjadi 0,30 GB. Chatbot ini terbukti akurat dan responsif dalam membantu mahasiswa memperoleh informasi akademik secara mandiri.

Academic information services at the College of Vocational Studies, IPB University, are currently static and limited to working hours. This study aims to design, develop, and evaluate a Large Language Model (LLM)-based academic information service chatbot using the Retrieval-Augmented Generation (RAG) approach to overcome information hallucinations. The system development adopted the Prototyping Process Model across two iterations. In Iteration 1, black-box testing was 100% successful, yet RAGAs evaluation revealed sub-target retrieval performance. In Iteration 2, retrieval was optimized using hybrid search (vector and BM25), Reciprocal Rank Fusion (RRF), cross-encoder reranking, and section-aware chunking. Iteration 2 results showed all RAGAs metrics exceeded the target (faithfulness of 0.992 and context precision of 0.859). This optimization enhanced system efficiency, cutting response time from 29.08 to 3.90 seconds and reducing memory consumption to 0.30 GB. The chatbot is proven accurate and responsive in helping students access academic information independently.