PENGEMBANGAN DAN EVALUASI CHATBOT PEMBELAJARAN BERPIKIR KOMPUTASIONAL BERBASIS RAG DAN LLM

Abstract

Computational Thinking (CT) merupakan mata kuliah wajib di Institut Pertanian Bogor yang konsisten menimbulkan kesulitan bagi mahasiswa, sementara metode pengajaran yang ada belum mengakomodasi keragaman gaya belajar. Penelitian ini mengembangkan dan mengevaluasi sistem chatbot pembelajaran CT berbasis LLM yang diintegrasikan dengan Retrieval-Augmented Generation (RAG), dengan profil kognitif multi-dimensi mahasiswa (Felder-Silverman, Kolb, dan Taksonomi Bloom) sebagai konteks prompt. Evaluasi kuantitatif terhadap 210 kasus uji sintetis dalam tujuh kategori membandingkan kondisi dengan dan tanpa RAG, dilengkapi kuesioner persepsi 20 mahasiswa. Hasil menunjukkan kinerja retrieval sangat baik (Precision@K 1,00; Recall@K 0,95; Mean Similarity 0,75). Kondisi RAG menghasilkan Faithfulness lebih tinggi (0,69 vs 0,64) dan Hallucination Risk lebih rendah (0,21 vs 0,24), meski Answer Accuracy sedikit lebih rendah (88,6% vs 90,5%) akibat desain baseline yang minimalis. Persepsi pengguna mengonfirmasi relevansi respons sistem. Temuan ini membuktikan RAG meningkatkan keselarasan dan menekan halusinasi LLM pada domain pembelajaran teknis.

Computational Thinking (CT) is a mandatory course at Institut Pertanian Bogor that consistently poses difficulties for students, while existing teaching methods fail to accommodate diverse learning styles. This study develops and evaluates an LLM-based CT tutoring chatbot integrated with Retrieval-Augmented Generation (RAG) using multi-dimensional student cognitive profiles (Felder Silverman, Kolb, and Bloom's Taxonomy) as prompt context. Quantitative evaluation on 210 synthetic test cases across seven categories compared conditions with and without RAG, supplemented by a perception questionnaire from 20 students. Results show strong retrieval performance (Precision@K 1,00; Recall@K 0,95; Mean Similarity 0,75). The RAG condition yielded higher Faithfulness (0,69 vs 0,64) and lower Hallucination Risk (0,21 vs 0,24), though Answer Accuracy was slightly lower (88,6% vs 90,5%) due to a minimalist baseline design. User perception confirms system response relevance. These findings demonstrate that RAG improves response alignment and reduces hallucination risk in a technical learning domain.