Perancangan Prompt Engineering Pada Chatbot Personalized Learning System Berbasis OpenRouter Llama3

Abstract

Mata kuliah Computational Thinking (CT) di IPB University menunjukkan dominasi nilai BC, B, dan C yang mengindikasikan kesulitan belajar mahasiswa. Di sisi lain, Large Language Model (LLM) generatif rentan mengalami halusinasi sehingga memerlukan strategi Prompt Engineering agar dapat berfungsi sebagai tutor yang personal. Penelitian ini bertujuan merancang taksonomi prompt berlapis dan mekanisme Variable Injection berbasis profil kognitif Dunn & Dunn untuk mempersonalisasi respons chatbot tutor CT berbasis Llama3 melalui OpenRouter dan Ollama dengan integrasi pipeline Retrieval Augmented Generation (RAG). Metode penelitian meliputi perancangan enam komponen prompt serta penyuntikan variabel profil kognitif 1PAR yang mendominasi 90% dari 451 mahasiswa. Hasil evaluasi menunjukkan strategi prompt terstruktur (Kondisi A) unggul signifikan dibandingkan zero-shot prompting (Kondisi B). Nilai ROUGE-1 meningkat dari 0,159 menjadi 0,235, BERTScore F1 dari 0,598 menjadi 0,659, dan skor LLM-as-a-Judge dari 1,1 menjadi 2,0. Skor Kesesuaian Gaya Kognitif mencapai 2 dari skala 2, sedangkan evaluasi kualitatif oleh 21 mahasiswa menghasilkan rerata skor di atas 4,0. Temuan ini mengonfirmasi bahwa Prompt Engineering terstruktur dengan Variable Injection efektif meningkatkan relevansi dan nilai pedagogis personalized learning system berbasis LLM

The Computational Thinking (CT) course at IPB University shows a concentration of BC, B, and C grades, indicating learning difficulties among students. On the other hand, generative Large Language Models (LLMs) remain prone to hallucination, requiring careful Prompt Engineering strategies to function as personalized tutors. This research aims to design a layered prompt taxonomy and a Variable Injection mechanism based on Dunn and Dunn cognitive profiles to personalize the responses of a Llama3-based CT tutor chatbot integrated with a Retrieval-Augmented Generation (RAG) pipeline via OpenRouter and Ollama. The method involved designing six prompt components and injecting the 1PAR cognitive profile that dominates 90% of 451 students. Results show that the structured prompting strategy (Condition A) significantly outperformed zero-shot prompting (Condition B). ROUGE-1 increased from 0.159 to 0.235, BERTScore F1 from 0.598 to 0.659, and the LLM-as-a-Judge score from 1.1 to 2.0. The Cognitive Style Suitability score reached 2 out of 2, while qualitative evaluation by 21 students yielded average scores above 4,0. These findings confirm that structured Prompt Engineering with Variable Injection effectively enhances the relevance and pedagogical value of LLM-based personalized learning systems