Analisis Pengalaman Pengguna Terkait Pemanfaatan Large Language Model (LLM) untuk Pembimbingan Tugas Akhir Mahasiswa

Abstract

LLM pada chatbot memiliki peran besar dalam pembelajaran untuk meningkatkan produktivitas mahasiswa dan memberikan pengguna pengalaman berkomunikasi dengan chatbot yang realistis. Tujuan dari penelitian ini adalah mengukur indikator kepercayaan, pemahaman pengguna dan kecocokan cara berkomunikasi pengguna dengan model LLM dan menganalisis pengalaman pengguna terhadap pemanfaatan LLM dalam pembimbingan tugas akhir terhadap mahasiswa dalam menggunakan SOM AI dan ChatGPT. Riset pengguna dilakukan secara kuantitatif dengan kuesioner, serta kualitatif dengan wawancara kepada mahasiswa. Kuesioner diisi oleh 60 partisipan dan diambil 15 partisipan untuk melakukan wawancara. Berdasarkan hasil dari kuesioner dan wawancara, responden cenderung mempercayai jawaban yang memberikan informasi yang cukup untuk mengerjakan tugas akhir. Responden cenderung lebih mudah paham dengan informasi yang disajikan perpoin. Bahasa yang tidak terlalu baku, namun dikemas dengan formal merupakan preferensi cara berkomunikasi responden ketika menggunakan chatbot untuk tugas akhir.

LLM in chatbot has a great role in learning to increase student productivity and provide users with a realistic experience of communicating with chatbot. The purpose of this study is to measure indicators of trust, user understanding and compatibility of the user's way of communicating with the LLM model and analyze the user's experience of utilizing LLM in final project guidance to students using SOM AI and ChatGPT. User research was conducted quantitatively with a questionnaire, and qualitatively with interviews with students. The questionnaire was filled out by 60 participants and 15 participants were taken to conduct interviews. Based on the results of the questionnaire and interviews, respondents tend to trust answers that provide enough information to do the final project. Respondents tend to understand more easily with information presented in bullet points. Language that is not too standardized, but packaged formally is the preference for the way respondents communicate when using a chatbot for the final project.