Analisis Performa Large Language Model dalam Penilaian Otomatis Menggunakan Model Campuran Linear

Abstract

Penilaian manual pada soal isian membutuhkan waktu yang relatif lama dan berpotensi menimbulkan inkonsistensi antarpenilai. Penelitian ini bertujuan mengkaji performa tiga Large Language Model (LLM), yaitu Gemini, GPT, dan Claude, dalam melakukan penilaian otomatis (autograding) pada dua konteks, Automatic Essay Scoring (AES) dan Automatic Short Answer Grading (ASAG). Penilaian dilakukan menggunakan delapan skema prompt yang dirancang berdasarkan variasi pola instruksi, urutan output, serta keberadaan contoh. Konsistensi internal antara skor dan alasan penilaian dievaluasi menggunakan uji Mantel dan divisualisasikan melalui Non-metric Multidimensional Scaling (NMDS). Selanjutnya, perbedaan performa antarkombinasi model dan skema prompt dianalisis menggunakan model campuran linear dengan peubah respons berupa kuadrat selisih skor, yang mengakomodasi struktur hierarki data melalui penambahan efek acak. Hasil eksplorasi menunjukkan bahwa LLM cenderung lebih optimal dalam melakukan penilaian pada konteks ASAG. Penggunaan rubrik terbukti meningkatkan akurasi penilaian dibandingkan tanpa rubrik. Berdasarkan pengujian konsistensi, GPT menunjukkan keselarasan tertinggi antara skor dan alasan penilaian pada konteks AES, sedangkan Gemini unggul pada konteks ASAG. Analisis lebih lanjut menunjukkan adanya interaksi antara LLM dan skema prompt terhadap kinerja penilaian otomatis. Pada konteks AES, skema prompt yang melibatkan pemberian contoh menghasilkan performa yang lebih baik. Sementara itu, pada konteks ASAG, Gemini dan GPT menunjukkan performa optimal tanpa perbedaan signifikan

Manual grading of open-ended responses requires considerable time and may lead to inter-rater inconsistency. This study aims to examine the performance of three Large Language Models (LLMs), Gemini, GPT, and Claude, in automated scoring across two contexts, Automatic Essay Scoring (AES) and Automatic Short Answer Grading (ASAG). The evaluation employs eight prompt schemes designed based on variations in instruction patterns, output order, and the inclusion of examples. Internal consistency between assigned scores and their justifications is assessed using the Mantel test and visualized through Non-metric Multidimensional Scaling (NMDS). Furthermore, differences in performance across model prompt combinations are analyzed using a linear mixed-effects model, with the squared score difference as the response variable, accounting for the hierarchical data structure through random effects. The findings indicate that LLMs tend to perform better in the ASAG context. The use of scoring rubrics significantly improves grading accuracy compared to scenarios without rubrics. In terms of consistency, GPT demonstrates the highest alignment between scores and explanations in AES, while Gemini performs best in ASAG. Additionally, results reveal an interaction effect between LLM type and prompt scheme on grading performance. In AES, prompts incorporating examples yield better results, whereas in ASAG, Gemini and GPT achieve optimal performance without significant differences