Model Akuntabilitas Kinerja Instansi Pemerintah Menggunakan Retrieval Augmented Generation (Studi Kasus : BPPSDMKP)

Abstract

Implementasi Sistem Akuntabilitas Kinerja Instansi Pemerintah (SAKIP) yang menghasilkan volume dokumen regulasi dan laporan yang masif menyebabkan terlalu banyak informasi, sehingga menghambat efektivitas evaluasi kinerja organisasi dan pengambilan keputusan strategis. Meskipun penggunaan kecerdasan buatan bisa membantu mengatasi masalah tidak efisien tersebut, penggunaannya tetap berisiko menghasilkan halusinasi data yang bisa mengganggu keakuratan dalam menganalisis kebijakan. Oleh karena itu, arsitektur Retrieval-Augmented Generation (RAG) diajukan sebagai solusi inovatif yang menggabungkan kemampuan mengambil informasi dari sumber pengetahuan yang terverifikasi dengan Large Language Model (LLM), sehingga memastikan hasil evaluasi SAKIP menjadi lebih valid, akurat, dan dapat berinteraksi dengan baik. Penelitian ini bertujuan untuk: (1) merancang model akuntabilitas kinerja instansi pemerintah menggunakan RAG; (2) menganalisis dan mengukur performa model RAG; serta (3) mengevaluasi manfaat dan memberikan rekomendasi penerapan model RAG. Penelitian ini menggunakan pendekatan RAG, di mana kualitas model dinilai menggunakan framework RAGAS, sedangkan manfaatnya dinilai melalui metode System Usability Scale (SUS) dan uji statistik Wilcoxon Signed-Rank Test. Penelitian ini menghasilkan model yang menggabungkan sistem evaluasi SAKIP dengan RAG. Hasil penilaian menggunakan metrik RAGAS kemampuan pengambilan informasi secara komprehensif yang dibuktikan melalui skor pada aspek Context Precision (0,835) dan Context Recall (0,984). Selain itu, respons yang dihasilkan terbukti relevan dan konsisten secara fakta dan makna sesuai dengan jawaban sebenarnya (ground truth), yang ditunjukkan oleh skor pada aspek Faithfulness (0,979), Answer Relevancy (0,816), dan Answer Correctness (0,964). Sementara itu, hasil uji statistik menunjukkan adanya perbedaan yang sangat signifikan pada efektivitas kerja sebelum dan sesudah intervensi penggunaan model RAG (Z = -3,294; p < 0,05). Evaluasi usability menghasilkan skor rata-rata 73,21 (kategori Acceptable). Penerapan kecerdasan buatan ini mengubah proses evaluasi dari yang bersifat manual menjadi sistem pendukung keputusan yang mampu mengurangi beban tugas rutin asesor, sehingga asesor dapat lebih berfokus pada analisis konteks strategis yang berorientasi pada hasil. Temuan penelitian ini diharapkan dapat menjadi rujukan dalam mempercepat digitalisasi sistem monitoring dan evaluasi kinerja instansi pemerintah agar lebih cerdas dan adaptif. Meskipun demikian, kecerdasan buatan dalam sistem ini berfungsi sebatas sebagai alat bantu, sedangkan keputusan akhir tetap sepenuhnya berada pada pengguna.