Performa IndoBERT dengan Optuna pada Analisis Sentimen Data tidak Seimbang di Aplikasi Signal

Abstract

Analisis sentimen memainkan peran penting dalam memahami umpan balik pengguna terhadap aplikasi, khususnya dalam meningkatkan kualitas layanan digital. IndoBERT merupakan salah satu model pemrosesan bahasa alami terkemuka yang mampu memahami konteks teks secara mendalam. Penelitian ini menerapkan model IndoBERT pada aplikasi Signal – Samsat Digital Nasional, sebuah aplikasi pelayanan publik untuk pembayaran pajak kendaraan bermotor secara daring. Performa model dioptimalkan menggunakan hyperparameter tuning Optuna, yang terbukti lebih efisien dibandingkan Random Search maupun Grid Search. Selain itu, pendekatan penanganan data tidak seimbang juga diterapkan menggunakan teknik oversampling seperti SMOTE, K-Means SMOTE, dan ADASYN. Metrik evaluasi yang digunakan dalam penelitian ini adalah balanced accuracy dan macro f1-score, karena keduanya mampu memberikan penilaian performa yang lebih adil pada klasifikasi data tidak seimbang. Hasil terbaik diperoleh melalui kombinasi IndoBERT dengan K-Means SMOTE, yang menghasilkan nilai balanced accuracy sebesar 0,7623 dan macro f1-score sebesar 0,7846. Kombinasi ini meningkatkan balanced accuracy hingga 6% dan macro f1-score hingga 4% dibanding model tanpa penanganan data tidak seimbang. Hasil ini menunjukkan bahwa K-Means SMOTE merupakan teknik yang paling efektif di antara metode yang diuji dalam meningkatkan performa model pada tugas klasifikasi sentimen multi kelas dengan data yang tidak seimbang.