Peramalan Sentimen Publik terhadap Magang Nasional pada Media Sosial X Menggunakan LSTM dengan Pelabelan Large Language Model

Abstract

Media sosial menjadi ruang utama bagi publik untuk mengekspresikan opini terhadap kebijakan pemerintah, termasuk program Magang Nasional Kementerian Ketenagakerjaan. Penelitian ini bertujuan mengevaluasi pelabelan otomatis GPT 4o mini dengan strategi zero-shot dan few-shot terhadap pelabelan manual, membandingkan performa peramalan Long Short-Term Memory (LSTM) berdasarkan sumber pelabelan terbaik dengan dua representasi input berupa persentase sentimen positif harian dan persentase sentimen positif harian yang dihaluskan dengan moving average 7 hari (MA-7), serta memproyeksikan sentimen positif publik terhadap program tersebut. Sebanyak 7.240 tweet berbahasa Indonesia dikumpulkan dan dilabeli secara manual oleh dua annotator dengan Cohen's Kappa sebesar 0,7545. Strategi few-shot mengungguli zero-shot dengan balanced accuracy 0,9012, Cohen's Kappa 0,8818, dan macro F1score 0,9199. Pada tahap peramalan, input MA-7 secara konsisten mengungguli input harian mentah dengan penurunan RMSE uji sebesar 81,1% pada pelabelan manual dan 61,2% pada pelabelan few-shot. Proyeksi 30 hari ke depan menunjukkan kecenderungan melemah pada akhir periode. Temuan ini mengindikasikan bahwa pelabelan few shot dapat menjadi alternatif pelabelan manual yang efisien dan smoothing MA-7 bisa meningkatkan kinerja peramalan pada data sentimen harian yang berfluktuasi tinggi.

Social media has become the primary space for the public to express opinions on government policies, including the Ministry of Manpower's National Internship program. This study aims to evaluate the automatic labeling of GPT-4o mini using zero-shot and few-shot strategies against manual labeling, compare the forecasting performance of Long Short-Term Memory (LSTM) based on the best labeling source with two input representations namely the daily positive sentiment percentage and the daily positive sentiment percentage smoothed with a 7-day moving average (MA-7), and project public positive sentiment toward the program. A total of 7,240 Indonesian-language tweets were collected and manually labeled by two annotators, achieving a Cohen's Kappa of 0.7545. The few-shot strategy outperformed the zero-shot strategy, yielding a balanced accuracy of 0.9012, a Cohen's Kappa of 0.8818, and a macro F1score of 0.9199. In the forecasting stage, the MA-7 input consistently outperformed the raw daily input, showing a decrease in test RMSE by 81.1% for manual labeling and 61.2% for few-shot labeling. A 30 day ahead projection indicates a weakening trend toward the end of the period. These findings indicate that few-shot labeling can serve as an efficient alternative to manual labeling, and MA-7 smoothing can enhance forecasting performance on highly fluctuating daily sentiment data.