Evaluasi Kinerja LSTM dan IndoBERTweet dengan Perbandingan Multifaktor pada Analisis Sentimen Makan Bergizi Gratis

Abstract

Perkembangan teknologi informasi mendorong pemanfaatan Natural Language Processing (NLP) dalam menganalisis data berbasis teks, khususnya data yang bersumber dari media sosial. Salah satu penerapan NLP yang banyak digunakan adalah analisis sentimen, yaitu proses mengidentifikasi dan mengklasifikasikan opini publik terhadap suatu isu atau kebijakan. Media sosial X/Twitter menjadi sumber data yang relevan karena memuat opini masyarakat dalam skala besar. Namun, karakteristik teks media sosial yang singkat, informal, mengandung slang, emoji, code-mixing, serta distribusi kelas sentimen yang tidak seimbang menjadi tantangan dalam proses klasifikasi sentimen. Penelitian ini bertujuan untuk menganalisis pengaruh metode pelabelan, skenario pra-pemrosesan teks, metode penanganan ketidakseimbangan kelas dan model klasifikasi terhadap performa klasifikasi sentimen opini publik terkait program Makan Bergizi Gratis. Program ini merupakan program pemerintah yang bertujuan meningkatkan pemenuhan gizi anak sekolah melalui penyediaan makanan bergizi di lingkungan pendidikan. Sejak diumumkan hingga tahap implementasi, program ini memunculkan beragam respons publik, baik berupa dukungan, kritik, maupun masukan, sehingga relevan untuk dianalisis menggunakan pendekatan analisis sentimen. Data penelitian berupa unggahan masyarakat di media sosial X/Twitter yang dikumpulkan menggunakan teknik scraping dengan kata kunci terkait Makan Bergizi Gratis. Data dikelompokkan ke dalam tiga periode, yaitu Pra-Implementasi, Implementasi Awal, dan Implementasi Lanjutan untuk melihat dinamika opini publik seiring perkembangan pelaksanaan program. Pelabelan sentimen dilakukan menggunakan dua pendekatan, yaitu pelabelan manual sebagai ground truth dan pelabelan otomatis menggunakan GPT-4.1 Mini dengan tiga kategori sentimen yaitu positif, netral, dan negatif. Tahapan pra-pemrosesan teks dilakukan dengan membandingkan dua skenario yaitu skenario tanpa normalisasi kata tidak baku dan emoji dihapus, serta skenario dengan normalisasi kata tidak baku dan mempertahankan emoji. Perlakuan terhadap ketidakseimbangan kelas dilakukan melalui baseline atau tanpa penanganan, class weight, dan focal loss. Model klasifikasi yang digunakan adalah Long Short-Term Memory (LSTM) dan IndoBERTweet. LSTM digunakan untuk merepresentasikan pendekatan sekuensial dalam mempelajari urutan kata, sedangkan IndoBERTweet digunakan sebagai model berbasis transformer yang telah dilatih pada korpus media sosial berbahasa Indonesia. Evaluasi model dilakukan menggunakan metrik balanced accuracy dan F1-score dengan 5-fold cross-validation sebanyak 10 pengulangan. Analisis lanjutan menggunakan ART Analysis of Variance (ANOVA) untuk mengevaluasi pengaruh utama serta interaksi antar faktor eksperimen. Hasil penelitian menunjukkan bahwa distribusi sentimen pada seluruh periode didominasi oleh sentimen negatif. Pelabelan GPT-4.1 Mini memiliki tingkat kesesuaian yang cukup baik terhadap pelabelan manual dengan akurasi sebesar 0,74–0,82 dan nilai Cohen’s kappa sebesar 0,56–0,64. Meskipun demikian, pelabelan manual menghasilkan performa klasifikasi yang lebih baik dan stabil dibandingkan GPT-4.1 Mini. Dari sisi pra-pemrosesan, skenario dengan normalisasi kata tidak baku dan mempertahankan emoji menghasilkan performa lebih tinggi dibandingkan skenario tanpa normalisasi kata tidak baku dan penghapusan emoji. Pada aspek ketidakseimbangan kelas, class weight memberikan performa paling konsisten dibandingkan baseline dan focal loss. IndoBERTweet menghasilkan performa lebih tinggi dibandingkan LSTM pada seluruh periode data. Performa terbaik diperoleh pada periode Pra-Implementasi menggunakan kombinasi IndoBERTweet, pelabelan manual, normalisasi kata tidak baku dan mempertahankan emoji dan class weight, dengan nilai balanced accuracy sebesar 78,92% dan F1-score sebesar 77,00%. Hasil ART Analysis of Variance (ANOVA) menunjukkan bahwa faktor pelabelan, pra-pemrosesan, penanganan ketidakseimbangan kelas, dan pemilihan model memberikan pengaruh yang signifikan terhadap performa klasifikasi sentimen. Faktor model menjadi faktor yang paling dominan pada seluruh periode pengamatan, ditunjukkan oleh nilai statistik F yang paling tinggi dibandingkan faktor lainnya. Temuan ini menunjukkan bahwa perbedaan kemampuan LSTM dan IndoBERTweet dalam merepresentasikan serta memahami konteks teks memberikan pengaruh terbesar terhadap performa klasifikasi. Selain itu, ditemukan interaksi yang signifikan pada beberapa kombinasi faktor yang menunjukkan bahwa peningkatan performa klasifikasi tidak hanya ditentukan oleh satu faktor, tetapi juga oleh interaksi antarfaktor lainnya.

Advances in information technology have driven the use of Natural Language Processing (NLP) in analyzing text-based data, particularly data sourced from social media. One of the most widely used applications of NLP is sentiment analysis, which is the process of identifying and classifying public opinion regarding a particular issue or policy. Social media platform X/Twitter serves as a relevant data source because it contains public opinion on a large scale. However, the characteristics of social media text, which is brief, informal, and contains slang, emojis, and code-mixing, as well as the imbalance in sentiment class distribution, pose challenges in the sentiment classification process. This study aims to analyze the influence of labeling methods, text preprocessing strategies, class imbalance handling, and classification models on the performance of sentiment classification regarding public opinion on the Free Nutritious Meals program. The program is a government initiative aimed at improving the nutritional intake of schoolchildren by providing nutritious meals in educational settings. From its announcement through the implementation phase, this program has generated a variety of public responses, including support, criticism, and feedback, which are relevant to analyze using a sentiment analysis approach. The research data consists of public posts on social media platform X/Twitter, collected using web scraping techniques with keywords related to Free Nutritious Meals. The data was grouped into three periods, Pre-Implementation, Early Implementation, and Advanced Implementation, to examine the dynamics of public opinion as the program progressed. Sentiment labeling was performed using two approaches: manual labeling as ground truth and automatic labeling using GPT-4.1 Mini, with three sentiment categories, positive, neutral, and negative. Text preprocessing was conducted by comparing two scenarios, the first without slang conversion and with emojis removed, and another with slang conversion and emojis retained. Class imbalance was addressed using a baseline without any handling, class weights, and focal loss. The classification models used were Long Short-Term Memory (LSTM) and IndoBERTweet. LSTM was used to represent a sequential approach in learning word sequences, while IndoBERTweet was used as a transformers-based model trained on anIndonesian-language social media corpus. Model evaluation was conducted using the balanced accuracy and F1-score metrics with stratified 5-fold cross-validation repeated 10 times. Further analysis was conducted using ART Analysis of Variance (ANOVA) to evaluate the main effects and interactions among the experimental factors. The research results show that sentiment distribution across the entire period was dominated by negative sentiment. GPT-4.1 Mini’s labeling achieved a fairly good level of alignment with manual labeling, with an accuracy of 0,74–0,82 and a Cohen’s kappa value of 0,56–0,64. Nevertheless, manual labeling produced better and more stable classification performance compared to GPT-4.1 Mini. In terms of preprocessing, the scenario involving slang normalization and emoji preservation yielded higher performance than the scenario without slang conversion and with emoji removal. Regarding class imbalance, class weight provided the most consistent performance compared to the baseline and focal loss. IndoBERTweet outperformed LSTM across all data periods. The best performance was achieved during the Pre-Implementation period using a combination of IndoBERTweet, manual labeling, slang normalization and emoji preservation, and class weight, with a balanced accuracy of 78,92% and an F1-score of 77,00%. ART Analysis of Variance (ANOVA) results show that the factors of labeling, preprocessing, class imbalance handling, and model selection have a significant impact on sentiment classification performance. The model factor was the most dominant factor across all observation periods, indicated by the highest statistics F value compared to the other factors. These findings suggest that the differences in the ability of LSTM and IndoBERTweet to represent and understand textual context have the greatest impact on classification performance. Additionally, significant interactions were found among several combinations of factors, indicating that improvements in classification performance are determined by interactions among these factors rather than individual factors independently.