Evaluasi Penambahan Regressor Sentimen Isu DPR di Platform X Berbasis Leksikon dan LLM pada Model Prophet dalam Memprediksi IHSG

Abstract

Perkembangan politik yang melibatkan DPR telah dikaitkan dengan fluktuasi pasar saham, menyoroti potensi nilai sentimen publik sebagai regressor untuk prediksi. Penelitian ini bertujuan untuk membandingkan analisis sentimen berbasis leksikon menggunakan Indonesian sentiment (InSet) dan pendekatan large language model (LLM), menganalisis tren sentimen dalam diskusi terkait DPR di platform X, dan mengevaluasi kinerja model prophet dengan penambahan external regressor sentimen dalam memprediksi harga penutupan indeks harga saham gabungan (IHSG). Sebanyak 45.863 tweet relevan dan 125 observasi harian IHSG dikumpulkan antara tanggal 2 Juni dan 28 November 2025. Analisis sentimen diawali dengan pembentukan label acuan dasar (ground truth) terhadap 6107 data sampel. Hasil evaluasi pada data sampel menunjukkan bahwa metode LLM (Gemini 2.5 Flash) lebih baik dibandingkan metode InSet, dengan mencapai balanced accuracy sebesar 0,787 dibandingkan dengan 0,405 untuk InSet. Selain itu, visualisasi t-distributed stochastic neighbor embedding (t-SNE) dari Word2Vec embedding menunjukkan konsistensi prediksi pada pendekatan LLM. Hasil analisis sentimen menunjukkan bahwa opini publik mengenai DPR didominasi oleh sentimen negatif (67,09%), yang sebagian besar mencerminkan kekhawatiran terkait isu-isu hukum dan kinerja institusi. Integrasi rasio sentimen negatif sebagai external regressor meningkatkan performa prediksi model prophet, yang ditunjukkan oleh penurunan nilai mean absolute percentage error (MAPE) pada data uji dari 3,271% menjadi 1,682%.

Political developments involving DPR have been associated with fluctuations in the stock market, highlighting the potential value of public sentiment as an input for forecasting. This study aims to compare lexicon based sentiment analysis using Indonesian sentiment (InSet) and large language model (LLM) approaches, analyze sentiment trends in DPR related discussions on platform X, and evaluate performance of prophet model with additional of sentiment external regressor in forecasting the Indonesia composite index (IHSG) closing prices. A total of 45.863 relevant tweets and 125 daily IHSG observations were collected between June 2 and November 28, 2025. Sentimen analysis began with the creation of ground truth labels for 6107 sampled data. Evaluation results on samples data indicated LLM approach (Gemini 2.5 Flash) outperformed InSet, achieving balanced accuracy of 0,787 compared with 0,405 for InSet. Furthermore, t distributed stochastic neighbor embedding (t-SNE) visualization of Word2Vec embeddings demonstrated labeling consistency in the LLM approach. Sentiment analysis results showed that public discourse regarding the DPR dominant negative (67,09%), largely reflecting concerns related to legal issues and institutional performance. Incorporating negative sentiment ratio as an external regressor improved prophet model's forecasting performance, reducing the mean absolute percentage error (MAPE) on the test dataset from 3,271% to 1,682%.