Perbandingan TF- IDF Weighted Word2Vec, FastText, dan IndoBERT dalam Klasifikasi Sentimen Seleksi PTN dengan BiLSTM-Dense

Abstract

Analisis sentimen merupakan pendekatan komputasional yang digunakan untuk mengidentifikasi, mengekstraksi, dan mengklasifikasikan opini, perasaan, atau perilaku seseorang terhadap topik tertentu. Dalam analisis sentimen, input data yang digunakan berbentuk teks, sedangkan model deep learning seperti BiLSTM- Dense membutuhkan data dalam bentuk numerik sehingga diperlukan teknik ekstraksi fitur untuk mengubah teks menjadi representasi numerik. Penelitian ini membandingkan tiga metode ekstraksi fitur, yaitu TF-IDF Weighted Word2Vec sebagai metode embedding terboboti frekuensi, FastText metode embedding berdasarkan sub n-gram kata, dan IndoBERT sebagai metode embedding berbasis kontekstual. Ekstraksi fitur yang dihasilkan kemudian digunakan sebagai input bagi BiLSTM-Dense yang berperan sebagai metode klasifikasi. Penelitian ini bertujuan untuk membandingkan model hybrid berdasarkan metrik accuracy dan waktu komputasinya serta menganalisis karakteristik performa setiap model hybrid. Dataset penelitian diperoleh melalui proses scraping pada platform X dan YouTube yang berkaitan dengan ujian masuk perguruan tinggi selama periode Januari 2023 hingga Desember 2025. Hasil penelitian menunjukkan metode TF-IDF weighted Word2Vec-BiLSTM-Dense, FastText-BiLSTM-Dense, dan IndoBERT-BiLSTM- Dense berturut-turut memiliki waktu komputasi yang semakin besar dan hal tersebut juga diiringi dengan peningkatan performa accuracy yang semakin tinggi. Accuracy antara ketiga metode berbeda signifikan dengan tingkat accuracy tertinggi diperoleh melalui metode IndoBERT-BiLSTM-Dense sebesar 74,6% pada data uji.

Sentiment analysis is a computational approach used to identify, extract, and classify an individual's opinions, feelings, or behaviors regarding specific topics. While sentiment analysis relies on text-based input, deep learning models like BiLSTM-Dense require numerical data. Consequently, feature extraction techniques are necessary to convert text into numerical representations. This study compares three feature extraction methods, TF-IDF Weighted Word2Vec as a frequency-weighted embedding method, FastText as an embedding method based on sub-word n-grams, and IndoBERT as a context-based embedding method. The resulting extracted features serve as input for the BiLSTM-Dense model, which functions as the classifier. The study aims to compare these hybrid models using accuracy metrics and computational time, and to analyze the performance characteristics of each model. The dataset was obtained by scraping X and YouTube for content related to university entrance exams between January 2023 and December 2025. The results indicate that the computational times for the TF- IDF weighted Word2Vec-BiLSTM-Dense, FastText-BiLSTM-Dense, and IndoBERT-BiLSTM-Dense methods increased progressively in that order, and this increase in computational time was accompanied by a corresponding improvement in accuracy. Significant differences in accuracy were observed among the three methods, with the IndoBERT-BiLSTM-Dense method achieving the highest accuracy at 74.6% on the test data.