Evaluasi Pembelajaran Manifold dan Teknik Undersampling pada Klasifikasi Sentimen Ulasan Film dengan Kelas Tidak Seimbang

Abstract

Ulasan film merupakan sumber informasi penting di platform media sosial karena secara langsung mencerminkan persepsi penonton terhadap berbagai aspek teknis dan non-teknis dari suatu film. Analisis sentimen terhadap ulasan film memainkan peran penting dalam menentukan kesuksesan sebuah film, karena ulasan negatif dapat memengaruhi keputusan calon penonton untuk tidak menonton film tersebut. Support Vector Machine (SVM) merupakan algoritma pembelajaran mesin yang banyak digunakan dalam klasifikasi sentimen ulasan film karena kemampuannya dalam memisahkan sentimen positif dan negatif secara efektif. Namun, kinerja algoritma ini dapat menurun ketika dihadapkan pada data yang tidak seimbang, yaitu kondisi di mana distribusi kelas tidak merata, suatu hal yang umum terjadi dalam data ulasan film yang biasanya didominasi oleh sentimen positif atau negatif. Selain itu, tingginya dimensi data yang disebabkan oleh banyaknya peubah dalam bentuk kata-kata unik di seluruh korpus ulasan dapat mengurangi kemampuan generalisasi model serta meningkatkan beban komputasi, yang pada akhirnya menurunkan efisiensi klasifikasi. Penelitian ini mengatasi kedua permasalahan tersebut dengan menerapkan pembelajaran manifold untuk reduksi dimensi pada data hasil ekstraksi fitur, serta menggunakan teknik undersampling untuk menyeimbangkan distribusi antara kelas mayoritas dan minoritas. Metode pembelajaran manifold yang dieksplorasi meliputi Principal Component Analysis (PCA) dan Laplacian Eigenmaps (LE), yang dibandingkan dengan pendekatan baseline tanpa reduksi dimensi. Penanganan ketidakseimbangan kelas menggunakan Random Undersampling (RUS) dan EasyEnsemble dievaluasi terhadap pendekatan tanpa penanganan ketidakseimbangan dan metode Random Oversampling (ROS). Penelitian ini menggunakan dua gugus data yaitu data ulasan film The Raid 2: Berandal dan gugus data ulasan film IMDB. Data ulasan film The Raid 2: Berandal sangat tidak seimbang, dengan 1763 ulasan positif dan hanya 70 ulasan negatif, mencerminkan isu ketidakseimbangan kelas yang menjadi fokus penelitian ini. Sementara itu, gugus data IMDB yang diperoleh dari Kaggle digunakan untuk simulasi berbagai skenario dengan menetapkan jumlah sampel kelas minoritas sebanyak 70 dan 140, serta menerapkan berbagai rasio ketidakseimbangan (Imbalance Ratio/IR) sebesar 4, 9, dan 19. Tujuan penggunaan gugus data ini adalah untuk mengevaluasi keandalan dan generalisasi metode yang diterapkan pada berbagai skenario ukuran kelas minoritas dan tingkat intesitas ketidakseimbangan. Temuan penelitian menunjukkan bahwa pada tugas klasifikasi sentimen untuk The Raid 2: Berandal, PCA sebagai teknik pembelajaran manifold linear menunjukkan performa yang lebih baik dibandingkan LE. PCA mampu mereduksi dimensi fitur TF-IDF dari 4836 menjadi 435 komponen utama, yang berdampak pada peningkatan keseimbangan klasifikasi, sebagaimana ditunjukkan oleh nilai rata-rata G-Mean sebesar 55.7%. Meskipun sensitivitas model menggunakan PCA lebih rendah dibandingkan metode berbasis Word2Vec, pendekatan ini mampu mempertahankan stabilitas performa. Di antara teknik undersampling, EasyEnsemble terbukti lebih efektif dibandingkan RUS dan ROS, dengan G-Mean tertinggi sebesar 79.6% saat diterapkan pada fitur TF-IDF dengan kernel linear. Metode ini meningkatkan spesifisitas dan kemampuan model dalam mengklasifikasikan ulasan negatif dengan jumlah data yang kecil. Kombinasi terbaik ditemukan pada penggunaan EasyEnsemble dan PCA dengan SVM kernel linear pada fitur TF-IDF, yang menghasilkan rata-rata G-Mean sebesar 63.6% serta mampu mengurangi waktu komputasi dari 72.125 detik menjadi 59.115 detik. PCA juga menunjukkan stabilitas yang lebih tinggi dibandingkan LE dalam berbagai skenario, meskipun LE dibeberapa kondisi menghasilkan G-Mean tertinggi. Analisis terhadap skenario simulasi pada gugus data IMDB mengonfirmasi bahwa penerapan teknik pembelajaran manifold dan undersampling berkontribusi terhadap peningkatan performa klasifikasi. PCA secara konsisten menunjukkan stabilitas yang lebih baik dibandingkan LE dalam mereduksi dimensi fitur TF-IDF dan Word2Vec tanpa kehilangan informasi yang signifikan. PCA dengan SVM kernel linear unggul dibandingkan LE, terutama pada skenario dengan ketidakseimbangan tinggi (IR 9 dan 19), di mana model tanpa reduksi dimensi mengalami kesulitan dalam mengidentifikasi kelas minoritas. EasyEnsemble melampaui kinerja RUS ketika jumlah sampel kelas minoritas mencapai 140, dengan menunjukkan kemampuan mempertahankan spesifisitas model meskipun IR meningkat. Kombinasi antara pembelajaran manifold dan teknik undersampling terbukti meningkatkan performa klasifikasi. PCA dengan ROS yang diterapkan pada fitur Word2Vec atau gabungan Word2Vec+TF-IDF mencapai G-Mean tertinggi sebesar 65%, sementara LE yang dikombinasikan dengan EasyEnsemble mencapai hingga 79,7% dalam skenario tertentu. PCA secara konsisten menunjukkan stabilitas yang lebih tinggi dibandingkan LE, khususnya dalam kondisi ketidakseimbangan kelas yang ekstrem. Pendekatan paling efektif untuk gugus data IMDB melibatkan kombinasi PCA dan ROS pada fitur Word2Vec atau Word2Vec+TF-IDF, yang memberikan keseimbangan terbaik dalam mengklasifikasikan ulasan positif dan negatif. Studi ini menunjukkan bahwa kombinasi teknik pembelajaran manifold dan undersampling dapat meningkatkan performa klasifikasi sentimen dalam kondisi ketidakseimbangan kelas yang ekstrem sekaligus mengurangi kompleksitas komputasi. Meskipun performanya belum melampaui metode yang berfokus secara khusus pada penanganan ketidakseimbangan kelas, pendekatan yang diusulkan ini menawarkan alternatif yang layak dan dapat diandalkan.

Movie reviews represent a crucial source of information on social media platforms, as they directly reflect viewers' perceptions of various technical and non-technical aspects. Sentiment analysis of movie reviews plays a significant role in determining a film's success since negative reviews can influence prospective viewers' decisions not to watch a particular film. Support Vector Machine (SVM) is a widely used machine learning algorithm for sentiment classification of movie reviews because it can effectively separate positive and negative sentiments. However, the performance of this algorithm may decline when faced with imbalanced data, a condition in which class distribution is unequal, a common occurrence in movie review data dominated by either positive or negative sentiments. The high dimensionality of the data, resulting from many variables in the form of unique words appearing across the entire review corpus, can also reduce the model's generalization ability and increase the computational burden, thereby decreasing classification efficiency. This study addresses both challenges by applying manifold learning for dimensionality reduction of feature-extracted data and employing undersampling techniques to balance the distribution between majority and minority classes. The manifold learning methods explored include Principal Component Analysis (PCA) and Laplacian Eigenmaps (LE), which are compared with a baseline approach that does not apply dimensionality reduction. For class imbalance handling, Random Undersampling (RUS) and EasyEnsemble are evaluated against approaches without imbalance handling and the Random Oversampling (ROS) method. Two datasets are utilized in this study: reviews of The Raid 2: Berandal and the IMDB movie review dataset. The Raid 2: Berandal dataset is heavily skewed toward positive reviews, with 1763 positive and only 70 negative reviews, reflecting the class imbalance issue addressed in this research. The IMDB dataset, obtained from Kaggle, simulates various scenarios by setting the number of minority class samples to 70 and 140 and applying different imbalance ratios (IR) of 4, 9, and 19. The purpose of using this dataset is to evaluate the reliability and generalizability of the applied methods across varying scenarios of minority class size and imbalance severity. The findings indicate that in the sentiment classification task for The Raid 2: Berandal, PCA, as a linear manifold learning technique, outperforms LE. PCA reduced the dimensionality of TF-IDF features from 4836 to 435 principal components, improving classification balance, as indicated by an average G-Mean of 55.7%. Although model sensitivity using PCA is lower than Word2Vec-based methods, this approach maintains performance stability. Among the undersampling techniques, EasyEnsemble proves more effective than RUS and ROS, achieving the highest G-Mean of 79.6% when applied to TF-IDF features with a linear kernel. This method enhances specificity and improves the model's classification of the underrepresented negative reviews. The best-performing combination integrates EasyEnsemble and PCA using linear SVM on TF-IDF features, which yields an average G-Mean of 63.6% and reduces computation time from 72.125 seconds to 59.115 seconds. PCA also demonstrates greater stability than LE across different scenarios, although LE sometimes achieves the highest G-Mean. Analysis of the IMDB simulation scenarios confirms that manifold learning and undersampling techniques contribute to improved classification performance. PCA consistently exhibits greater stability than LE in reducing the dimensionality of TF-IDF and Word2Vec features without significant information loss. PCA with linear SVM performs better than LE, particularly in high-imbalance scenarios (IR 9 and 19), where models without dimensionality reduction struggle to identify minority classes. EasyEnsemble outperforms RUS when the number of minority class samples reaches 140, showing the ability to maintain model specificity even as IR increases. The combination of manifold learning and undersampling yields improved classification performance. PCA with ROS applied to Word2Vec or Word2Vec+TF-IDF features achieves the highest G-Mean of 65%, while LE combined with EasyEnsemble reaches up to 79.7% in specific scenarios. PCA consistently proves to be more stable than LE, particularly under conditions of high-class imbalance. The most effective approach for the IMDB dataset involves combining PCA and ROS on Word2Vec or Word2Vec+TF-IDF features, providing the best balance in classifying positive and negative reviews. This study demonstrates that combining manifold learning and undersampling techniques can enhance sentiment classification performance under extreme class imbalance conditions while reducing computational complexity. Although the performance does not yet surpass that of methods focused solely on class imbalance handling, the proposed approach offers a viable an.