Perbandingan Analisis Sentimen Menggunakan Naive Bayes, Lexicon-Based, dan Hybrid pada Ulasan Pengguna Aplikasi Livin’ by Mandiri

Abstract

Perkembangan teknologi mengalami peningkatan yang sangat pesat hampir di seluruh sektor kehidupan manusia, salah satunya peningkatan inovasi perbankan dalam menghadirkan akses layanan transaksi digital. Analisis sentimen digunakan untuk menganalisis serta mengklasifikasikan ulasan pengguna aplikasi yang bertujuan menentukan kebijakan atau evaluasi pada pengembangan aplikasi. Penelitian ini membandingkan performa analisis sentimen berbasis Naive Bayes, Lexicon-based, dan Hybrid dalam mengklasifikasikan sentimen ulasan pengguna aplikasi Livin’ by Mandiri pada Google Play Store. Hasil pada penelitian ini menunjukkan bahwa metode Naive Bayes menghasilkan model dengan performa terbaik dengan nilai akurasi dan macro avg F1-score sebesar 0,96. Model Naive Bayes menggunakan information gain sebagai seleksi kata dan stratified k-fold cross validation sebagai ukuran validasi. Mayoritas ulasan pada rentang waktu yang diamati pada penelitian ini memiliki sentimen positif. Keluhan utama dari pengguna aplikasi Livin’ by mandiri adalah frekuensi pembaruan yang terlalu sering serta memiliki rentang waktu yang berdekatan. Meskipun pada penelitian ini model Hybrid bukan merupakan model terbaik, namun model ini dapat menjadi model alternatif yang mudah dan cepat untuk menganalisis sentimen.

Development of technology has advanced very rapidly in almost all sectors of human life, and one of them is the advancement of banking innovation, which provides access to digital transaction services. Sentiment analysis can be used to analyze and classify user reviews of applications, aiming to determine policies or evaluate application development. This study compared the performance of Naive Bayes-based, Lexicon-based, and Hybrid-based sentiment analysis to classify the sentiment of user reviews of the Livin' by Mandiri application on the Google Play Store. The results of this study showed that the Naive Bayes method produced the model with the best performance, achieving an accuracy and macro avg F1-score of 0.96. The Naive Bayes model used information gain as the basis for word selection and stratified k-fold cross validation as a validation measure. The majority of reviews during the study period showed positive sentiments. The main complaint from users of the Livin' by Mandiri application was the frequency of updates, which were considered too frequent and had a short time frame. Although the Hybrid model was not the best in this study, it could serve as an easy and fast alternative for analyzing sentiment.