Performance Evaluation of IndoBERT and LDA for Sentiment Analysis and Topic Modeling on Halodoc User Reviews

Abstract

Technological growth has driven the adoption of digital health services such as Halodoc, which allows users to consult doctors and receive medications online. To understand user perceptions of this service, this project conducts sentiment analysis using IndoBERT and topic modeling using Latent Dirichlet Allocation (LDA) on Halodoc user reviews from Google Play Store. This project aims to evaluate IndoBERT performance in classifying review sentiments (positive, neutral, negative) and to identify key topics in positive and negative reviews using LDA. Results show that IndoBERT with class weight achieved the best performance under class imbalance conditions, with macro F1-score of 0.8230 and balanced accuracy of 0.8274. The model effectively classified positive and negative sentiments, but struggled with neutral sentiment due to limited data, its ambiguity, and overlapping vocabulary. Subsequently, topic modeling was applied to the positive and negative reviews. LDA with bigram tokenization produced the highest coherence scores and more interpretable topics, by preserving meaningful word pairings. Parameter tuning of K, a, and ß influenced topic quality. Five topics emerged from positive reviews and seven from negative reviews, with coherence scores of 0.6797 and 0.6634, respectively. These findings offer valuable insights into user needs and can support service improvement for Halodoc.

Pertumbuhan teknologi mendorong adopsi layanan kesehatan digital, seperti Halodoc yang memungkinkan pengguna melakukan konsultasi dokter dan pengiriman obat secara daring. Untuk memahami persepsi pengguna terhadap layanan ini, penelitian ini melakukan analisis sentimen menggunakan IndoBERT dan pemodelan topik menggunakan Latent Dirichlet Allocation (LDA) terhadap ulasan pengguna Halodoc di Google Play Store. Penelitian ini bertujuan mengevaluasi kinerja IndoBERT dalam mengklasifikasikan sentimen ulasan (positif, netral, negatif) serta mengidentifikasi topik-topik utama dalam ulasan positif dan negatif menggunakan LDA. Hasil penelitian menunjukkan bahwa IndoBERT dengan class weight memberikan performa terbaik dalam kondisi kelas tidak seimbang, dengan macro F1-score sebesar 0,8230 dan balanced accuracy sebesar 0,8274. Model ini mengklasifikasikan sentimen positif dan negatif dengan baik, tetapi performa pada sentimen netral rendah karena data terbatas, sifatnya ambigu, dan kosakata yang tumpang tindih. Selanjutnya, pemodelan topik dilakukan terhadap ulasan positif dan negatif. Model LDA dengan tokenisasi bigram menghasilkan nilai koherensi tertinggi dan topik yang lebih mudah diinterpretasikan karena mempertahankan pasangan kata yang bermakna. Pemilihan parameter K, a, dan ß turut memengaruhi kualitas topik yang dihasilkan. Lima topik terbentuk dari ulasan positif dan tujuh topik dari ulasan negatif, dengan nilai koherensi masing-masing sebesar 0,6797 dan 0,6634. Temuan ini memberikan wawasan dalam memahami kebutuhan pengguna dan meningkatkan kualitas layanan Halodoc.