Bootstrapping HPO untuk Menangani Overfitting pada Klasifikasi Sentimen untuk Data Berdimensi Tinggi dari Reviews Indie Game Mobile Lokal

Abstract

Penggunaan smartphone telah mendorong popularitas permainan seluler, memungkinkan perkembangan sub-sektor pengembang aplikasi dan game di Indonesia. Namun, indie game developers menghadapi kekurangan sumber daya promosi, yang mengakibatkan kurangnya data ulasan untuk membangun model klasifikasi yang baik. Mengklasifikasikan ulasan game dengan dimensi tinggi menimbulkan tantangan statistik yang signifikan, seperti overfitting. Penelitian ini bertujuan untuk mengevaluasi metode optimisasi hyperparameter terbaik dalam klasifikasi support vector machines (SVM) untuk menentukan model klasifikasi sentimen terbaik. Secara khusus, tujuannya adalah mengevaluasi metode optimisasi hyperparameter terbaik berdasarkan nilai akurasi hasil klasifikasi SVM pada data berdimensi tinggi dan menerapkan bootstrapping pada metode optimisasi hyperparameter terbaik untuk memperoleh nilai akurasi model terbaik. Hasil analisis menunjukkan bahwa optuna optimization dan genetic algorithm memiliki nilai akurasi dan F1 score yang lebih baik dibandingkan dengan metode optimisasi lainnya. Dari hasil evaluasi, optuna optimization dianggap sebagai metode terbaik dalam konteks ini tanpa menggunakan bootstrapping. Hasil analisis menunjukkan bahwa optuna optimization memiliki nilai akurasi yang stabil, dengan nilai F1 score yang menurun ketika menggunakan bootstrapping

The use of smartphones has driven the popularity of mobile games, enabling the development of the sub-sector of application and game developers in Indonesia. However, indie game developers face a lack of promotional resources, which results in a lack of review data to build a good classification model. Classifying game reviews with high dimensions poses significant statistical challenges, such as overfitting. This study aims to evaluate the best hyperparameter optimization method in support vector machines (SVM) classification to determine the best sentiment classification model. Specifically, the goal is to evaluate the best hyperparameter optimization method based on the accuracy value of SVM classification results on high-dimensional data and apply bootstrapping to the best hyperparameter optimization method to obtain the best model accuracy value. The analysis results show that optuna optimization and genetic algorithm have better accuracy values and F1 scores compared to other optimization methods. From the evaluation results, optuna optimization is considered the best method in this context without using bootstrapping. The analysis results show that optuna optimization has a stable accuracy value, with an F1 score value that decreases when using bootstrapping.