Bootstrapping HPO untuk Menangani Overfitting pada Klasifikasi Sentimen untuk Data Berdimensi Tinggi dari Reviews Indie Game Mobile Lokal
Date
2024Author
Abdjanur, Muhammad Syidiq
Fitrianto, Anwar
Sumertajaya, I Made
Metadata
Show full item recordAbstract
Penggunaan smartphone telah mendorong popularitas permainan seluler, memungkinkan perkembangan sub-sektor pengembang aplikasi dan game di Indonesia. Namun, indie game developers menghadapi kekurangan sumber daya promosi, yang mengakibatkan kurangnya data ulasan untuk membangun model klasifikasi yang baik. Mengklasifikasikan ulasan game dengan dimensi tinggi menimbulkan tantangan statistik yang signifikan, seperti overfitting. Penelitian ini bertujuan untuk mengevaluasi metode optimisasi hyperparameter terbaik dalam klasifikasi support vector machines (SVM) untuk menentukan model klasifikasi sentimen terbaik. Secara khusus, tujuannya adalah mengevaluasi metode optimisasi hyperparameter terbaik berdasarkan nilai akurasi hasil klasifikasi SVM pada data berdimensi tinggi dan menerapkan bootstrapping pada metode optimisasi hyperparameter terbaik untuk memperoleh nilai akurasi model terbaik. Hasil analisis menunjukkan bahwa optuna optimization dan genetic algorithm memiliki nilai akurasi dan F1 score yang lebih baik dibandingkan dengan metode optimisasi lainnya. Dari hasil evaluasi, optuna optimization dianggap sebagai metode terbaik dalam konteks ini tanpa menggunakan bootstrapping. Hasil analisis menunjukkan bahwa optuna optimization memiliki nilai akurasi yang stabil, dengan nilai F1 score yang menurun ketika menggunakan bootstrapping The use of smartphones has driven the popularity of mobile games, enabling
the development of the sub-sector of application and game developers in Indonesia.
However, indie game developers face a lack of promotional resources, which
results in a lack of review data to build a good classification model. Classifying
game reviews with high dimensions poses significant statistical challenges, such as
overfitting. This study aims to evaluate the best hyperparameter optimization
method in support vector machines (SVM) classification to determine the best
sentiment classification model. Specifically, the goal is to evaluate the best
hyperparameter optimization method based on the accuracy value of SVM
classification results on high-dimensional data and apply bootstrapping to the best
hyperparameter optimization method to obtain the best model accuracy value. The
analysis results show that optuna optimization and genetic algorithm have better
accuracy values and F1 scores compared to other optimization methods. From the
evaluation results, optuna optimization is considered the best method in this context
without using bootstrapping. The analysis results show that optuna optimization
has a stable accuracy value, with an F1 score value that decreases when using
bootstrapping.