Perbandingan Kinerja Metode Ensemble Berbasis Forest untuk Klasifikasi Data Tidak Seimbang Curah Hujan Stasiun Meteorologi Citeko

Abstract

Klasifikasi data tidak seimbang menjadi tantangan dalam pengembangan model prediktif karena model cenderung hanya mengenali pola dari kelas mayoritas dan mengabaikan kelas minoritas yang jumlahnya terbatas. Akibatnya, meskipun akurasi terlihat tinggi, performa terhadap kelas minoritas justru rendah, sedangkan informasi dari kelas minoritas sering kali krusial, seperti pada prediksi curah hujan ekstrem yang penting untuk mitigasi bencana. Dalam penelitian ini, data curah hujan harian dikategorikan berdasarkan ambang batas BMKG (ekstrem >50 mm, tidak ekstrem 0,5–50 mm) dan dianalisis menggunakan pendekatan klasifikasi yang lebih relevan daripada peramalan deret waktu untuk deteksi cepat kejadian ekstrem. Studi sebelumnya menunjukkan bahwa klasifikasi berbasis ambang efektif mendukung peringatan dini dan pengambilan keputusan berbasis risiko, terutama di wilayah tropis seperti Kabupaten Bogor yang memiliki frekuensi hujan ekstrem rendah namun signifikan, sehingga memerlukan teknik resampling akibat ketidakseimbangan kelas. Penelitian ini mengevaluasi dampak teknik SMOTE, RUS, dan SMOTE-RUS-NC terhadap kinerja model klasifikasi, serta membandingkan empat metode ensemble berbasis Forest, yaitu RF, RoF, DRF, dan RoDRF. Selain itu, penelitian ini mengidentifikasi fitur cuaca paling berpengaruh dalam klasifikasi hujan ekstrem guna mendukung mitigasi bencana dan pengelolaan sumber daya air di Kabupaten Bogor. Penelitian ini menggunakan dua jenis data, yakni tujuh dataset pendukung dengan karakteristik yang berbeda-beda yang diperoleh dari platform Kaggle untuk menguji generalisasi metode yang digunakan dan data empiris dari Stasiun Meteorologi Citeko (BMKG) Kabupaten Bogor yang mencatat parameter iklim harian sepanjang tahun 2023. Data dianalisis melalui serangkaian tahap, dimulai dari eksplorasi data, praproses, pembagian data (70:30 secara stratified), penyeimbangan data menggunakan teknik resampling, pelatihan model ensemble learning, validasi silang 5-fold, dan evaluasi model menggunakan metrik akurasi, presisi, recall, dan F1-score. Seluruh proses diulang sebanyak 100 kali untuk memastikan kestabilan hasil. Model terbaik dianalisis untuk mengidentifikasi fitur paling signifikan dalam memprediksi curah hujan ekstrem. Hasil analisis terhadap dataset pendukung menunjukkan bahwa karakteristik data yang berbeda-beda sangat memengaruhi efektivitas kombinasi antara metode ensemble dan teknik resampling. Pada dataset dengan ketidakseimbangan ekstrem, kombinasi RF dengan SMOTE atau SMOTE-RUS-NC memberikan performa terbaik. Untuk dataset medis, kombinasi RF dengan SMOTE menunjukkan stabilitas dan efisiensi yang tinggi. Dataset dengan semua fitur kategorik menunjukkan performa klasifikasi yang sangat tinggi bahkan tanpa perlakuan terhadap ketidakseimbangan. Sementara itu, untuk dataset yang kompleks, pendekatan hybrid seperti SMOTE-RUS-NC terbukti lebih efektif dalam meningkatkan akurasi dan kestabilan model. Temuan ini menegaskan bahwa pemilihan kombinasi metode ensemble dan teknik resampling perlu disesuaikan dengan karakteristik dataset agar model dapat beradaptasi secara optimal. Hasil penelitian pada data empiris menunjukkan bahwa tanpa resampling, model menghasilkan akurasi tinggi tetapi gagal mendeteksi kelas minoritas, tercermin dari rendahnya presisi, recall, dan F1-score meskipun akurasi keseluruhan mendekati sempurna. Ketika teknik penyeimbangan seperti SMOTE dan SMOTE-RUS-NC diterapkan, kinerja model secara signifikan membaik dalam mengenali kelas minoritas. Model terbaik secara keseluruhan diperoleh dari kombinasi RoDRF dengan SMOTE, menghasilkan akurasi, presisi, recall, dan F1-score tertinggi. Meskipun performanya sangat tinggi, namun rata-rata waktu komputasi untuk setiap pengulangan relatif lama, yaitu 149,30 detik. Sebagai alternatif lebih efisien, DRF dikombinasikan dengan SMOTE-RUS-NC mampu memberikan performa hampir setara dengan waktu rata-rata komputasi sebesar 107,28 detik untuk setiap pengulangan, menjadikannya pilihan ideal ketika efisiensi waktu menjadi pertimbangan. Sementara itu, model RF dan RoF juga menunjukkan peningkatan performa yang baik, namun tidak sebaik model DRF dan RoDRF. Penerapan metode RUS menghasilkan performa model lebih rendah dibandingkan dua teknik lainnya, hal ini menjadi temuan yang menunjukkan bahwa kurangnya data yang digunakan pada model akibat undersampling dapat menghasilkan performa yang tidak stabil. Selain mengevaluasi performa model, penelitian ini juga menganalisis feature importance dari model terbaik, yaitu DRF_SMOTE-RUS-NC. Hasilnya menunjukkan bahwa variabel kelembapan rata-rata (RH_avg) merupakan fitur paling berpengaruh dalam memprediksi curah hujan ekstrem dengan skor importance tertinggi sekitar 0,24. Disusul oleh suhu maksimum (Tx) dengan skor 0,16, suhu minimum (Tn) sebesar 0,13, dan durasi penyinaran matahari (ss) sebesar 0,12. Sementara itu, fitur yang berkaitan dengan arah dan kecepatan angin memiliki skor importance yang lebih rendah, berkisar antara 0,05 hingga 0,1, menunjukkan kontribusi yang kurang dominan dalam klasifikasi kejadian hujan ekstrem. Temuan ini memberikan wawasan penting dalam memahami faktor-faktor cuaca yang berperan signifikan dan dapat dimanfaatkan dalam perencanaan mitigasi bencana dan pengelolaan sumber daya air di wilayah Kabupaten Bogor. Dengan demikian, dapat disimpulkan bahwa penerapan metode penyeimbangan data sangat krusial dalam meningkatkan kualitas klasifikasi pada data tidak seimbang. Teknik SMOTE dan SMOTE-RUS-NC terbukti secara konsisten mampu meningkatkan nilai presisi, recall, dan F1-score secara signifikan, sehingga memungkinkan model mengenali kelas minoritas dengan lebih baik. Di antara seluruh kombinasi, DRF dengan teknik SMOTE-RUS-NC menghasilkan performa yang sangat baik, dengan akurasi tinggi dan efisiensi waktu komputasi lebih baik dibandingkan metode lainnya. Selain itu, hasil analisis menunjukkan bahwa kelembapan dan suhu merupakan faktor-faktor paling penting dalam memengaruhi klasifikasi curah hujan ekstrem. Temuan ini memberikan kontribusi penting dalam mendukung pengambilan keputusan berbasis data, khususnya dalam upaya mitigasi bencana dan pengelolaan sumber daya air di wilayah Kabupaten Bogor, yang rentan terhadap kejadian cuaca ekstrem.

Imbalanced data classification poses a significant challenge in predictive model development because models tend to recognize patterns from the majority class while neglecting the minority class due to its limited sample size. As a result, although overall accuracy may appear high, performance on the minority class is often poor. This is particularly problematic when the minority class contains crucial information, such as in extreme rainfall prediction, which is important for disaster mitigation. In this study, daily rainfall data were categorized based on BMKG thresholds (extreme >50 mm, non-extreme 0.5–50 mm) and analyzed using a classification approach that is considered more suitable than time series forecasting for rapid detection of extreme events. Previous studies have shown that threshold-based classification effectively supports early warning systems and risk-based decision-making, especially in tropical areas such as Bogor Regency, where extreme rainfall events are infrequent but impactful. This condition requires resampling techniques due to class imbalance. This study evaluates the effects of SMOTE, RUS, and SMOTE-RUS-NC techniques on classification model performance and compares four Forest-based ensemble methods: RF, RoF, DRF, and RoDRF. Additionally, the study identifies the most influential weather features in classifying extreme rainfall to support disaster mitigation and water resource management in Bogor Regency. Two types of data were used in the study. The first consists of seven benchmark datasets with different characteristics obtained from the Kaggle platform to assess the generalizability of the proposed methods. The second is empirical data from the Citeko Meteorological Station (BMKG), Bogor Regency, which recorded daily climate parameters throughout 2023. The analysis followed a series of steps, including data exploration, preprocessing, stratified data splitting (70:30), data balancing using resampling techniques, ensemble learning model training, 5-fold cross-validation, and model evaluation using accuracy, precision, recall, and F1-score metrics. All processes were repeated 100 times to ensure result stability. The best-performing model was further analyzed to identify the most significant features in predicting extreme rainfall. Analysis of the benchmark datasets showed that different data characteristics greatly influence the effectiveness of ensemble and resampling technique combinations. For datasets with extreme imbalance, the combination of RF with SMOTE or SMOTE-RUS-NC yielded the best performance. For medical datasets, the combination of RF with SMOTE demonstrated high stability and efficiency. Datasets with fully categorical features exhibited very high classification performance even without class imbalance treatment. For more complex datasets, hybrid approaches such as SMOTE-RUS-NC were more effective in improving model accuracy and stability. These findings emphasize that selecting the appropriate combination of ensemble methods and resampling techniques must be aligned with dataset characteristics to achieve optimal model adaptability. The results from the empirical data showed that without resampling, models achieved high accuracy but failed to detect the minority class. This was reflected in the low precision, recall, and F1-score values, despite near-perfect overall accuracy. When balancing techniques such as SMOTE and SMOTE-RUS-NC were applied, model performance in recognizing the minority class improved significantly. The best overall performance was achieved by the RoDRF model combined with SMOTE, which recorded the highest values for accuracy, precision, recall, and F1-score. Although the model showed very high performance, the average computation time per iteration was relatively long at 149.30 seconds. As a more efficient alternative, the DRF model combined with SMOTE-RUS-NC delivered nearly equivalent performance with a shorter average computation time of 107.28 seconds per iteration, making it an ideal choice when time efficiency is a concern. Meanwhile, the RF and RoF models also showed good performance improvements but were not as effective as DRF and RoDRF. The application of RUS alone resulted in lower model performance compared to the other two techniques, indicating that the reduced dataset from undersampling may lead to unstable performance. Beyond model performance evaluation, this study also analyzed feature importance using the best-performing model, DRF_SMOTE-RUS-NC. The results revealed that average relative humidity (RH_avg) was the most influential feature in predicting extreme rainfall, with the highest importance score of approximately 0.24. This was followed by maximum temperature (Tx) with a score of 0.16, minimum temperature (Tn) with 0.13, and sunshine duration (ss) with 0.12. In contrast, features related to wind direction and speed had lower importance scores, ranging from 0.05 to 0.1, suggesting a less dominant role in extreme rainfall classification. These findings provide important insights into key weather factors that can be used in disaster mitigation planning and water resource management in Bogor Regency. In conclusion, the application of data balancing techniques is essential for improving classification quality in imbalanced datasets. SMOTE and SMOTE-RUS-NC consistently enhanced precision, recall, and F1-score significantly, enabling better recognition of the minority class. Among all method combinations, DRF with SMOTE-RUS-NC delivered outstanding performance, offering high accuracy with better computational efficiency than other models. Moreover, the results indicated that humidity and temperature are the most critical factors influencing extreme rainfall classification. These findings make a valuable contribution to supporting data-driven decision-making, especially for disaster mitigation and water resource management in regions such as Bogor Regency, which are vulnerable to extreme weather events.