Kajian Kinerja Model Machine Learning menggunakan Seleksi Fitur RFE dan Bayesian Optimization pada Kelas Tidak Seimbang

Abstract

Ketidakseimbangan data merupakan salah satu permasalahan data yang sering ditemui dalam kasus klasifikasi. Ketidakseimbangan data terjadi saat distribusi pengamatan antar kelas sangat tidak merata. Kondisi data yang tidak seimbang model cenderung bias terhadap kelas mayoritas karena lebih banyak data tersedia untuk kategori tersebut. Akibatnya, model lebih fokus mempelajari pola dari kelas mayoritas dan sering mengabaikan atau salah mengklasifikasikan kelas minoritas sebagai bagian dari kelas mayoritas. Terdapat dua metode yang dapat digunakan untuk mengatasi ketidakseimbangan yang umumnya sering digunakan adalah secara undersampling seperti Random Undersampling (RUS) dan oversampling seperti Random Oversampling (ROS) serta Synthetic Minority Oversampling Technique-Nominal Continuous (SMOTENC). Random Forest dan LightGBM merupakan algoritma ensemble learning yang banyak digunakan dalam klasifikasi karena kemampuannya menghasilkan akurasi yang tinggi. Keduanya mampu mengolah data berukuran besar dan kompleks, serta efektif dalam mengenali pola yang bersifat nonlinier. Performanya dapat menurun ketika adanya peubah yang tidak relevan atau redundan, selain itu dapat mengurangi adanya overfitting serta lebih stabil. Metode yang dapat digunakan untul seleksi fitur yaitu filter, wrapper dan embedded. Salah satu metode pada wrapper yaitu Recursive Feature Elimination yang bekerja dengan mengurangi peubah yang tidak relevan dan membangun model dengan peubah yang tersisa. RFE bekerja dengan algoritma machine learning dan mengidentifikasi peubah penting yang paling signifikan untuk memprediksi kelas target. Salah satu tahapan penting dalam membangun model machine learning adalah mencari hyperparameter yang dapat menghasilkan model optimal, umumnya dikenal dengan istilah optimasi atau tuning hyperparameter. Hal ini dikarenakan hyperparameter secara langsung mengontrol proses pelatihan algoritma, sehingga memiliki efek signifikan pada performa model. Optimasi Bayesian dapat menjadi alternatif yang lebih efektif dalam pencarian hyperparameter optimal. Metode ini menggunakan contoh hyperparameter yang nantinya akan dioptimalisasi, hingga menghasilkan model dengan nilai metrik paling baik. Optimasi Bayesian mampu memberikan hasil yang lebih baik dan efisien dibandingkan metode seperti babysitting, grid search dan random search. Berdasarkan permasalahan yang dipaparkan, penelitian ini bertujuan untuk mengevaluasi model yang dikombinasikan dengan penanganan data tidak seimbang, seleksi fitur dan tuning hyperparameter. Algoritma yang digunakan adalah Random Forest dan LightGBM dengan seleksi fitur RFE dan optimasi Bayesian. Penanganan data tidak seimbang digunakan metode RUS, ROS dan SMOTENC sebagai perbandingan. Model yang dikombinasikan akan digunakan untuk mengklasifikasikan data kerawanan pangan di Provinsi Bangka Belitung yang berkategori “Tahan” dan Provinsi Papua yang “Rentan” di tahun 2022. Data yang digunakan terdiri dari dua provinsi yaitu Bangka Belitung dan Papua dengan amatan masing-masing sebanyak 3941 dan 14292 rumah tangga. Model dibangun berdasarkan dua provinsi yang berbeda karakteristik dan ketidakseimbangannya, untuk melihat relevansi hasil ketika diaplikasikan pada data lain. Hasil masing-masing dari provinsi yang digunakan juga menghasilkan perbedaan yang signinfikan sehingga hasil penggunaan kombinasi tersebut berpengaruh pada hasil. Hasil yang diperoleh menunjukkan bahwa kombinasi teknik dapat meningkatkan performa klasifikasi secara signifikan, namun efektivitasnya bergantung pada karakteristik masing-masing dataset. Data I yaitu kombinasi Random Forest dengan RUS, RFE, dan optimasi Bayesian menghasilkan performa paling optimal pada ketidakseimbangan kelas yang moderat. Data II model terbaik diperoleh dari Random Forest dengan RUS dan optimasi Bayesian tanpa seleksi fitur, menandakan bahwa RFE tidak selalu diperlukan ketika struktur peubah sudah representatif. Pendekatan interpretabilitas model dengan SHAP mengungkap faktor-faktor utama yang memengaruhi kerawanan pangan di Bangka Belitung dan Papua. Bangka Belitung menunjukkan bahwa akses air minum terlindung berperan sebagai faktor protektif, sedangkan ketiadaan internet, kondisi kesehatan kurang baik, dan tidak adanya kebiasaan menabung meningkatkan risiko kerawanan pangan. Sementara itu, di Papua, indikator kemiskinan dan keterbatasan fasilitas dasar seperti penerima PKH, lantai kayu, sumber penerangan non-listrik, serta penggunaan air hujan meningkatkan risiko, sedangkan sanitasi layak dan luas rumah yang lebih kecil menurunkan peluang prediksi rumah tangga rawan pangan.