Kajian Tingkat Kepentingan Peubah dengan TreeSHAP dan ER-SHAP pada Klasifikasi Resiliensi Pangan selama Pandemi Covid-19

Abstract

Pandemi COVID-19 menyebabkan gangguan terhadap sistem pangan dan kondisi sosial ekonomi rumah tangga di Indonesia. Penurunan pendapatan, perubahan aktivitas kerja, keterbatasan akses layanan kesehatan, serta berbagai strategi adaptasi rumah tangga berpotensi memengaruhi kemampuan rumah tangga dalam mempertahankan maupun memulihkan kondisi ketahanan pangannya (resiliensi pangan). Kompleksitas hubungan antar faktor tersebut menyebabkan pendekatan statistik konvensional kurang mampu menangkap hubungan yang bersifat nonlinier, sedangkan model machine learning (ML) yang memiliki kemampuan prediksi tinggi umumnya bersifat black-box. Oleh karena itu, penelitian ini mengintegrasikan model klasifikasi berbasis ML dengan pendekatan Explainable Artificial Intelligence (XAI) untuk memperoleh model yang akurat sekaligus mudah diinterpretasikan. Penelitian ini bertujuan mengevaluasi kinerja algoritma XGBoost, LightGBM, dan CatBoost dalam mengklasifikasikan resiliensi pangan rumah tangga, menganalisis hubungan peringkat peubah penting antaralgoritma dan antarmetode XAI, serta mengidentifikasi peubah-peubah yang berperan penting dalam menentukan status resiliensi pangan rumah tangga. Data yang digunakan berasal dari High Frequency Phone Survey (HFPS) Indonesia yang dilaksanakan oleh World Bank pada delapan periode survei tahun 2020–2023. Analisis dilakukan terhadap 2.868 rumah tangga yang memiliki data lengkap pada seluruh periode pengamatan. Variabel respons dibentuk menggunakan dua definisi resiliensi pangan, yaitu Strict dan Broad, sedangkan 96 peubah hasil survei diringkas menjadi 42 peubah prediktor melalui feature engineering, summary features, dan ekstraksi fitur berbasis teks. Pemodelan dilakukan menggunakan algoritma XGBoost, LightGBM, dan CatBoost. Ketidakseimbangan kelas pada definisi Strict ditangani menggunakan oversampling using propensity score (OUPS), sedangkan optimasi hyperparameter dilakukan menggunakan Optuna dengan stratified 5-fold cross validation. Evaluasi model dilakukan melalui sepuluh kali pengulangan pembagian data menggunakan metrik Balanced Accuracy, F1-Score, sensitivitas, dan Area Under the Curve (AUC). Interpretasi model dilakukan menggunakan TreeSHAP dan Ensemble Random-SHAP (ER-SHAP). Hubungan peringkat peubah dianalisis menggunakan koefisien korelasi Spearman, kemudian diagregasi menggunakan Borda Count untuk memperoleh peringkat konsensus. Hasil penelitian menunjukkan bahwa seluruh algoritma menghasilkan performa klasifikasi yang baik dengan nilai AUC di atas 0,80 pada kedua definisi resiliensi pangan. Penerapan OUPS meningkatkan kemampuan model dalam mengenali kelas minoritas pada definisi Strict, yang ditunjukkan oleh peningkatan sensitivitas dan Balanced Accuracy. Analisis hubungan peringkat peubah menunjukkan korelasi Spearman yang tinggi, baik antaralgoritma maupun antarmetode XAI, dengan korelasi TreeSHAP dan ER-SHAP berada di atas 0,93. Agregasi menggunakan Borda Count mengidentifikasi tujuh peubah yang secara konsisten memiliki tingkat kepentingan tinggi pada kedua definisi resiliensi pangan, yaitu kondisi kerawanan pangan sebelum pandemi, tingkat kekhawatiran terhadap kondisi keuangan, rata-rata pendapatan rumah tangga, guncangan harga beras, frekuensi hambatan memperoleh layanan kesehatan, variasi jam kerja, dan frekuensi perubahan pekerjaan. Penelitian ini menunjukkan bahwa pendekatan Explainable Machine Learning mampu menghasilkan model klasifikasi dengan performa yang baik sekaligus memberikan interpretasi yang kuat terhadap faktor-faktor yang memengaruhi resiliensi pangan rumah tangga. Hasil penelitian ini diharapkan dapat menjadi dasar dalam penyusunan kebijakan perlindungan sosial dan ketahanan pangan yang lebih tepat sasaran untuk meningkatkan ketahanan rumah tangga dalam menghadapi krisis di masa mendatang.

The COVID-19 pandemic has disrupted the food system and socioeconomic conditions of households in Indonesia. Declining income, changes in work activities, limited access to healthcare, and various household adaptation strategies have the potential to impact households' ability to maintain and restore food security (food resilience). The complexity of the relationships between these factors makes conventional statistical approaches incapable of capturing nonlinear relationships, while machine learning models with high predictive capabilities are generally black-box. Therefore, this study integrates a machine learning-based classification model with an Explainable Artificial Intelligence (XAI) approach to obtain a model that is both accurate and easy to interpret. This study aims to evaluate the performance of the XGBoost, LightGBM, and CatBoost algorithms in classifying household food resilience, analyze the relationship between the rankings of important variables between the algorithms and the XAI methods, and identify variables that play a significant role in determining household food resilience status. The data used comes from the High Frequency Phone Survey (HFPS) Indonesia, conducted by the World Bank over eight survey periods from 2020 to 2023. The analysis was conducted on 2,868 households with complete data for the entire observation period. The response variable was formed using two definitions of food resilience: Strict and Broad. The 96 survey variables were summarized into 42 predictor variables through feature engineering, summary features, and text-based feature extraction. Modeling was performed using the XGBoost, LightGBM, and CatBoost algorithms. Class imbalance in the Strict definition was addressed using oversampling using propensity score (OUPS), while hyperparameter optimization was performed using Optuna with stratified 5-fold cross-validation. Model evaluation was performed through ten iterations of data splitting using Balanced Accuracy, F1-Score, sensitivity, and Area Under the Curve (AUC) metrics. Model interpretation was performed using TreeSHAP and Ensemble Random-SHAP (ER SHAP). The relationship between variable ranks was analyzed using Spearman's correlation coefficient, then aggregated using the Borda Count to obtain a consensus ranking. The results showed that all algorithms produced good classification performance, with AUC values above 0.80 for both definitions of food resilience. The application of OUPS improved the model's ability to recognize minority classes in the Strict definition, as demonstrated by increased sensitivity and Balanced Accuracy. Variable rank correlation analysis demonstrated high Spearman correlations, both between algorithms and between XAI methods, with TreeSHAP and ER-SHAP correlations above 0.93. Aggregation using the Borda Count identified seven variables with consistently high importance for both definitions of food resilience: pre-pandemic food insecurity, level of financial concern, average household income, rice price shocks, frequency of barriers to accessing healthcare, variation in working hours, and frequency of job changes. This study demonstrates that the Explainable Machine Learning approach is capable of producing classification models with good performance while providing robust interpretations of the factors influencing household food resilience. These results are expected to inform the development of more targeted social protection and food security policies to improve household resilience in the face of future crises.