Kajian Metode Pohon Model Logistik (Logistic Model Tree) dengan Penanganan Ketakseimbangan Data

Abstract

Logistic model tree (pohon model logistik) adalah metode pemodelan nonparametrik yang mengombinasikan metode pohon keputusan dengan regresi logistik linier. Pohon model logistik dapat menangani multikolinearitas dengan baik, tetapi tidak kebal terhadap masalah yang diakibatkan oleh ketakseimbangan data. Penelitian ini dilakukan untuk mengkaji performa metode penanganan ketakseimbangan data undersampling, SMOTE, dan ROSE pada pohon model logistik. Data yang digunakan adalah data simulasi yang diperoleh dengan membangkitkan bilangan acak berdasarkan sebaran Bernoulli sebagai peubah respon dan bilangan normal berganda dua peubah sebagai peubah penjelas. Kombinasi yang digunakan adalah tingkat ketakseimbangan data. Berdasarkan nilai AUC, diperoleh bahwa pohon model logistik yang dibangun dengan menerapkan metode penanganan ketakseimbangan data memiliki performa klasifikasi yang lebih baik dibandingkan dengan pohon model logistik yang dibangun tanpa menerapkan metode penanganan ketakseimbangan data pada seluruh tingkat ketakseimbangan yang dicobakan. Pohon model logistik dengan penerapan metode ROSE memiliki performa lebih baik dibandingkan dengan pohon model logistik dengan penerapan metode undersampling maupun SMOTE pada gugus data dengan tingkat ketakseimbangan data tinggi hingga sedang. Pada gugus data dengan tingkat ketakseimbangan data rendah, performa pohon model logistik dengan penerapan metode ROSE dan metode undersampling tidak berbeda signifikan.

Logistic model tree is a nonparametric modelling method that combines decision tree with linear logistic regression. Logistic model tree handles multicollinearity well, but is not immune to problems that arise due to data imbalance. This study was carried to compare the performance of undersampling, SMOTE, and ROSE in handling imbalanced data when used in tandem with logistic model tree. The data used in the simulation was obtained by generating random numbers following the Bernoulli distribution as the response variable and the Bivariate Normal distribution as the explanatory variables, based on five different imbalance levels. Comparisons done on the AUC value showed that logistic model trees built with methods to handle imbalanced data performed better than logistic model trees built without applying any such method on every level of tested data imbalance in classifying objects. Among those, logistic model trees built with ROSE performed best. On datasets with low level of imbalance, the performance of logistic model trees built with ROSE and undersampling do not significantly differ.