Perbandingan Metode Logistic Regression, Metode Decision Tree, dan Metode Logistic Model Tree untuk Pengklasifikasian Data (Studi Kasus Kaggle Maternal Health Risk)

Abstract

Metode Logistic Model Tree (LMT) merupakan metode klasifikasi yang menggabungkan metode Decision Tree dan metode Logistic Regression. Metode Decision Tree unggul dalam memecah proses pengambilan keputusan yang kompleks menjadi proses yang lebih sederhana namun keragaman model yang dihasilkan tinggi. Sebaliknya, metode Logistic Regression adalah metode klasifikasi yang menghasilkan model dengan keragaman rendah tetapi bias tinggi. Metode LMT dikembangkan dengan tujuan mencapai keuntungan dari kedua metode tersebut. Implementasi ketiga metode dalam penelitian ini dilakukan terhadap data Kaggle Maternal Health Risk. Hasil yang diperoleh menunjukkan bahwa metode Decision Tree dan LMT menunjukkan performa yang sangat baik (AUC - Area Under Curve = 0,92), sementara metode Logistic Regression “dapat diterima” (AUC = 0,73) saja. Nilai akurasi yang dihasilkan metode LMT dan metode Decision Tree relatif sama baiknya, masing-masing bernilai 81,7% dan 81,3%. Namun demikian, metode LMT unggul dibandingkan dengan metode Decision Tree dalam hal jumlah simpul, yaitu dari 287 simpul yang dihasilkan metode Decision Tree menjadi hanya 99 simpul pada metode LMT.

The Logistic Model Tree Method (LMT) is a classification method that combines decision tree learning and logistic regression. Decision Tree is superior in the ability to break down complex decision-making processes into simpler but the variety of result models is high. Meanwhile, Logistic Regression is a classification method that produces models with low variance but high bias. LMT method has the purpose to gain the advantages of both methods. The implementation of the three methods in this study is employed to analyze on the Kaggle Maternal Health Risk data. The obtained result shows that the Decision Tree and LMT methods perform very well (AUC - Area Under Curve = 0,92), while the logistic regression method is at "acceptable" level (AUC = 0,73). The accuracy values produced by the LMT method and the Decision Tree method are relatively good, at 81.7% and 81.3%. However, the LMT method is superior to the Decision Tree method in terms of the number of nodes, from 287 nodes created by the Decision Tree method to only 99 nodes in the LMT method.