Evaluasi Kinerja Klasifikasi Model Machine Learning dalam Menganalisis Data dengan Peubah Penjelas Kategorik

Abstract

Kemajuan teknologi komputasi dan analisis data mendorong semakin luasnya penerapan pembelajaran mesin (machine learning) dalam berbagai bidang, termasuk pada permasalahan klasifikasi dengan peubah penjelas kategorik. Keberadaan peubah penjelas sering kali menimbulkan permasalahan dalam proses pembelajaran model, yang pada akhirnya dapat menurunkan performa prediksi apabila tidak ditangani dengan baik. Berbagai algoritma berbasis decision tree, seperti Light Gradient Boosting Machine (LightGBM), Categorical Boosting (CatBoost), dan Random Forest, telah dikembangkan untuk mengatasi permasalahan tersebut dengan pendekatan pengkodean internal dan pembobotan kategori. Sejauh ini belum banyak penelitian yang secara sistematis mengkaji bagaimana karakteristik peubah kategorik mempengaruhi kinerja algoritma-algoritma tersebut. Berdasarkan hal tersebut, penelitian ini bertujuan untuk menganalisis pengaruh karakteristik peubah kategorik terhadap kinerja model klasifikasi berbasis LightGBM, CatBoost, dan Random Forest melalui pendekatan simulasi serta penerapan pada data empiris pengaduan maladministrasi di Ombudsman Republik Indonesia. Penelitian dilakukan menggunakan pendekatan data simulasi yang dirancang untuk mengevaluasi kinerja model klasifikasi pada 16 skenario dataset yang mengandung peubah penjelas kategorik. Data simulasi dibangkitkan dengan mengombinasikan beberapa karakteristik berdasarkan proporsi peubah penjelas kategorik, tingkat kardinalitas kategori, serta keseimbangan distribusi antar level, sehingga diperoleh variasi kondisi data yang mewakili permasalahan klasifikasi dalam dataset nyata. Setiap skenario diuji menggunakan tiga algoritma utama, yaitu LightGBM, CatBoost, dan Random Forest. Evaluasi dilakukan melalui 100 kali pengulangan simulasi untuk memperoleh estimasi yang stabil terhadap metrik kinerja yang diukur, meliputi akurasi, sensitivitas, dan area under the curve (AUC). Selain analisis simulasi, penelitian ini juga menerapkan ketiga algoritma tersebut pada data empiris pengaduan maladministrasi Ombudsman Republik Indonesia guna menguji konsistensi hasil pada data nyata. Seluruh proses pembangkitan data, pemodelan, dan evaluasi dilakukan menggunakan perangkat lunak R dan Python. Hasil analisis terhadap data simulasi menunjukkan bahwa karakteristik peubah penjelas kategorik terbukti signifikan secara statistik memengaruhi kinerja model klasifikasi, sebagaimana diukur melalui metrik akurasi, sensitivitas, dan AUC. Berdasarkan hasil uji ANOVA pada tingkat kepercayaan 95%, diperoleh p-value yang lebih kecil dari 0,05, sehingga dapat disimpulkan bahwa terdapat cukup bukti untuk menyatakan bahwa perbedaan kinerja model dipengaruhi oleh proporsi peubah penjelas kategorik, tingkat kardinalitas kategori, serta keseimbangan distribusi antar level. Faktor kardinalitas peubah kategorik merupakan determinan utama dengan kontribusi pengaruh sebesar 51,79%, yang menegaskan bahwa kompleksitas jumlah level kategori sangat menentukan variasi kinerja model. Di antara ketiga algoritma yang dievaluasi, CatBoost secara konsisten menunjukkan kinerja tertinggi pada seluruh metrik evaluasi, dengan akurasi tertinggi sebesar 95,53%, sensitivitas tertinggi sebesar 95,53%, serta nilai AUC tertinggi mencapai 99,34%, yang mencerminkan kemampuan diskriminasi yang sangat kuat. Secara umum, CatBoost dan LightGBM menunjukkan performa yang lebih stabil dibandingkan Random Forest, terutama pada kondisi data dengan proporsi peubah penjelas kategorik yang tinggi serta tingkat kardinalitas yang besar. Peningkatan jumlah level kategori menyebabkan penurunan kinerja yang lebih tajam pada algoritma yang tidak memiliki mekanisme penanganan khusus terhadap data kategorik. Hasil uji lanjut menggunakan post-hoc Tukey HSD memberikan interpretasi yang lebih spesifik, bahwa CatBoost paling sesuai digunakan pada dataset dengan peubah penjelas kategorik yang lebih rumit, baik dari sisi proporsi maupun kardinalitas kategori, LightGBM menunjukkan kinerja optimal pada tingkat kompleksitas menengah, sementara Random Forest lebih sesuai untuk dataset yang relatif sederhana. Meskipun demikian, pada kondisi dataset sederhana dengan jumlah peubah kategorik yang sedikit dan berkardinalitas rendah, Random Forest menunjukkan kinerja yang sama baiknya dengan CatBoost dan LightGBM, sehingga perbedaan kinerja antar algoritma menjadi tidak signifikan pada tingkat kompleksitas data yang rendah. Penerapan pada data empiris dengan dataset terdiri dari peubah kategorik yang berkardinalitas tinggi dan terdistribusi secara tidak seimbang memperlihatkan pola kinerja yang selaras dengan hasil simulasi. LightGBM memberikan keunggulan dalam hal ketepatan klasifikasi dan kemampuan diskriminasi terhadap kelas target dengan akurasi 74,18% dan AUC 82,41%. CatBoost mengindikasikan kemampuannya yang lebih baik dalam mengidentifikasi kasus positif dengan sensitivitas 76,04%. Hal ini menegaskan bahwa kedua model tersebut bersifat adaptif, andal, dan robust untuk klasifikasi data dengan struktur kategorik yang kompleks. Hasil penelitian menunjukkan bahwa struktur peubah kategorik, yang mencakup proporsi peubah kategorik, tingkat kardinalitas, serta distribusi level kategori, berpengaruh signifikan terhadap kinerja model klasifikasi LightGBM, CatBoost, dan Random Forest dalam hal akurasi, sensitivitas, dan AUC, baik secara langsung maupun melalui interaksi antar faktor, dengan tingkat kardinalitas sebagai faktor yang paling dominan. Perbandingan antar model mengindikasikan bahwa algoritma berbasis boosting, yaitu LightGBM dan CatBoost, secara konsisten mengungguli Random Forest pada berbagai skenario, terutama ketika data memiliki proporsi peubah kategorik yang tinggi, kardinalitas besar, dan distribusi kategori yang tidak merata, sementara Random Forest mengalami penurunan kinerja yang lebih tajam pada kondisi tersebut.