Perbandingan Metode Selang Prediksi dalam Pemodelan Regresi Random Forest untuk Respon Bersebaran Tidak Simetrik

Abstract

Random forest merupakan pendekatan prediktif yang handal dengan akurasi dan stabilitas yang tinggi. Meskipun demikian, metode ini memiliki keterbatasan dalam mengukur ketidakpastian hasil prediksi. Oleh karena itu, berbagai pengembangan metode selang prediksi berbasis random forest telah banyak dilakukan, di antaranya Quantile Regression Forests (QRF), Split Conformal (SC), dan Out-of-Bag Prediction Interval (OOB-PI). Metode QRF dapat dipandang sebagai perluasan dari random forest, karena memanfaatkan sebaran kumulatif bersyarat dari peubah respon untuk membentuk selang prediksi. Di sisi lain, metode SC membangun selang prediksi dengan membagi data menjadi dua bagian, yakni satu bagian untuk melatih model dan bagian lainnya untuk menduga kuantil dari sebaran galat. Sementara itu, metode OOB-PI membentuk selang prediksi berdasarkan kuantil empiris dari sebaran galat prediksi out-of-bag. Selang prediksi adalah rentang nilai yang berpeluang besar untuk mencakup nilai sebenarnya sehingga dapat digunakan untuk pengambilan keputusan dengan tingkat kepercayaan tertentu. Penelitian yang telah dilakukan sebelumnya menunjukkan metode OOB-PI lebih unggul dibandingkan metode QRF dan SC dengan temuan penting jika sebaran peubah respon simetrik, maka akan dihasilkan sebaran galat prediksi out-of-bag yang juga bersifat simetrik. Sebaran galat berbentuk simetrik akan menghasilkan selang prediksi yang lebih akurat sehingga tidak bias ke satu sisi serta konsisten karena memiliki ragam yang kecil. Dalam praktiknya, sering dijumpai peubah respon yang bersebaran tidak simetrik sehingga menimbulkan tantangan tersendiri dalam mengembangkan model prediksi. Oleh karena itu, penelitian ini bertujuan untuk mengevaluasi kinerja metode QRF, SC, dan OOB-PI pada peubah respon yang tidak simetrik menggunakan kajian simulasi. Pada kajian simulasi, akan dibangkitkan sebaran galat yang menjulur ke kanan untuk mencerminkan peubah respon pada berbagai tingkat kemiringan. Selain kajian simulasi, penelitian ini juga akan mengevaluasi kinerja ketiga metode menggunakan data empiris untuk menganalisis dan memprediksi pengeluaran per kapita rumah tangga yang diperoleh dari SUSENAS 2023 BPS Provinsi Jawa Barat. Penelitian ini difokuskan pada Kabupaten/Kota dengan tingkat Produk Domestik Regional Bruto (PDRB) yang tinggi, sedang (median/menengah), dan rendah di Provinsi Jawa Barat. Daerah dengan tingkat PDRB yang tinggi cenderung menunjukkan tingkat pengeluaran per kapita yang lebih besar, sementara daerah dengan PDRB yang rendah umumnya memiliki tingkat pengeluaran per kapita yang lebih rendah. Wilayah dengan PDRB tinggi yang dipilih dalam penelitian ini adalah Kabupaten Bekasi (n=1157) dan Kota Bandung (n=1105). Wilayah dengan PDRB median yang dipilih adalah Kabupaten Cianjur (n=1044) dan Kota Bogor (n=808). Sementara wilayah dengan PDRB rendah yang dipilih adalah Kabupaten Pangandaran (n=730) dan Kota Banjar (n=564) sehingga total contoh yang digunakan untuk analisis empiris sebanyak 5408 rumah tangga. Tahapan simulasi utama dimulai dengan pembangkitan data simulasi sebanyak n+n_0, dengan n=500,1.000,2.000,3.000 merupakan ukuran contoh pelatihan, dan n_0=1.000 ditetapkan sebagai contoh pengujian pada setiap skenario. Evaluasi kinerja metode QRF, SC, dan OOB-PI dilakukan menggunakan contoh pengujian dengan ukuran tetap, sehingga pengaruh variasi ukuran contoh pelatihan terhadap kinerja model dapat diamati secara lebih objektif, adil, dan tidak dipengaruhi oleh keragaman contoh pengujian. Setelah data dibangkitkan, dilakukan pembagian secara acak menjadi contoh pelatihan berukuran n dan contoh pengujian n_0. Selanjutnya, model QRF, SC, dan OOB-PI dibangun menggunakan contoh pelatihan dengan hyperparameter terbaik. Evaluasi kinerja masing-masing model dilakukan pada contoh pengujian untuk menghasilkan selang prediksi dengan tingkat signifikansi a=0,05. Kinerja model diukur berdasarkan dua metrik, yaitu tingkat cakupan (coverage rate) dan lebar selang (interval width). Seluruh prosedur simulasi diulang sebanyak 1.000 replikasi, kemudian hasil dugaan coverage rate dan interval width dianalisis lebih lanjut menggunakan Analysis of Variance (ANOVA). Prosedur analisis data empiris diawali dengan eksplorasi data, kemudian dilanjutkan dengan tahap praproses data. Setelah itu dilakukan tuning hyperparameter pada random forest menggunakan 10-fold cross validation, dengan evaluasi berdasarkan nilai MAE pada data uji hasil validasi silang. Selanjutnya, membangun model selang prediksi dengan hyperparameter terbaik serta mengevaluasinya menggunakan 10-fold cross validation. Seluruh proses ini diulang sebanyak 200 replikasi dengan a=0,05 sehingga menghasilkan dugaan kinerja model yaitu tingkat cakupan dan lebar selang. Hasil kajian simulasi menunjukkan bahwa tidak terdapat perbedaan yang signifikan antara metode SC dan OOB-PI pada dugaan tingkat cakupan di berbagai skenario. Metode OOB-PI menghasilkan tingkat cakupan yang konsisten dan stabil mendekati 0,95 serta lebar selang yang relatif sempit. Sedangkan metode SC menunjukkan kinerja yang sebanding tetapi cenderung menghasilkan selang yang lebih lebar dengan ragam yang relatif besar. Sementara metode QRF menunjukkan kinerja yang kompetitif, namun konsistensinya dalam mempertahankan tingkat cakupan masih kurang stabil. Hasil kajian empiris menunjukkan bahwa metode SC dan OOB-PI memiliki kinerja yang kompetitif dengan tingkat cakupan sebesar 95%. Namun, metode OOB-PI menghasilkan selang prediksi yang relatif lebih sempit serta simpangan baku yang lebih rendah. Temuan ini mengindikasikan bahwa metode OOB-PI menunjukkan efisiensi metode yang stabil dan konsisten dalam menghasilkan selang prediksi pengeluaran per kapita meskipun pada wilayah dengan tingkat kemenjuluran tinggi dan keragaman pengeluaran per kapita yang besar. Sebaliknya, metode SC kurang stabil karena cenderung memperlebar selang prediksi untuk mempertahankan cakupan 95% sehingga efisiensi kinerjanya sedikit menurun.