| dc.description.abstract | Direktorat Jenderal Bea dan Cukai (DJBC) saat ini menggunakan model skor kepatuhan sebagai dasar penentuan prioritas dan strategi pengawasan terhadap pengusaha minuman beralkohol. Model tersebut disusun dalam bentuk scorecard manual menggunakan 91 peubah prediktor kategorik dengan struktur kategori dan pembobotan yang ditetapkan melalui pendekatan normatif dan justifikasi ahli. Pendekatan ini belum mempertimbangkan hubungan statistik empiris antara karakteristik pengusaha dan kejadian pelanggaran sehingga diperlukan evaluasi dan pengembangan model yang lebih berbasis data. Berdasarkan latar belakang tersebut, tujuan penelitian ini adalah (1) mengevaluasi kinerja model skor kepatuhan yang saat ini digunakan oleh DJBC; (2) mengembangkan model skor kepatuhan baru dengan membandingkan kinerja algoritma pemodelan regresi logistik dengan encoding Weight of Evidence (WoE), Ordered Target (OT) dan algoritma CatBoost; serta (3) mengidentifikasi peubah prediktor yang memiliki tingkat kepentingan paling tinggi berdasarkan model terbaik dari hasil pengembangan model.
Model skor kepatuhan yang digunakan oleh DJBC saat ini terdiri atas 309 level kategori yang berasal dari 91 peubah prediktor. Distribusi pengusaha pada setiap level kategori tidak merata sehingga masih terdapat level kategori yang hanya berisikan kurang dari 5% pengusaha minuman beralkohol di Indonesia (sparse categories). Kondisi tersebut berpotensi mempengaruhi kestabilan proses encoding dan kinerja model prediktif yang dihasilkan. Berdasarkan kondisi tersebut, penelitian ini menerapkan proses restrukturisasi level kategori melalui penggabungan beberapa level kategori dengan frekuensi yang rendah untuk memperoleh representasi kategori yang lebih stabil. Hasil restrukturisasi level kategori ini berhasil menurunkan jumlah level kategori menjadi 242 buah.
Proses evaluasi terhadap model skor kepatuhan yang saat ini digunakan oleh DJBC menunjukkan bahwa model memiliki kemampuan diskriminasi yang terbatas dengan nilai statistik Kolmogorov-Smirnov (KS) sebesar 0,27. Pola distribusi skor kepatuhan yang dihasilkan juga belum mencerminkan tingkat risiko secara memadai karena kelompok dengan skor kepatuhan tinggi didominasi oleh pengusaha yang melakukan pelanggaran. Pengembangan model skor kepatuhan menggunakan regresi logistik dan CatBoost berhasil meningkatkan kinerja klasifikasi dibandingkan model skor kepatuhan yang digunakan saat ini. Penerapan encoding OT pada model regresi logistik secara konsisten menghasilkan kinerja yang lebih baik dibandingkan encoding WoE pada seluruh skenario pemodelan. Model regresi logistik terbaik menghasilkan nilai KS sebesar 0,42 dan AUC sebesar 0,68. Adapun kinerja terbaik dari seluruh skenario pemodelan dihasilkan dari model CatBoost dengan nilai KS sebesar 0,47 dan AUC sebesar 0,72. Penelitian ini juga menggunakan skema repeated cross validation (5 fold dan 20 pengulangan) untuk memvalidasi kinerja model sehingga menghasilkan pengukuran kinerja yang lebih andal.
Analisis tingkat kepentingan peubah prediktor menunjukkan bahwa X21 merupakan peubah prediktor yang memiliki tingkat kepentingan tertinggi dari model CatBoost terbaik. Sebagian besar peubah prediktor dengan tingkat kepentingan tertinggi berasal dari dimensi risiko inheren dan operasional sedangkan kontribusi peubah dari dimensi risiko rekam jejak relatif lebih rendah. Hasil penelitian secara keseluruhan menunjukkan bahwa pendekatan berbasis machine learning dan strategi encoding yang tepat mampu meningkatkan kemampuan diskriminasi model dibandingkan scorecard manual yang saat ini digunakan oleh DJBC. Temuan ini dapat menjadi dasar empiris bagi pengembangan sistem skor kepatuhan yang lebih akurat, objektif dan berbasis data dalam mendukung pengawasan pengusaha minuman beralkohol di Indonesia. | |
