Evaluasi Performa Ensemble SVM Berbasis Fuzzy K-Prototype pada Data Pengangguran Terbuka di Provinsi Jawa Barat

Abstract

Penelitian ini dilatarbelakangi oleh permasalahan klasifikasi pada data yang tidak seimbang (class imbalance), di mana jumlah observasi pada kelas minoritas jauh lebih sedikit dibandingkan kelas mayoritas. Pada kondisi tersebut, model klasifikasi konvensional cenderung menghasilkan akurasi yang tinggi, tetapi memiliki kemampuan yang rendah dalam mendeteksi kelas minoritas. Permasalahan ini menjadi penting pada kasus pengangguran terbuka di Provinsi Jawa Barat karena proporsi pengangguran hanya sekitar 6,5% dari seluruh angkatan kerja, sehingga individu yang menganggur lebih sulit dikenali oleh model klasifikasi. Support Vector Machine (SVM) merupakan salah satu algoritma klasifikasi yang memiliki kemampuan generalisasi yang baik, namun performanya menurun ketika diterapkan pada data yang sangat tidak seimbang. Berbagai penelitian telah menunjukkan bahwa penerapan teknik oversampling seperti SMOTE mampu meningkatkan representasi kelas minoritas. Akan tetapi, SMOTE hanya sesuai untuk data numerik, sedangkan data ketenagakerjaan terdiri atas kombinasi peubah numerik, nominal, dan ordinal sehingga memerlukan pendekatan yang lebih sesuai, yaitu SMOTE-NC. Efektivitas SMOTE-NC yang digunakan untuk penyeimbangan data sangat dipengaruhi oleh struktur data yang digunakan dalam pembentukan data sintetis. Oleh karena itu, penelitian ini mengusulkan proses penggerombolan sebelum oversampling menggunakan metode Fuzzy K-Prototype (FKP). Berbeda dengan K-Means yang hanya dapat menangani data numerik dan menggunakan pendekatan hard clustering, FKP mampu mengelompokkan data campuran dengan konsep fuzzy membership, sehingga setiap observasi dapat memiliki derajat keanggotaan pada lebih dari satu gerombol dan menghasilkan kelompok yang lebih homogen. Penelitian ini mengembangkan kerangka kerja clustering-based SVM ensemble dengan mengganti metode K-Means menjadi Fuzzy K-Prototype dan mengganti SMOTE menjadi SMOTE-NC. Proses yang diawali dengan menggunakan metode penggerombolan kemudian dilihat apakah kelas dalam kondisi tidak seimbang, jika kelas dalam kondisi tidak seimbang maka dilakukan penyeimbangan kelas terlebih dahulu pada setiap gerombol yang terbentuk menggunakan SMOTE-NC. Model ensemble SVM akan dilakukan setelah kondisi kelas data sudah seimbang pada masing-masing gerombol. Hasil prediksi akhir diperoleh melalui proses ensemble yang mempertimbangkan bobot performa setiap model serta derajat keanggotaan setiap observasi terhadap seluruh gerombol. Data yang digunakan berasal dari Survei Angkatan Kerja Nasional (Sakernas) Agustus 2024 Provinsi Jawa Barat dengan jumlah observasi sebanyak 30.755 individu pada kategori usia kerja. Peubah yang digunakan terdiri atas kombinasi peubah numerik, nominal, dan ordinal yang meliputi usia, jenis kelamin, tingkat pendidikan, status perkawinan, status dalam rumah tangga, keikutsertaan Program Kartu Prakerja, riwayat pelatihan, dan lama masa setelah lulus pendidikan. Evaluasi model dilakukan menggunakan sensitivitas sebagai nilai evaluasi utama, dan juga nilai balanced accuracy, spesifisitas, dan akurasi. Hasil analisis Fuzzy K-Prototype menunjukkan bahwa jumlah gerombol optimal adalah dua berdasarkan nilai silhouette score tertinggi. Gerombol pertama didominasi oleh laki-laki, kepala keluarga, berusia lebih tua, dan memiliki tingkat pengangguran yang rendah. Sebaliknya, gerombol kedua didominasi oleh perempuan, bukan kepala keluarga, berusia lebih muda, serta memiliki proporsi pengangguran yang jauh lebih tinggi sehingga lebih rentan terhadap risiko pengangguran. Evaluasi terhadap model ensemble SVM menunjukkan bahwa tanpa penanganan class imbalance, model menghasilkan akurasi yang tinggi namun sensitivitas sangat rendah sehingga gagal mendeteksi sebagian besar individu yang menganggur. Setelah diterapkan SMOTE-NC, kemampuan model dalam mengenali kelas minoritas meningkat secara signifikan. Hasil ini menunjukkan bahwa penyeimbangan data merupakan tahapan yang sangat penting sebelum proses klasifikasi dilakukan pada data ketenagakerjaan yang tidak seimbang. Penerapan metode ensemble berbasis Fuzzy K-Prototype dan SMOTE-NC menghasilkan peningkatan performa klasifikasi dibandingkan model SVM. Penggabungan antara proses penggerombolan, oversampling, dan ensemble learning mampu menghasilkan model yang lebih stabil, meningkatkan sensitivitas dalam mendeteksi pengangguran, serta tetap mempertahankan nilai balanced accuracy yang baik. Selain itu, evaluasi terhadap jumlah gerombol menunjukkan bahwa kualitas penggerombolan berdasarkan silhouette score dan metode elbow berpengaruh terhadap performa klasifikasi, khususnya sensitivitas. Secara keseluruhan, penelitian ini menunjukkan bahwa pendekatan ensemble SVM berbasis Fuzzy K-Prototype merupakan metode yang efektif untuk menangani data dengan peubah campuran yang tidak seimbang. Kombinasi metode tersebut mampu menghasilkan data sintetis yang lebih representatif, meningkatkan kemampuan model dalam mengenali kelas minoritas, dan memberikan performa klasifikasi yang lebih baik dibandingkan pendekatan model SVM. Temuan penelitian ini diharapkan dapat menjadi alternatif metode klasifikasi pada data bertipe campuran serta mendukung penyusunan kebijakan ketenagakerjaan yang lebih tepat sasaran.

This study was motivated by the classification challenges posed by imbalanced data, where the minority class contains substantially fewer observations than the majority class. Under such conditions, conventional classification models often achieve high overall accuracy while performing poorly in identifying minority-class instances. This issue is particularly important in the case of open unemployment in West Java Province, where unemployed individuals represent only about 6.5% of the labor force, making them difficult to detect accurately. Support Vector Machine (SVM) is a widely used classification algorithm because of its strong generalization capability. However, its performance deteriorates when applied to highly imbalanced datasets. Previous studies have shown that oversampling techniques such as SMOTE can improve minority-class representation. Nevertheless, conventional SMOTE is designed only for numerical data, whereas labor force datasets consist of mixed numerical, nominal, and ordinal variables, making SMOTE-NC a more appropriate alternative. The effectiveness of SMOTE-NC largely depends on the underlying data structure used to generate synthetic samples. Therefore, this study proposes a clustering stage prior to oversampling using the Fuzzy K-Prototype (FKP) algorithm. Unlike K-Means, which is limited to numerical data and employs hard clustering, FKP is specifically designed for mixed-type data and utilizes fuzzy memberships, allowing each observation to belong to multiple clusters with different membership degrees and producing more homogeneous clusters. This research extends the clustering-based SVM ensemble framework by replacing K-Means with Fuzzy K-Prototype and conventional SMOTE with SMOTE-NC. After clustering, SMOTE-NC is applied independently within each cluster to balance the class distribution, followed by the construction of an SVM classifier for each cluster. The final prediction is generated through an ensemble mechanism that integrates classifier confidence weights and the fuzzy membership degree of each observation. The study employed data from the August 2024 National Labor Force Survey (Sakernas) in West Java, comprising 30,755 working-age individuals. The dataset included numerical, nominal, and ordinal variables such as age, gender, education level, marital status, household status, participation in the Pre-Employment Card Program, training history, and years since graduation. Model performance was primarily evaluated using sensitivity, complemented by balanced accuracy, specificity, and overall accuracy. The Fuzzy K-Prototype clustering results indicated that two clusters provided the optimal solution according to the highest silhouette score. The first cluster was predominantly composed of older male household heads with a very low unemployment rate. In contrast, the second cluster mainly consisted of younger females who were not household heads and exhibited a substantially higher unemployment rate, indicating greater vulnerability to unemployment. The evaluation of the conventional SVM model revealed that, without addressing class imbalance, the model achieved high overall accuracy but extremely low sensitivity, failing to identify most unemployed individuals. After applying SMOTE-NC, the model's ability to recognize the minority class improved considerably. These findings demonstrate that class balancing is an essential preprocessing step for labor force datasets with severe class imbalance. The proposed ensemble model based on Fuzzy K-Prototype and SMOTE-NC outperformed the SVM model. The integration of clustering, oversampling, and ensemble learning produced a more robust classifier, substantially improved sensitivity in detecting unemployed individuals, and maintained satisfactory balanced accuracy. Furthermore, the evaluation of different numbers of clusters indicated that clustering quality, measured by the silhouette score dan elbow method, had a meaningful impact on classification performance, particularly sensitivity. Overall, this study demonstrates that the Fuzzy K-Prototype-based Ensemble-SVM framework is an effective approach for handling imbalanced mixed-type data. The proposed method generates more representative synthetic samples, enhances the detection of minority-class observations, and achieves superior classification performance compared with conventional approaches. These findings contribute to the development of machine learning methods for mixed-type socioeconomic data and provide valuable support for evidence-based employment policy and unemployment mitigation strategies.