Kajian Simulasi Perbandingan Regresi Random Forest dan Support Vector Regression dalam Mengatasi Pencilan

Abstract

Adanya pencilan merupakan masalah yang sering muncul saat melakukan analisis regresi. Pencilan dapat menyebabkan pergeseran garis regresi, mengubah arah hubungan antara peubah penjelas dan peubah respon, serta menghasilkan dugaan parameter yang tidak valid. Pemodelan menggunakan Regresi Linear Berganda (RLB) untuk set data yang mengandung pencilan kurang tepat. Hal itu dapat diatasi dengan menggunakan Regresi Random Forest (RRF) atau Support Vector Regression (SVR). Data yang digunakan dalam penelitian ini dihasilkan dari proses simulasi dengan beberapa skenario persentase pencilan, yaitu sebanyak 0%, 2%, 5%, dan 10% dari total data. Penelitian ini bertujuan membandingkan kinerja metode pembelajaran mesin menggunakan RRF dan SVR dalam mengatasi pencilan. Berdasarkan simulasi yang dilakukan, model SVR memiliki tren penurunan nilai R2 yang konsisten, sementara model RLB dan RRF nilai R2 nya kembali meningkat seiring dengan semakin banyaknya pencilan dalam data. Sejalan dengan hal itu, model SVR juga memiliki tren peningkatan nilai RMSEP yang konsisten, sementara model RLB dan RRF nilai RMSEP nya meningkat namun masih lebih rendah dibanding SVR. Simulasi tersebut menunjukkan bahwa metode SVR sesuai digunakan untuk data yang banyaknya pencilan sedikit, yaitu kurang dari 5% dari total data. Ketika banyaknya pencilan meningkat menjadi lebih dari 5%, metode yang sesuai digunakan adalah metode RRF.

The existence of outliers is a problem that often arises when carrying out regression analysis. Outliers can cause a shift in the regression line, change the direction of the relationship between the explanatory variable and the response variable, and produce invalid parameter estimates. Modeling using Multiple Linear Regression (MLR) for data sets that contain outliers is less precise. This can be overcome by using Random Forest Regression (RFR) or Support Vector Regression (SVR). The data used in this research was generated from a simulation process with several outlier percentage scenarios, namely 0%, 2%, 5% and 10% of the total data. This research aims to compare the performance of machine learning methods using RFR and SVR in dealing with outliers. Based on the simulations carried out, the SVR model has a consistent decreasing trend in the R2 value, while for the MLR and RFR models the R2 value increases again as the number of outliers in the data increases. In line with this, the SVR model also has a consistent increasing trend in the RMSEP value, while the MLR and RFR models have an increasing RMSEP value but are still lower than the SVR. This simulation shows that the SVR method is suitable for data with a small number of outliers, namely less than 5% of the total data. When the number of outliers increases to more than 5%, the appropriate method to use is the RFR method.