Kinerja Model Random Forest dengan dan tanpa Lagged Response pada Data Longitudinal untuk Prediksi Kemampuan Numerasi Siswa SMA

Abstract

Data longitudinal memiliki karakteristik berupa heterogenitas antarunit dan ketergantungan temporal antarpengukuran, sehingga memerlukan metode yang mampu mengakomodasi kedua aspek tersebut secara simultan. Linear Mixed Model (LMM) merupakan salah satu pendekatan yang banyak digunakan karena mampu memodelkan variasi antarunit melalui efek acak. Namun, pendekatan ini tetap berada dalam kerangka parametrik sehingga kurang fleksibel dalam menangkap hubungan nonlinier dan interaksi kompleks antar peubah. Mixed Effects Random Forest (MERF) dikembangkan dengan menggabungkan fleksibilitas Random Forest dalam memodelkan hubungan nonlinier dan struktur efek acak pada data hierarki. MERF pada awalnya dikembangkan untuk data berklaster dan belum secara eksplisit memodelkan korelasi antarpengukuran berulang. Selanjutnya dikembangkan Stochastic MERF (sMERF) yang mengintegrasikan proses stokastik untuk mengakomodasi korelasi antarwaktu pada data longitudinal. Selain struktur korelasi antarwaktu melalui proses stokastik, keterkaitan temporal antarpengukuran juga dapat direpresentasikan melalui lagged response. Lagged response merupakan nilai peubah respons pada waktu sebelumnya yang digunakan sebagai prediktor untuk merepresentasikan informasi historis. Kajian yang mengevaluasi dan membandingkan kinerja LMM, MERF, dan sMERF dengan mempertimbangkan penggunaan lagged response masih relatif terbatas.

Penelitian ini bertujuan untuk mengevaluasi performa prediksi LMM, MERF, dan sMERF dengan dan tanpa lagged response pada data longitudinal melalui studi simulasi dan studi empiris dan mengidentifikasi peubah kontekstual sekolah yang berperan penting dalam memprediksi capaian numerasi siswa SMA. Studi simulasi dilakukan menggunakan 80 skenario yang dibentuk melalui kombinasi tingkat ketergantungan waktu, heterogenitas individu, galat, dan proses stokastik. Setiap skenario direplikasi sebanyak 100 kali sehingga menghasilkan 8000 dataset simulasi. Evaluasi model dilakukan menggunakan Root Mean Square Error (RMSE) dan koefisien determinasi (??2). Pada studi empiris, model diterapkan pada data numerasi siswa SMA di Provinsi Jawa Barat. Numerasi dipilih karena merupakan salah satu indikator penting dalam evaluasi mutu pendidikan dan masih menunjukkan capaian yang relatif rendah baik pada tingkat nasional maupun internasional. Kinerja model pada data empiris dievaluasi menggunakan RMSE, Mean Absolute Error (MAE), Mean Absolute Percentage Error (MAPE), dan ??2.

Hasil studi simulasi menunjukkan bahwa penggunaan lagged response secara konsisten meningkatkan performa prediksi pada seluruh metode dan kondisi yang dievaluasi. Pada hampir seluruh skenario simulasi, model dengan lagged response menghasilkan RMSE yang lebih rendah dan ??2 yang lebih tinggi dibandingkan dengan model tanpa lagged response. Temuan ini didukung oleh analisis ragam dan bootstrap comparison sampling yang menunjukkan bahwa model dengan lagged response secara signifikan memberikan performa prediksi yang lebih baik dibandingkan dengan model tanpa lagged response. Hasil tersebut mengindikasikan bahwa informasi historis merupakan komponen penting dalam memprediksi respons longitudinal karena mampu menangkap ketergantungan temporal antarpengukuran. Di antara metode yang dibandingkan, MERF dengan lagged response menunjukkan performa paling baik pada sebagian besar skenario simulasi, ditunjukkan oleh frekuensi keunggulan tertinggi dan rataan peringkat terbaik. Sementara itu, keunggulan sMERF tidak muncul secara universal pada seluruh kondisi simulasi. Perbaikan performa sMERF mulai terlihat pada kondisi dengan ketergantungan temporal dan sinyal stokastik yang lebih kuat, namun belum mampu mengungguli MERF secara konsisten. Hasil ini menunjukkan bahwa peningkatan kompleksitas model melalui penambahan proses stokastik tidak selalu menghasilkan peningkatan akurasi prediksi, melainkan bergantung pada karakteristik data yang dianalisis.

Pada studi empiris, model berbasis machine learning secara umum menghasilkan performa prediksi yang lebih baik dibandingkan dengan LMM, baik pada kondisi dengan maupun tanpa lagged response. Penambahan lagged response juga meningkatkan akurasi prediksi pada seluruh metode yang dievaluasi. MERF dengan lagged response menghasilkan performa terbaik dengan nilai MAPE sebesar 5,11% dan ??2 sebesar 75,86%. Meskipun demikian, hasil bootstrap menunjukkan bahwa rentang performa MERF dan sMERF cenderung berhimpit, yang mengindikasikan bahwa kedua metode memberikan tingkat akurasi yang relatif serupa. Konsistensi hasil antara studi simulasi dan studi empiris memperkuat temuan bahwa pemanfaatan informasi historis memberikan kontribusi yang lebih besar terhadap peningkatan akurasi prediksi.

Analisis kepentingan peubah menunjukkan bahwa capaian numerasi pada periode sebelumnya merupakan prediktor yang paling dominan dalam menjelaskan capaian numerasi pada periode berikutnya. Selain faktor historis tersebut, sejumlah indikator lingkungan sekolah yang berkaitan dengan kesetaraan budaya, toleransi, dan inklusivitas juga teridentifikasi sebagai peubah penting dalam prediksi numerasi. Temuan ini menunjukkan bahwa capaian numerasi tidak hanya dipengaruhi oleh performa akademik sebelumnya, tetapi juga oleh kondisi sosial dan iklim sekolah yang mendukung proses pembelajaran.

Secara keseluruhan, hasil penelitian menunjukkan bahwa penggunaan lagged response merupakan komponen penting dalam prediksi data longitudinal. MERF cenderung memberikan performa yang paling konsisten pada berbagai kondisi yang dievaluasi, sedangkan pada simulasi yang dilakukan dalam penelitian ini, keunggulan sMERF mulai muncul pada kondisi dengan ketergantungan temporal dan sinyal stokastik yang lebih kuat.

Longitudinal data are characterized by heterogeneity across units and temporal dependence among measurements, thus requiring a method that can accommodate both aspects simultaneously. The Linear Mixed Model (LMM) is a widely used approach because it can model variation across units through random effects. However, this approach remains within a parametric framework, making it less flexible in capturing nonlinear relationships and complex interactions among variables. Mixed Effects Random Forest (MERF) was developed by combining the flexibility of Random Forest in modeling nonlinear relationships with the random effects structure in hierarchical data. MERF was initially developed for clustered data and did not explicitly model temporal correlations among repeated measurements. Subsequently, Stochastic MERF (sMERF) was developed, which integrates stochastic processes to accommodate temporal correlations in longitudinal data. In addition to temporal correlation structures via stochastic processes, temporal relationships between measurements can also be represented through lagged responses. A lagged response is the value of the response variable from a previous time step used as a predictor to represent historical information. Studies evaluating and comparing the performance of LMM, MERF, and sMERF while considering the use of lagged responses remain relatively limited.

This study aims to evaluate the predictive performance of LMM, MERF, and sMERF with and without lagged response variables on longitudinal data through simulation and empirical studies and to identify school-level contextual variables that play a significant role in predicting high school students’ numeracy achievement. The simulation study was conducted using 80 scenarios generated by combining levels of temporal dependency, individual heterogeneity, error, and stochastic processes. Each scenario was replicated 100 times, resulting in 8000 simulated datasets. Model evaluation was performed using Root Mean Square Error (RMSE) and the coefficient of determination (??2). In the empirical study, the model was applied to high school students’ numeracy data in West Java Province. Numeracy was chosen because it is a key indicator in educational quality assessment and continues to show relatively low achievement at both the national and international levels. The model’s performance on the empirical data was evaluated using RMSE, Mean Absolute Error (MAE), Mean Absolute Percentage Error (MAPE), and ??2.

The results of the simulation study show that the use of a lagged response consistently improves predictive performance across all evaluated methods and conditions. In nearly all simulation scenarios, models with a lagged response produced lower RMSE and higher ??2 values compared to models without a lagged response. These findings are supported by analysis of variance and bootstrap comparison sampling, which show that models with lagged response significantly provide better predictive performance than models without lagged response. These results indicate that historical information is a crucial component in predicting longitudinal responses because it captures the temporal dependence among measurements. Among the compared methods, MERF with a lagged response demonstrated the best performance in most simulation scenarios, as evidenced by the highest win rate and the best average ranking. Meanwhile, the advantages of sMERF were not universally evident across all simulation conditions. Improvements in sMERF’s performance began to emerge under conditions with stronger temporal dependencies and stochastic signals; however, it was not yet able to consistently outperform MERF. These results indicate that increasing model complexity by adding stochastic processes does not always lead to improved prediction accuracy; rather, it depends on the characteristics of the data being analyzed.

In the empirical study, machine learning-based models generally produced better prediction performance than LMMs, both under conditions with and without a lagged response. The inclusion of a lagged response also improved predictive accuracy across all evaluated methods. MERF with a lagged response delivered the best performance, with an MAPE of 5.11% and an ??2 of 75.86%. Nevertheless, bootstrap results show that the performance ranges of MERF and sMERF tend to overlap, indicating that both methods provide relatively similar levels of accuracy. The consistency of results between the simulation and empirical studies reinforces the finding that the use of historical information contributes more significantly to improving prediction accuracy.

An analysis of the variables’ significance indicates that numeracy achievement in the previous period is the most dominant predictor of numeracy achievement in the subsequent period. In addition to this historical factor, several school environment indicators related to cultural equity, tolerance, and inclusivity were also identified as important variables in predicting numeracy. These findings suggest that numeracy achievement is influenced not only by prior academic performance but also by social conditions and a school climate that supports the learning process.

Overall, the results of this study indicate that the use of lagged responses is a key component in predicting longitudinal data. MERF tends to deliver the most consistent performance across the various conditions evaluated, whereas in the simulations conducted in this study, the advantages of sMERF begin to emerge under conditions with stronger temporal dependencies and stochastic signals.