PENGEMBANGAN MODEL MULTILEVEL ITEM RESPONSE THEORY UNTUK DATA BERSTRUKTUR HIERARKI

Abstract

RINGKASAN ALONA DWINATA. Pengembangan Model Multilevel Item Response Theory Untuk Data Berstruktur Hierarki. Dibimbing oleh ANANG KURNIA, AJI HAMIM WIGENA, dan MUHAMMAD NUR AIDI.

Data respons butir merupakan data hasil pengukuran yang diperoleh dari jawaban peserta tes terhadap sejumlah butir soal. Data ini digunakan untuk menggambarkan kemampuan laten peserta tes berdasarkan pola jawabannya. Salah satu model yang banyak digunakan adalah Item Response Theory dua parameter logistik (IRT 2PL), karena model ini mempertimbangkan dua karakteristik penting butir, yaitu daya beda dan tingkat kesukaran. Jadi, peluang peserta menjawab benar suatu butir tidak hanya ditentukan oleh kemampuan laten, tetapi juga ditentukan oleh karakteristik setiap butir soal. Pada tes bidang pendidikan, data respons butir sering tidak berasal dari populasi yang homogen dan antarpeserta tes tidak bebas. Peserta tes biasanya berada dalam struktur berkelompok, misalnya siswa tersarang dalam sekolah. Siswa dari sekolah yang sama cenderung memiliki kesamaan lingkungan belajar, fasilitas, sumber daya, dan sistem pembelajaran. Kondisi ini menyebabkan asumsi independensi pada model IRT klasik tidak terpenuhi. Untuk mengakomodasi struktur tersebut, diperlukan model Multilevel IRT 2PL. Model ini mengintegrasikan model respons butir dengan pemodelan multilevel, sehingga variasi kemampuan laten dapat dipisahkan ke dalam variasi pada level siswa dan variasi pada level sekolah. Selain pendekatan pengukuran, analisis respons butir juga dapat dikembangkan melalui pendekatan penjelas, yaitu dengan memasukkan prediktor yang relevan untuk menerangkan variasi kemampuan laten. Dalam konteks ini dikembangkan model Multilevel Latent Regression IRT 2PL (MLR-IRT 2PL) sebagai perluasan Multilevel IRT 2PL dengan melibatkan prediktor pada level siswa dan level sekolah. Model Multilevel IRT 2PL dikembangkan dengan memodelkan kemampuan laten peserta tes sebagai gabungan efek acak siswa dan efek acak sekolah, yaitu kemampuan siswa dalam sekolah dan variasi antarsekolah. Secara konseptual, model ini menuliskan kemampuan laten sebagai ?_jk= d_jk + d_k, dengan d_jk sebagai efek acak siswa dalam sekolah dan d_k sebagai efek acak sekolah. Karena kemampuan laten siswa dan efek sekolah tidak diamati secara langsung, pendugaan parameter memerlukan pendekatan yang mampu memarginalkan efek acak tersebut. Salah satu pendekatan yang tersedia untuk model Multilevel IRT adalah paket PLmixed pada R. Pendugaan parameter pada paket ini menggunakan pendekatan GLMM dengan struktur faktor, termasuk model IRT 2PL dengan menggunakan metode profile likelihood dan nested maximizations. Oleh karena itu, PLmixed digunakan sebagai metode pembanding dalam penelitian ini. Penelitian ini mengembangkan model Multilevel IRT 2PL dengan metode pendugaan Marginal Maximum Likelihood dan Gauss-Hermite Quadrature (MML-GHQ). Pendugaan parameter dilakukan menggunakan metode Marginal Maximum Likelihood (MML), integral efek acak dihampiri dengan Gauss-Hermite Quadrature (GHQ), dan optimisasi dilakukan melalui algoritma Expectation–Maximization (EM). Kemampuan laten kemudian diduga dengan pendekatan Expected A Posteriori (EAP). Hasil kajian simulasi model Multilevel IRT 2PL menunjukkan bahwa model memiliki kinerja baik. Simulasi menggunakan faktor Intraclass Correlation Coefficient (ICC), jumlah sekolah, jumlah siswa per sekolah, dan jumlah butir. Nilai korelasi antara kemampuan laten sebenarnya dan kemampuan laten hasil dugaan relatif tinggi pada semua skenario. Faktor yang paling kuat meningkatkan korelasi dan menurunkan RMSE parameter kemampuan laten adalah jumlah butir. Faktor jumlah sekolah, jumlah siswa per sekolah, dan jumlah butir berpengaruh signifikan terhadap parameter daya beda butir, sedangkan parameter kesukaran butir dipengaruhi oleh ICC, jumlah sekolah, dan jumlah siswa per sekolah. Model MLR-IRT 2PL dikembangkan sebagai perluasan Multilevel IRT 2PL dengan memasukkan prediktor pada struktur kemampuan laten. Kemampuan laten peserta tidak hanya dipengaruhi oleh efek acak siswa dan sekolah, tetapi juga oleh prediktor level siswa dan prediktor level sekolah. Dengan demikian, model ini tidak hanya mengukur kemampuan laten, tetapi juga menjelaskan variasi kemampuan laten berdasarkan prediktor. Faktor yang digunakan dalam simulasi meliputi ICC, jumlah sekolah, jumlah siswa per sekolah, jumlah butir, efek prediktor siswa, dan efek prediktor sekolah. Hasil simulasi menunjukkan bahwa model MLR-IRT 2PL memiliki kinerja yang baik dalam menduga kemampuan laten pada data respons butir berstruktur hierarki. Korelasi antara kemampuan laten sebenarnya dan kemampuan laten hasil dugaan relatif tinggi pada seluruh skenario. Jumlah butir merupakan faktor utama yang meningkatkan kualitas dugaan kemampuan laten, semakin banyak butir, korelasi meningkat dan RMSE menurun. Hasil ANOVA menunjukkan bahwa ICC, jumlah butir, efek prediktor siswa, dan efek prediktor sekolah berpengaruh signifikan terhadap korelasi kemampuan laten, sedangkan jumlah sekolah dan jumlah siswa per sekolah tidak signifikan. Untuk parameter butir, jumlah sekolah paling berperan dalam menurunkan RMSE daya beda dan kesukaran, sehingga nilai dugaan parameter semakin akurat. Pada penelitian ini, hasil analisis data PISA menggunakan model Multilevel IRT 2PL dengan pendekatan MML-GHQ dibandingkan dengan hasil estimasi menggunakan PLmixed. Kedua pendekatan menghasilkan pola estimasi yang relatif sejalan, baik pada kemampuan laten peserta tes maupun pada parameter daya beda dan kesukaran butir. Pendekatan MML-GHQ menghasilkan sebaran estimasi kemampuan laten yang lebih lebar daripada PLmixed. Hal ini menunjukkan bahwa MML-GHQ memberikan diferensiasi yang lebih besar dalam mengidentifikasi peserta tes dengan kemampuan laten rendah, sedang, dan tinggi. Selanjutnya, penerapan model MLR-IRT 2PL pada data PISA menunjukkan bahwa dugaan kemampuan laten bergeser ke arah positif dan memiliki rentang lebih lebar dibandingkan Multilevel IRT 2PL. Meskipun demikian, korelasi antara estimasi kemampuan laten dari kedua model adalah 0,97. Nilai tersebut menunjukkan bahwa urutan kemampuan laten peserta tes tetap konsisten, meskipun kedua model menghasilkan skala dan rentang dugaan yang berbeda. Model MLR-IRT 2PL juga menunjukkan bahwa prediktor kelas dan lingkungan sekolah memiliki kontribusi dalam menjelaskan keragaman kemampuan laten. Dengan demikian, model Multilevel IRT 2PL memiliki kinerja yang baik untuk memisahkan keragaman level siswa dan sekolah, sedangkan model MLR-IRT 2PL memperluas interpretasi dengan memperhitungkan pengaruh prediktor pada level siswa dan sekolah

ALONA DWINATA. Development of a Multilevel Item Response Theory Model for Hierarchically Structured Data. Supervised by ANANG KURNIA, AJI HAMIM WIGENA, and MUHAMMAD NUR AIDI.

Item response data is measurement data obtained from participants' answers to a number of test items. This data is used to describe participants' latent abilities based on their response patterns. One widely used model is the two-parameter logistic Item Response Theory (IRT 2PL), because this model considers two important item characteristics: discrimination and difficulty level. Therefore, the probability of a participant answering an item correctly is determined not only by latent ability but also by the characteristics of each item. In educational tests, item response data often do not come from a homogeneous population and are not independent among participants. Participants are usually grouped, for example, students nested within schools. Students from the same school tend to have similar learning environments, facilities, resources, and learning systems. This condition violates the independence assumption in the classical IRT model. To accommodate this structure, a multilevel IRT 2PL model is needed. This model integrates the item response model with multilevel modeling, allowing latent ability variation to be separated into student-level and school-level components. In addition to the measurement approach, item response analysis can also be developed through an explanatory approach, namely by incorporating relevant predictors to explain variations in latent abilities. In this context, the Multilevel Latent Regression IRT 2PL (MLR-IRT 2PL) model was developed as an extension of Multilevel IRT 2PL by involving predictors at the student and school levels. The Multilevel IRT 2PL model was developed by modeling participants' latent ability as a combination of student random effects and school random effects, namely student ability within schools and variation between schools. Conceptually, this model writes the latent ability as ?_jk=d_jk+d_k, where d_jk is the student random effect within schools and d_k is the school random effect. Because student latent ability and school effects are not directly observed, parameter estimation requires an approach that can marginalize these random effects. One approach for Multilevel IRT models is the PLmixed package in R. This package estimates GLMMs with factor structures, including IRT 2PL models via profile likelihood and nested maximization. Therefore, PLmixed is used as a comparison method in this study. This study develops a Multilevel IRT 2PL model and estimates it using the Marginal Maximum Likelihood with Gauss-Hermite Quadrature (MML-GHQ) method. Parameter estimation was performed using Marginal Maximum Likelihood (MML), the random effect integral was approximated with Gauss-Hermite Quadrature (GHQ), and optimization was performed using the Expectation–Maximization (EM) algorithm. Latent ability was then estimated using the Expected A Posteriori (EAP) approach. The results of the Multilevel IRT 2PL model simulation study showed that the model performed well. The simulation used the Intraclass Correlation Coefficient (ICC), the number of schools, the number of students per school, and the number of items. The correlation between the actual and estimated latent abilities was relatively high across all scenarios. The strongest factor that increases the correlation and decreases the RMSE of the latent ability parameter is the number of items. The number of schools, the number of students per school, and the number of items significantly influence the item discrimination parameter, while the item difficulty parameter is influenced by the ICC, the number of schools, and the number of students per school. The MLR-IRT 2PL model was developed as an extension of Multilevel IRT 2PL by incorporating predictors into the latent ability structure. Participants' latent ability is influenced not only by students' and schools' random effects, but also by student- and school-level predictors. Thus, this model not only measures latent ability but also explains variations in latent ability based on predictors. In the simulation, the following factors are used: ICC, number of schools, number of students per school, number of items, student predictor effects, and school predictor effects. The simulation results show that the MLR-IRT 2PL model performs well in estimating latent ability in hierarchically structured item response data. The correlation between actual and estimated latent ability is relatively high across all scenarios. The number of items is the main factor that improves the quality of latent ability estimation; as more items are added, the correlation increases and the RMSE decreases. ANOVA results show that ICC, number of items, student predictor effects, and school predictor effects significantly influence the correlation of latent ability, while the number of schools and the number of students per school are not significant. For item parameters, the number of schools played the most important role in reducing RMSE for discrimination and difficulty, leading to more accurate parameter estimates. In this study, the results of PISA data analysis using the Multilevel IRT 2PL model with the MML-GHQ approach were compared with those obtained using PLmixed. Both approaches produced relatively consistent estimation patterns across examinees' latent abilities and item discrimination and difficulty parameters. The MML-GHQ approach produced a wider distribution of latent ability estimates than PLmixed. This indicates that the MML-GHQ provides greater differentiation in identifying examinees with low, medium, and high latent abilities. Furthermore, applying the MLR-IRT 2PL model to the PISA data showed that the latent ability estimates shifted in a positive direction and had a wider range than those from the Multilevel IRT 2PL model. However, the correlation between the latent ability estimates from the two models was 0.97. This value indicates that the order of examinees' latent abilities remained consistent, even though the two models produced different scales and ranges of estimates. The MLR-IRT 2PL model also showed that classroom and school environment predictors contributed to explaining the diversity of latent abilities. Thus, the Multilevel IRT 2PL model performs well at separating student- and school-level variability, while the MLR-IRT 2PL model broadens interpretation by accounting for the influence of predictors at both student- and school-levels.