Identifying Heterogenous Effects of Bantuan Siswa Miskin on Cognitive Scores using Bayesian Causal Forests

Abstract

Tree-based methods, particularly those based on Bayesian Additive Regression Trees (BART) can uncover the differing impacts of policies and the drivers of those differences. Bayesian Causal Forests (BCF) improve on BART by considering heterogenous effects during regularization and by using probability of receiving a policy as an input. We apply BCF to uncover the heterogenous impacts of a cash transfer to poor students, Bantuan Siswa Miskin (BSM) on cognitive scores, using Indonesian Family Life Survey (IFLS) data. We use propensity scores from the best classifier among logistic regression and BART, finding little difference between both methods. The effects of BSM on cognitive scores estimated by BCF are small and not varied. However, splitting the sample by age group reduces the variability of effect estimates, leading to effects nearly significantly different from zero for some observations. Moreover, prognostic scores fall as an individual is more likely to receive BSM. Limiting the sample to cognitive scores 7 or above to ensure symmetry has similar results, but leads to additional insights on the drivers of BSM effect variability. A regression tree on treatment effect estimates finds that school level, school quality, internet access, poverty, experience of natural disaster, and province affects the size of BSM’s effects.

Metode klasifikasi dan regresi berbasis pohon, khususnya metode yang diturunkan dari Bayesian Additive Regression Trees (BART) cocok untuk menemukan perbedaan dampak suatu kebijakan dan variabel yang memunculkan perbedaan tersebut. Bayesian Causal Forest (BCF) merupakan pengembangan dari BART yang mempertimbangkan keragaman efek kebijakan dalam proses regularisasi dan menggunakan probabilitas mendapat perlakuan sebagai input. Studi ini menggunakan BCF dalam konteks pendidikan untuk menemukan dampak Bantuan Siswa Miskin pada nilai kognitif menggunakan data Indonesian Family Life Survey (IFLS). Probabilitas diduga melalui metode klasifikasi terbaik antara regresi logistik dan BART; ditemukan bahwa probabilitas yang diduga metode tersebut tidak terlalu berbeda. Efek BSM terhadap nilai kognitif yang diduga BCF kecil dan tidak beragam. Jika data dipisahkan menurut kelompok usia, ragam dari dugaan efek berkurang. Bahkan, hampir cukup bukti untuk menolak hipotesis bahwa efek untuk beberapa observasi adalah nol. Skor kognitif individu tanpa BSM berkurang jika ia lebih mungkin mendapat BSM. Jika sampel dibatasi kepada individu dengan skor kognitif tujuh ke atas untuk memastikan sebaran yang simetris, hasil tetap sama. Namun, prosedur tersebut menambah pengetahuan mengenai pendorong keragaman efek BSM dalam pembuatan pohon regresi. Pohon regresi diduga menggunakan penduga dampak BSM untuk mencari variabel yang mendorong keragaman efek BSM. Tingkat sekolah siswa, kualitas sekolah, akses internet, kemiskinan, bencana alam, dan provinsi memengaruhi besarnya efek BSM.