Pengembangan Modul Extract, Transform, Load Data Warehouse Hasil Komoditas Pertanian Indonesia Menggunakan Talend

Abstract

Kementerian Pertanian Indonesia menghimpun data hasil komoditas pertanian Indonesia dalam fail yang tidak saling terintegrasi. Solusi terbaik untuk melakukan integrasi data tersebut adalah data warehouse dengan proses extract, transform, load (ETL). Penelitian ini membangun ETL data warehouse hasil komoditas pertanian Indonesia yang memungkinkan praproses dan pembersihan data lebih cepat sebelum dimuat ke data warehouse. Pembangunan ETL diawali dengan merancang data warehouse menggunakan skema bintang dan merancang pemodelan ETL untuk melakukan transformasi. Transformasi dilakukan dengan membagi fail menjadi header dan body file. Implementasi model transformasi dilakukan menggunakan tool Talend. Hasil pengujian transformasi menunjukkan bahwa proses ETL berjalan dengan baik. Pengujian nilai menunjukkan bahwa nilai keluaran pada DBMS dan operasi OLAP menghasilkan nilai yang sama dengan nilai masukan yang berasal dari fail masukan.