Pembuatan Sistem Manajemen Kualitas Data Menggunakan Great Expectations: Integrasi ke dalam Dashboard

Abstract

Data merupakan aset penting dalam pengambilan keputusan operasional, terutama dalam era digital saat ini. Kualitas data yang baik sangat penting untuk mendukung keputusan yang efektif. PT Asta Protek Jiarsi menghadapi tantangan dalam menjaga kualitas data, terutama terkait dengan kelengkapan data, sehingga dapat mengganggu proses pengolahan data. Untuk mengatasi masalah ini, diperlukan pendekatan komprehensif untuk mengidentifikasi seberapa banyak data yang memiliki nilai null dalam dataset. Penerapan Great Expectations sebagai kerangka kerja untuk otomatisasi validasi data dan integrasi hasil validasi ke dalam dashboard Tableau diusulkan untuk meningkatkan visibilitas dan responsivitas terhadap kualitas data. Tableau memungkinkan visualisasi data yang mudah dipahami, sementara Apache Airflow digunakan untuk otomatisasi harian. Metode CRISP-DM digunakan sebagai landasan metodologi penelitian ini. Dengan pendekatan ini, diharapkan dapat memberikan kontribusi positif dalam pengembangan praktik terbaik untuk menjaga kualitas data dan memberikan wawasan tambahan melalui dashboard dinamis.

Data is an important asset in operational decision making, especially in today's digital era. Good data quality is essential to support effective decisions. PT Asta Protek Jiarsi faces challenges in maintaining data quality, especially related to data completeness, which can disrupt the data processing process. To overcome this problem, a comprehensive approach is needed to identify how much data has null values in the dataset. The application of Great Expectations as a framework for data validation automation and the integration of validation results into the Tableau dashboard is proposed to improve visibility and responsiveness to data quality. Tableau allows for easy-to-understand data visualization, while Apache Airflow is used for daily automation. The CRISP-DM method is used as the foundation of this research methodology. With this approach, it is expected to provide a positive contribution to the development of best practices for maintaining data quality and providing additional insights through dynamic dashboards.