Penerapan Retrieve-and-Rerank Entity Resolution untuk Deteksi Duplikat Nonidentik Data Aktivitas Mahasiswa IPB

Abstract

Data aktivitas mahasiswa IPB University periode 2019/2020–2025/2026 memiliki variasi penulisan yang tinggi, seperti penggunaan akronim yang tidak seragam, kesalahan pengetikan, serta penggunaan istilah campuran bahasa. Hal tersebut menyebabkan duplikat nonidentik sulit dideteksi oleh metode berbasis pencocokan string literal seperti Exact Match dan Fuzzy Match. Penelitian ini bertujuan mengadaptasi dan mengevaluasi metode entity resolution EnsembleLink berbasis retrieve-and-rerank untuk deteksi dan pengelompokan duplikat nonidentik intradataset pada data aktivitas mahasiswa IPB secara zero-shot. Metode yang diadaptasi memadukan sparse retrieval TF-IDF, dense retrieval IndoE5, penyaringan cross-encoder, dan pengelompokan connected components. Evaluasi kinerja dilakukan terhadap data acuan yang disusun dengan bantuan LLM dan divalidasi secara sampling untuk memastikan kesesuaian pasangan serta klaster duplikat nonidentik. Hasil evaluasi menunjukkan bahwa EnsembleLink mencapai F1-score 0,7892, recall 0,8447, dan precision 0,7405 pada ambang batas 0,7, yang mengungguli metode pencocokan konvensional. Modul reranker terbukti efektif mencegah kesalahan penggabungan klaster. Penerapan metode ini dapat mendukung pembersihan data aktivitas kemahasiswaan secara semi-otomatis pada tingkat institusi.

IPB University student activity records from 2019/2020–2025/2026 exhibited high spelling variations, such as non-uniform acronym usage, typographical errors, and mixed-language terms. These variations made non-identical duplicates difficult to detect using string-literal matching methods such as Exact Match and Fuzzy Match. This study aimed to adapt and evaluate the EnsembleLink retrieve-and-rerank entity resolution framework for zero-shot detection and clustering of non-identical duplicates within the IPB student activity dataset. The adapted method integrated TF-IDF sparse retrieval, IndoE5 dense retrieval, cross-encoder filtering, and connected components clustering. Performance evaluation was conducted against a ground truth dataset constructed with LLM assistance and validated via sampling to ensure the correctness of pairs and non-identical duplicate clusters. Evaluation results showed that EnsembleLink achieved an F1-score of 0.7892, recall of 0.8447, and precision of 0.7405 at a 0.7 threshold, which outperformed conventional matching methods. The reranker module was proven to effectively prevent erroneous cluster merges. The implementation of this method supported semi-automatic student activity data cleaning at the institutional level.