Analisis Performa dan Lanskap Loss Model Graph Neural Network pada Hasil Konstruksi Graf Aktivitas Mahasiswa

Abstract

Penelitian ini melakukan penerapan Graph Neural Network (GNN) untuk konstruksi data dan evaluasi model rekomendasi dalam konteks pendidikan. Kami mengusulkan pendekatan dengan membangun graf aktivitas dari data teks tidak terstruktur menjadi graf berbasis informasi semantik, interaksi, dan hibrida. Tiga arsitektur Graph Neural Network (GNN), yaitu GCN, GraphSAGE, dan GAT, dievaluasi dengan objektif rekomendasi aktivitas selanjutnya pada seorang mahasiswa, dengan variasi jenis graf dan fungsi loss InfoNCE, Bayesian Personalized Ranking (BPR), serta hibrida. Hasil evaluasi menunjukkan bahwa GCN dengan graf hibrida dan fungsi loss BPR menghasilkan performa relatif lebih baik dibanding kedua arsitektur GNN lainnya dengan NDCG@10 sebesar 0,1348. Selain itu, studi ablasi dan hasil penyetelan ini menyarankan bahwa konfigurasi hyperparameter GCN yang sederhana tapi cukup dalam memberikan hasil yang relatif lebih baik. Analisis lanskap fungsi loss melalui visualisasi normalisasi filter dan estimasi nilai eigen Hessian menunjukkan bahwa model dengan konfigurasi fungsi loss BPR lebih cenderung konvergen ke minima yang cenderung lebih datar

This research implements the application of Graph Neural Network (GNN) for constructing data and evaluating recommendation model in educational contexts. We propose an approach to build activity graphs from unstructured text data using graph data based on semantic information, user history interactions, and hybrid approach. Three GNN architectures, namely GCN, GraphSAGE, and GAT, are evaluated on the next-activity recommendation objective for individual students, across variations of graph type and loss functions InfoNCE, Bayesian Personalized Ranking (BPR), and hybrid. Evaluation results show that GCN with a hybrid graph and BPR loss achieves relatively better performance on the recommendation task with an NDCG@10 of 0.1348. Moreover, the ablation and tuning results suggest that a simple yet sufficiently deep GCN hyperparameter configuration yields better performance. Loss landscape analysis through filter normalization visualization and Hessian eigenvalue estimation indicatively reveals that model with BPR loss tend to converge to flatter minima, correlating with better generalization