Perbandingan Automatic Labelling dalam Klasifikasi Naive Bayes untuk Analisis Sentimen Data Transkripsi Video Pendek

Abstract

Pertumbuhan video pendek Instagram Reels menjadi sumber informasi strategis, namun analisisnya belum optimal karena keterbatasan metode analisis. Penelitian ini bertujuan membandingkan metode pelabelan otomatis dan pengaruhnya terhadap klasifikasi machine learning. Data bersumber dari transkripsi 766 video Instagram Reels terkait program Makan Bergizi Gratis (MBG) menggunakan Whisper. Metodologi membandingkan dua pendekatan pelabelan, yaitu InSet dan DeepSeek, yang kemudian diklasifikasikan menggunakan algoritma Naive Bayes. Hasil pengujian skor Cohen's kappa dan agreement menunjukkan kualitas pelabelan DeepSeek lebih unggul daripada InSet. Melalui pengujian empat skenario pemodelan dan pertimbangan kualitas label, model DeepSeek Imbalanced terbukti paling optimal dengan capaian akurasi 66,7%, macro F1-score 41,8%, serta karakteristik good fit pada learning curve.