Analisis Ambiguitas Sentimen dan Kesepakatan Anotator pada Isu Geopolitik di Media Sosial

Abstract

Komentar konflik geopolitik memuat opini, emosi, humor, ironi, dan interpretasi kontekstual yang tidak selalu dapat direpresentasikan melalui satu label sentimen. Penelitian ini menganalisis ambiguitas sentimen pada 2.606 komentar TikTok terkait konflik Iran dengan Amerika Serikat/Israel, dianotasi oleh sepuluh anotator Gen Z dan Non-Gen Z dengan label positif, netral, dan negatif. Shannon entropi digunakan untuk mengukur ambiguitas, Jensen-Shannon divergence digunakan untuk membandingkan distribusi entropi Gen Z dan Non Gen Z, dan Cohen’s Kappa dengan graf berbobot divisualisasikan untuk menganalisis agreement antaranotator. Distribusi sentimen hasil anotasi oleh 10 anotator memiliki mean entropi 0,768 dengan 56,60% komentar terkategori highly ambiguous. Hasil Jensen-Shannon divergence dan visualisasi graf menunjukkan bahwa perbedaan persepsi antargenerasi bersifat spesifik pada komentar tertentu, dengan struktur kesepakatan yang lebih dipengaruhi oleh karakteristik individual anotator, sedangkan random forest menunjukkan keterbatasan prediksi ambiguitas dari fitur teks. Hal ini mengonfirmasi relatif tingginya ambiguitas sentimen pada data yang digunakan sehingga menjadi bahan pertimbangan untuk analisis sentimen selanjutnya.

Geopolitical conflict comments contain opinions, emotions, humor, irony, and contextual interpretations that cannot always be represented by a single sentiment label. This study analyzes sentiment ambiguity in 2,606 TikTok comments related to the Iran and United States/Israel conflict, annotated by ten Gen Z and Non-Gen Z annotators with positive, neutral, and negative labels. Shannon entropy is used to measure ambiguity, Jensen-Shannon divergence is used to compare the entropy distributions of Gen Z and Non-Gen Z, and Cohen's Kappa with a weighted graph is visualized to analyze inter-annotator agreement. The sentiment distribution annotated by the 10 annotators has a mean entropy of 0.768, with 56.60% of the comments categorized as highly ambiguous. The results of the Jensen-Shannon divergence and graph visualization show that intergenerational perception differences are specific to certain comments, with the agreement structure being more influenced by the individual characteristics of the annotators, whereas random forest shows the limitation of ambiguity prediction from text features. This confirms the relatively high sentiment ambiguity in the data used, thus serving as a consideration for further sentiment analysis.