pari, nefret söylemi tespiti için makine öğrenmesi tabanlı bir yapay zekâ modeli olarak geliştirildi. Modelin eğitimi için Hrant Dink Vakfı’nın 10 yıllık yazılı basının taranmasıyla arşivlenen geniş haber verisine ek olarak X platformundan elde edilen tweetler kullanıldı. Yüksek kaliteli bir veri seti oluşturmak amacıyla, interdisipliner bir ekip, detaylı etiketleme yönergeleri geliştirerek belirsizlikleri gidermeyi ve kapsayıcılığı sağlamayı amaçladı. Bu yönergenin rehberliğinde, nefret söylemi dört kategoriye ayrılarak şiddet seviyesi 0’dan 10’a kadar bir ölçekle değerlendirildi.
Abartma/Yükleme/Çarpıtma/Genelleme: Bir kişi ya da olaydan yola çıkarak bir topluluğa yönelik olumsuz genelleme, çarpıtma, abartma, olumsuz atıf içeren söylemler.
Küfür/Hakaret/Aşağılama/İnsandışılaştırma: Bir topluluk hakkında doğrudan küfür, aşağılama, hakaret içeren söylemler.
Düşmanlık/Savaş söylemi: Bir topluluk hakkında düşmanca, savaşı çağrıştıran ifadelerin yer aldığı söylemler.
Simgeleştirme: Doğal bir kimlik öğesinin nefret, aşağılama unsuru olarak kullanıldığı, simgeleştirildiği söylemler.
Tweetler, nefret söylemi kategorilerinin yanı sıra ayrımcı söylem açısından da etiketlendi.
Ayrımcı söylem: Bir grubun tamamının ya da grubun bazı üyelerinin, kimlikleri sebebiyle topluma dahil olma, hak ve özgürlüklerden faydalanma gibi alanlarda baskın gruptan olumsuz şekilde farklı görüldüğü söylemler.
Etiketleme sürecinde, farklı alanlardan gelen ve çoğunluğunu üniversite öğrencilerinin oluşturduğu etiketleyiciler, tweetleri etiketlemeden önce kapsamlı bir eğitim aldı. Tweetlerin etiketlenme doğruluğunu sağlamak için her tweet üç farklı kişi tarafından etiketlendi.
Nefret söyleminin dinamik doğası, kültürel referanslar, bağlam eksikliği ve dilsel belirsizlik (örn. ironi) otomatik nefret söylemi sınıflandırmasındaki zorluklar arasında bulunuyor. Modeli bu değişimlere uyacak şekilde adapte etmek ve doğruluğu korumak, düzenli veri güncellemeleri ve yeniden eğitim gerektiriyor. Bu nedenle, düzenli olarak daha fazla veri ekleyerek pari’yi geliştirmeyi amaçlıyoruz. pari, Türkçe’de %85, Arapça’da ise %80 doğruluk oranıyla çalışır. Türkçe için 2189 test verisi üzerinde yapılan değerlendirmede, pari %17 oranında yanlış pozitif (False Positive – FP) ve %15 oranında yanlış negatif (False Negative – FN) sonuç verdi. Arapça için ise, 499 test verisi üzerinde yapılan incelemede, pari %6 oranında yanlış pozitif (FP) ve %27 oranında yanlış negatif (FN) sonuç verdi. (Doğruluk oranları hakkında daha detaylı bilgi için “Nefret Söylemiyle Mücadelede Yapay Zekâ: Etiketleme, Sınıflandırma ve Tespit Kılavuzu” kaynağına bakabilirsiniz).