כתבה
arXiv cs.CL ·
נזק בלתי נראה: בדיקת בטיחות LLM בשפה האורדו
'Ghaib in Translation' aka Unseen Harm: Measuring Cross-Script Safety Inconsistency with 'Missed-in-Urdu' Scores in LLM Hate Speech Detection
חוקרים בדקו חמישה מודלים גדולים, כולל GPT, Claude, Gemini, Qwen ו-Llama, כדי לבדוק את יכולתם לזהות דברי שנאה בשפה האורדו. התוצאות הראו יציבות תווית לא אחידה בין השפה האורדו לתרגום לאנגלית.
תקציר מקורי באנגליתarXiv:2608.24191v2 Announce Type: replace Abstract: Urdu, the world's tenth most spoken language with 246 million speakers, remains almost entirely absent from mainstream LLM safety evaluation and nine years of WOAH proceedings. To investigate whether this absence has measurable consequences for content moderation reliability, five large language models, GPT-4o, Claude Sonnet 4.5, Gemini 2.5 Flash, Qwen-2.5, and Llama-3.1, were tested across six datasets spanning Nastaliq Urdu, Roman Urdu, English, and code-switched Urdu-English. Across the five Urdu-script datasets, label instability between original-script and English-translation classification ranged from 15.9% (Gemini 2.5 Flash) to 31.6% (Qwen-2.5), with a 'Missed-in-Urdu' rate, content flagged as harmful in English translation but pas
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית