כתבה
arXiv cs.LG ·
LLM רב-לשוניים: חולשות תרבותיות ולשוניות
Multilingual in Name Only? Cultural and Linguistic Weaknesses of LLMs in Urdu
חוקרים בדקו את היכולת של מודלים רב-לשוניים ליצור טקסט בשפה האורדו. הם מצאו כי המודלים GPT-5.1, Qwen-3-Max ו-DeepSeek-3.1 עשויים ליצור טקסט עם שגיאות גרמטיקליות וסמנטיות. החוקרים גם מצאו כי המודלים הללו חסרים עומק תרבותי.
תקציר מקורי באנגליתarXiv:2609.10758v1 Announce Type: cross Abstract: Multilingual large language models (LLMs) are increasingly used for open-ended text generation, yet their behaviour in low-resource languages remains poorly understood. In this work, we question how correct and reliable is the generation of multilingual LLMs when used for the task of story generation. We consider Urdu language as a representative low-resource language. We generate Urdu-Stories, a corpus of 93 stories generated using three contemporary LLMs (GPT-5.1, Qwen-3-Max, DeepSeek-3.1). We manually annotate the errors present in them under a nine-label linguistic, semantic, and cultural taxonomy. Our notable findings suggest that LLMs often make basic errors of grammar and semantics. The stories lack coherence, have unnatural repetiti
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית