כתבה
arXiv cs.CL ·
האם LLMs נאמנים? חולשות תרבותיות ולשוניות של LLMs באורדו
Multilingual in Name Only? Cultural and Linguistic Weaknesses of LLMs in Urdu
LLMs חולשות תרבותיות ולשוניות בהפקת סיפורים באורדו. חקירה של LLMs של GPT-5, Qwen-3-Max ו-DeepSeek-3.1.
תקציר מקורי באנגליתarXiv:2609.10758v1 Announce Type: new Abstract: Multilingual large language models (LLMs) are increasingly used for open-ended text generation, yet their behaviour in low-resource languages remains poorly understood. In this work, we question how correct and reliable is the generation of multilingual LLMs when used for the task of story generation. We consider Urdu language as a representative low-resource language. We generate Urdu-Stories, a corpus of 93 stories generated using three contemporary LLMs (GPT-5.1, Qwen-3-Max, DeepSeek-3.1). We manually annotate the errors present in them under a nine-label linguistic, semantic, and cultural taxonomy. Our notable findings suggest that LLMs often make basic errors of grammar and semantics. The stories lack coherence, have unnatural repetition
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית