כתבה
arXiv cs.CL ·
YallaMorph: בדיקת יכולת יצירה מורפולוגית ערבית
YallaMorph: A Benchmark for Evaluating Arabic Morphological Generation in Large Language Models
YallaMorph הוא בדיקת יכולת יצירה מורפולוגית ערבית למודלים גדולים. הוא בודק יכולת יצירה של פעלים, שמות עצם, תוארים וצורותיהם השונות. הבדיקה כוללת 600 אלף פריטים ומראה כי יצירה מורפולוגית ערבית עדיין מהווה אתגר.
תקציר מקורי באנגליתarXiv:2609.10153v1 Announce Type: new Abstract: Arabic morphology remains challenging for large language models, since fluent generation does not guarantee accurate morphosyntactic control. Existing Arabic evaluations mainly target downstream tasks and do not directly test controlled morphological generation from explicit lexical and feature-based input. We introduce YallaMorph, a large-scale benchmark for Arabic morphological generation covering verbs, nouns, adjectives, their cliticized forms, and invalid configurations. We evaluate multilingual and Arabic-oriented LLMs under diacritized and undiacritized settings over 600K benchmark entries. Results show that Arabic morphological generation remains difficult, especially for cliticized, unseen, and morphologically rare forms.
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית