כתבה
arXiv cs.CL ·
MameLoshnLM: דגם שפתי יידיש ומדד הערכה
MameLoshnLM: Yiddish Language Model and Evaluation Benchmark
מדגם שפתי יידיש ראשון ובלעדי בקוטר 8 מיליארד פרמטרים. הדגם, שנקרא MameLoshnLM, פותח על ידי צוות מדעניות ומדעני טכנולוגיה, והוא כולל קורפוס יידיש גבוה-איכות, שמשלב מקורות וברשת ומקורות ספרותיים. הדגם נבחן באמצעות מדד הערכה, שנקרא Kashes, שכולל תרגום, ניתוח לשוני, חיפוש מידע והבנת שפה.
תקציר מקורי באנגליתarXiv:2608.05850v2 Announce Type: replace Abstract: We present MameLoshnLM, the first open-source 8B-parameter language model built specifically for Yiddish. Despite Yiddish's rich textual tradition, its limited digital presence and the scarcity of reliable evaluation resources have constrained progress in Yiddish language modeling. Existing multilingual corpora and benchmarks are often poor proxies for the language, containing substantial amounts of noisy, machine-translated, and misclassified text. We address these gaps by introducing Oytser, a high-quality Yiddish pretraining corpus that combines contemporary web-native sources with literary materials, and Kashes, a multi-task benchmark spanning translation, linguistic analysis, information extraction, and language understanding. Using
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית