כתבה
arXiv cs.CL ·
מדידת עלויות קונפלציה של גיוון בבדיקות MT בשפות מקבילות: הוספת Xichangana, Nyanja ו-Sena ל-FLORES+
Measuring the Cost of Variety Conflation in Multilingual MT Evaluation: Adding Mozambican Xichangana, Nyanja and Sena to FLORES+
במאמר זה, נבדיק את עלויות קונפלציה של גיוון בבדיקות MT בשפות מקבילות. נבדיק את FLORES+ עם קבוצות בדיקה עבור שלושה ניבים של Bantu: Xichangana, Nyanja ו-Sena. נשווה Xichangana ל-Tsonga ו-Nyanja ל-Chichewa, ונבדיק את NLLB-200, Google Translate, GPT ומודל NLLB מודע לניבים.
תקציר מקורי באנגליתarXiv:2609.13847v1 Announce Type: new Abstract: In this paper, we extend FLORES+ with Portuguese-source evaluation sets for three Mozambican Bantu varieties: Xichangana, Mozambican Nyanja, and Sena. We compare Xichangana with the existing Tsonga reference and Mozambican Nyanja with Chichewa, and evaluate NLLB-200, Google Translate, GPT, and a variant-aware NLLB model. Holding system output fixed reveals substantial reference sensitivity. On \textit{devtest}, changing only the reference from Tsonga to Xichangana reduces spBLEU by 13.10 points for NLLB-200 and 15.30 for Google. On matched Nyanja subsets, replacing Chichewa with Mozambican Nyanja produces smaller but consistent reductions of 3.03 and 6.10 spBLEU, respectively. Variant-aware fine-tuning reverses this pattern on the intended ta
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית