כתבה
arXiv cs.CL ·
מודל אחד לתרגום כולם? מסע למערה האפלה לשילוב מודלים מרוב-לשוני
One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging
שילוב מודלי תרגום מרוב-לשוני: הגבלות וקשיים. חוקרים חקרו את השילוב של מודלי תרגום עצמאיים, ומצאו כי הוא יעיל יותר כאשר המודלים חולקים שפה יעד, אך עדיין לא מצליח לשמור על הביצועים הגבוהים של המודלים המיוחדים לשפה.
תקציר מקורי באנגליתarXiv:2604.02881v2 Announce Type: replace Abstract: Weight-space model merging combines independently fine-tuned checkpoints without access to the original training data. While merging has shown promise in multitask settings, its behavior in multilingual generative systems remains underexplored. We systematically study weight-space merging for multilingual machine translation by fully fine-tuning language models on large-scale bilingual corpora and evaluating representative merging strategies across shared-source, shared-target, and bidirectional consolidation settings. Our experiments reveal a strong directional asymmetry. Merging is comparatively more effective when models share a target language, improving multilingual coverage over the base model, but it still fails to preserve the pea
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית