כתבה
arXiv cs.CL ·
DualAnchor: שימור קדימויות שפה ושיפור נאמנות לקסיקלית
DualAnchor: Preserving Language Priors and Improving Lexical Fidelity in Gloss-Free Sign Language Translation
DualAnchor הוא כלי לתרגום שפת סימנים, המשתמש במודלים גדולים של שפה. הוא משפר את התרגום על ידי שימור קדימויות שפה ושיפור נאמנות לקסיקלית. הכלי מורכב משני חלקים: Token-level Prior Anchoring ו-Optimal Transport Alignment.
תקציר מקורי באנגליתarXiv:2607.27614v1 Announce Type: new Abstract: Recent advances in large language models (LLMs) have led sign language translation (SLT), the task of converting sign-language videos into spoken-language text, to increasingly adopt LLMs as textual backbones. However, despite their strong language modeling capabilities, existing LLM-based SLT methods often undermine rather than exploit this language prior, producing disfluent translations, a failure we term language-prior degradation. Meanwhile, existing methods typically align videos and text at the sentence level, which does not ensure accurate lexical details and creates a lexical fidelity gap. To address both issues, we propose DualAnchor, a gloss-free LLM-based SLT training framework that couples two complementary anchors for linguistic
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית