כתבה
arXiv cs.CL ·
תרגום דיבור-לדיבור עם LLM
All In Good Time: Causality-Aware Framework for LLM-Based Simultaneous Speech-to-Speech Translation
פותח כלי חדש לתרגום דיבור-לדיבור בזמן אמת, המשתמש במודל LLM. הכלי משפר את איכות התרגום ומקטין את העיכוב. נוסף על כך, הוא משתמש בארכיטקטורה חדשה הנקראת FAST ובמדיניות התאמה דינמית CAP.
תקציר מקורי באנגליתarXiv:2609.30416v1 Announce Type: new Abstract: Large Language Models (LLMs) have shown strong performance in low-resource offline translation; however, extending them to simultaneous speech-to-speech translation (Simul-S2ST) remains challenging due to the scarcity of causally aligned training data with high cross-lingual speaker fidelity. In addition, existing approaches rely on fixed translation policy or confidence heuristics, leading to suboptimal quality and higher latency. We propose a causality-aware Simul-S2ST framework with a novel data pipeline that generates high-fidelity, causally aligned segments with improved voice transfer. The framework introduces (i) a factorized S2ST architecture (FAST), (ii) a causality-aware adaptive policy (CAP), and (iii) causality-aware latency metri
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית