כתבה
arXiv cs.AI ·
DualTrack: יצירת נאום-מחווה משולבת
DualTrack: Synchronized speech-gesture generation via symmetric coupling of pretrained priors
DualTrack הוא אלגוריתם שמאפשר יצירת נאום ומחווה משולבים. הוא משתמש בקישור סימטרי של נתונים מוכנים מראש כדי לתאם בין שני המודלים. האלגוריתם הוערך על 43 הקלטות בארבע שפות והראה תוצאים טובים יותר מהבסיס GELINA.
תקציר מקורי באנגליתarXiv:2609.36624v1 Announce Type: new Abstract: Joint speech-gesture synthesis must coordinate two modalities despite limited paired data. Existing approaches often lack bidirectional interaction, have limited language coverage, or simplify body and finger representations. We present DualTrack, which couples pretrained speech and motion priors on a shared 12.5 Hz timeline. Causal adapters exchange previous-packet information, while current-state fusion coordinates the streams before they separately complete sixteen-codebook packets. We evaluate 43 BEAT2 recordings in four languages, with speakers held out from joint training and validation. On the shared English/Spanish inputs, without speech or motion prefixes, DualTrack achieves lower word error rate and full-motion Fr\'echet Gesture Dis
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית