כתבה
arXiv cs.AI ·
ECHO-G: ייצור תנועה גופנית מוטלטלת לצד דיבור
ECHO-G: Embodied Co-speech Humanoid mOtion Generation
ECHO-G מפתח תנועה גופנית מוטלטלת לצד דיבור לרובוטים גופניים. הפרויקט משתמש ב-Speech-Grounded Diffusion Transformer (SGDiT) וב-rectified flow matching. ה-SGDiT משלב תכונות אקוסטיות עם טקסט ומדגים יחסי תנועה-דיבור. הפרויקט כולל גם נתוני תאוצה וביצועי זמן.
תקציר מקורי באנגליתarXiv:2609.39575v1 Announce Type: cross Abstract: Generating full-body co-speech motion for humanoid robots requires coordinating speech prosody, linguistic content, and embodiment-specific motion. To this end, we present ECHO-G, a framework jointly conditioned on speech audio and timed transcripts. Its Speech-Grounded Diffusion Transformer (SGDiT) combines frame-aligned acoustic features with token-level linguistic context, preserving their distinct granularities. Trained with rectified flow matching, it models one-to-many utterance-motion relationships directly in robot space. To support training and evaluation, we introduce a BEAT2-derived audio-text-robot dataset and a benchmark covering co-speech characteristics, robot-motion quality, and runtime efficiency. Comparative evaluation sup
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית