כתבה
arXiv cs.CL ·
MultiTalk: הרחבת מודלי שיחה מלאים לשיחות בילינגוואליות ארוכות
MultiTalk: Scaling Full-Duplex Speech Models to Long, Multi-Party, Bilingual Conversation
מודל MultiTalk מאפשר שיחות מלאות בילינגוואליות ארוכות. המודל מבוסס על מודל Moshi ומשתמש בנתונים סינתטיים ואמיתיים. הוא עולה על מודלים אחרים כמו Moshi ו-Qwen3-Omni-30B-A3B-Instruct.
תקציר מקורי באנגליתarXiv:2609.36903v1 Announce Type: new Abstract: End-to-end full-duplex speech models have brought open-source machine conversation closer to human-like interaction, yet existing systems remain limited in two intertwined dimensions: long-context robustness and multi-party interaction. Real-world scenarios such as meetings, group lessons, and social-robot reception require a single model to track, contextualize, and respond to multiple speakers over extended durations. Progress is constrained by both data and evaluation: open multi-party speech corpora remain small and are not designed for codec-frame-level full-duplex modeling, while existing long-audio benchmarks focus on passive listening and speech-to-speech benchmarks are mostly short and dyadic. We extend the Moshi paradigm jointly alo
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית