כתבה
arXiv cs.AI ·
WorldSonus: הבאת צליל לעולמות
WorldSonus: Bringing Sound to Worlds
WorldSonus היא פלטפורמה לשינוע צלילים באופן אונליין ובזמן אמת, המאפשרת יצירת סביבות ויזואליות מולטימדיות. הפלטפורמה פותחה על ידי צוות מדעני דאטה ומהנדסים בארגון Noizai.
תקציר מקורי באנגליתarXiv:2610.08760v1 Announce Type: cross Abstract: Recent advances in world models have enabled increasingly realistic visual synthesis. However, these generated environments remain largely silent. Bringing sound to world models poses three core challenges: real-time generation to keep pace with interactive video streams, interactive control to respond to mid-stream sound instructions, and spatially aligned stereo to reflect scene geometry and camera motion. To address these demands, we introduce WorldSonus, an interactive video-to-audio framework designed for real-time spatial sound synthesis in world models. For real-time generation, WorldSonus employs a streaming causal autoregressive diffusion architecture that synthesizes audio chunks at a low real-time factor (RTF) of 0.41. For intera
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית