כתבה
arXiv cs.LG ·
משלב זיהוי תנאי זרימה להאירקה אקוסטית בהנחיה חזותית
Conditional Flow Matching for Visually-Guided Acoustic Highlighting
מאמר זה מציג פרקטיקה חדשה לשילוב זיהוי תנאי זרימה להאירקה אקוסטית בהנחיה חזותית. השיטה נבחנה באמצעות ניתוח כמותי וכאיכותי.
תקציר מקורי באנגליתarXiv:2602.03762v5 Announce Type: replace-cross Abstract: Visually-guided acoustic highlighting seeks to rebalance audio in alignment with the accompanying video, creating a coherent audio-visual experience. While visual saliency and enhancement have been widely studied, acoustic highlighting remains underexplored, often leading to misalignment between visual and auditory focus. Existing approaches use discriminative models, which struggle with the inherent ambiguity in audio remixing, where no natural one-to-one mapping exists between poorly-balanced and well-balanced audio mixes. To address this limitation, we reframe this task as a generative problem and introduce a Conditional Flow Matching (CFM) framework. A key challenge in iterative flow-based generation is that early prediction err
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית