כתבה
arXiv cs.CL ·
האם הבנה מידע משפיעה על יצירה במודלים רב-מודאליים?
Does Understanding Inform Generation in Unified Multimodal Models? From Analysis to Path Forward
חוקרים בדקו את הקשר בין הבנה ליצירה במודלים רב-מודאליים. הם גילו פער משמעותי בין היכולות, ומצאו ששימוש ב Chain-of-Thought (CoT) יכול לסייע בסגירת הפער. המחקר מציע כיוונים לשיפור המודלים הרב-מודאליים.
תקציר מקורי באנגליתarXiv:2511.20561v3 Announce Type: replace-cross Abstract: Recent years have witnessed significant progress in Unified Multimodal Models, yet a fundamental question remains: Does understanding truly inform generation in Unified Multimodal Models? To investigate this, we introduce UniSandbox, a decoupled evaluation framework paired with controlled, synthetic datasets to avoid data leakage and enable detailed analysis. Our findings reveal a significant understanding-generation gap, which is mainly reflected in two key dimensions: reasoning generation and knowledge transfer. Specifically, for reasoning generation tasks, we observe that explicit Chain-of-Thought (CoT) in the understanding module effectively bridges the gap, and further demonstrate that a self-training approach can successfully
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית