כתבה
arXiv cs.CL ·
CLIMB: חיפוש והצגה מותאמת למודלי שפה גדולים
CLIMB: Confidence-Guided Complementary Evidence for Multimodal Retrieval-Augmented Generation
CLIMB מציע פתרון לשאלות ויזואליות על ידי חיפוש והצגה מותאמת למודלי שפה גדולים. הוא משתמש בטכנולוגיות של MMR ו-R/E/C כדי לבחור ולהציג ראיות טובות יותר.
תקציר מקורי באנגליתarXiv:2610.03421v1 Announce Type: new Abstract: Multimodal large language models (MLLMs) have shown strong visual reasoning abilities, but knowledge-intensive visual question answering often requires external textual evidence beyond the image and the model's parametric knowledge. Existing multimodal RAG systems commonly rely on Top-$K$ retrieval or reranking, which may return redundant passages and provide limited control over whether an answer update is sufficiently supported by the retrieved evidence. We propose \textit{CLIMB}, a training-free inference-time framework for multimodal RAG. CLIMB first constructs a compact complementary evidence pool using an MMR-style objective that balances query relevance and passage-level redundancy. It then performs confidence-controlled refinement wit
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית