כתבה
arXiv cs.LG ·
Hob-VL: בנצ'מרק לתיאום בוליאני ויזואלי
Hob-VL: A Benchmark for Visually Grounded Boolean Reasoning
Hob-VL הוא בנצ'מרק לתיאום בוליאני ויזואלי. הוא כולל 6,000 שאלות Yes/No, 1,000 תמונות ו-1,000 שאלות זיהוי אובייקטים. הבנצ'מרק בודק יכולת התיאום הבוליאני של מודלים כמו LLaMA.
תקציר מקורי באנגליתarXiv:2610.01605v1 Announce Type: cross Abstract: Reliable visual reasoning requires composing multiple visual observations and returning consistent answers to logically equivalent questions. We introduce Hob-VL, a benchmark for visually grounded Boolean reasoning. Hob-VL comprises two tasks: (1) evaluating whether a Boolean rule holds in an image, and (2) identifying the (unique) object satisfying a Boolean description. Hob-VL contains 6,000 human-verified balanced Yes/No questions, each defined by a Boolean combination of ten visual statements, across 1,000 generated scenes and 46 diverse labeled photographs, along with 1,000 object-identification questions over the same photographs. Our question families are deliberately constructed to challenge reasoning through misleading local cues a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית