כתבה
arXiv cs.AI ·
VDiff-Bench: בנק המבחנות לזיהוי הבדלים דקים בתמונות
VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification
נבנה בנק המבחנות לזיהוי הבדלים דקים בתמונות, והתוצאות הראו כי דגמי LLM עדיין נכשלים בזיהוי שינויים קטנים.
תקציר מקורי באנגליתarXiv:2609.06245v1 Announce Type: cross Abstract: Multimodal Large Language Models (MLLMs) perform strongly on general visual understanding tasks such as visual question answering, yet they often struggle with a basic comparative skill: identifying what has changed between two similar images. We introduce VDiff-Bench, a challenging multiple-choice benchmark for fine-grained Image Difference Identification. VDiff-Bench contains 1,756 four-way questions over image pairs and covers 10 change categories: position, motion, regional image color, overall image color, appearance/disappearance, noise/resolution, texture, substitution/size, OCR/text, and illumination. Each question corresponds to two image inputs with 4 choices: the true difference, two hard negative descriptions, and a "no differen
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית