כתבה
arXiv cs.AI ·
מיתון הזיות במודלים גדולים
From Suppression to Repair: Mitigating Object Hallucination in Large Vision-Language Models via Localized Distribution Alignment
חוקרים הצליחו לפתור את הבעיה של הזיות במודלים גדולים. הם הציגו שיטה חדשה הנקראת ResOT, שמשפרת את איכות התמונות והקפטיונים. השיטה עובדת על ידי הסרת הרכיבים המזויפים מהייצוגים החבויים.
תקציר מקורי באנגליתarXiv:2610.11826v1 Announce Type: cross Abstract: Object hallucination remains a major obstacle for large vision-language models (LVLMs) to generate reliable content. An intuitive mitigation strategy is to suppress hallucination-related components in hidden representations. However, these components may also contain useful information, and suppressing them can weaken the model's multimodal capabilities. In this paper, we propose ResOT, a training-free method that repairs representations at inference time through localized distribution alignment. Specifically, ResOT projects dominant hallucinated directions away from the faithful subspace, forming a low-dimensional residual subspace for intervention. Within this subspace, ResOT uses Gaussian optimal transport (OT) to align the hallucinated
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית