כתבה
arXiv cs.AI ·
AnchorPrune: פירוק רלוונטי-מוקדן להרחבה קונטקסטואלית לצינורות תמונה
AnchorPrune: Relevance-Anchored Contextual Expansion for Visual Token Pruning
פירוק צינורות תמונה לשם הפחתת עלויות ניתוח במודלי תצוגה-שפה. AnchorPrune, פירוק רלוונטי-מוקדן, משפר את היחסיות-כושר במודלי LLaVA-NeXT-7B.
תקציר מקורי באנגליתarXiv:2607.07033v4 Announce Type: replace-cross Abstract: Large vision-language models incur substantial inference costs because high-resolution inputs introduce thousands of visual tokens, many of which are redundant for a given query. Existing pruning methods often combine query relevance and token diversity, yet these objectives can conflict under aggressive compression: relevance-driven selection may overconcentrate the budget on correlated local evidence, while diversity-driven selection may suppress indispensable tokens or retain distinct but uninformative regions. We introduce AnchorPrune, a training-free framework that first constructs a protected relevance anchor and then expands it with complementary visual context. AnchorPrune adaptively determines the anchor size from the novel
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית