כתבה
arXiv cs.LG ·
חיזוק ביטחון במודלים רב-לשוניים
Understanding and Mitigating Token-Pruning-Induced Vulnerabilities in VLMs
חוקרים גילו פגיעות במנגנוני Token-Pruning במודלים רב-לשוניים. הם הציעו אלגוריתם Safety-Aware Pruning למניעת פגיעות. האלגוריתם מזהה עוגנים מליציים ומשחזר טוקנים תמימים.
תקציר מקורי באנגליתarXiv:2610.09703v1 Announce Type: cross Abstract: Token-Pruning accelerates Vision-Language Models by removing redundant visual tokens, yet its safety implications remain underexplored. In this work, we present the first comprehensive safety evaluation of Token-Pruning mechanisms and find that: most pruning strategies significantly degrade safety as pruning ratios increase, whereas Query-based Compression shows the opposite, with extreme pruning (up to 99.8%), unexpectedly improves model safety. This sharp contrast prompts a key question: How do different Token-Pruning strategies reshape model safety behavior, and is it possible to enhance safety without sacrificing acceleration? To answer this, we identify an unrecognized mechanism, termed Pruning-Induced Malicious Amplification, where re
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית