כתבה
arXiv cs.AI ·
FastE: דחיסת טוקנים ללא איבוד נתונים
FastE: Readout-Triggered Token Compression for LLM Embedding Inference
FastE הוא שיטה חדשה לדחיסת טוקנים במודלים של LLM, בלי איבוד נתונים. היא משתמשת באלגוריתם פשוט לבחירת מתי לדחוס, ומפחיתה עלויות חישוביות. השיטה נבדקה על מודל Qwen3-Embedding והראתה תוצאות טובות.
תקציר מקורי באנגליתarXiv:2609.08407v2 Announce Type: replace Abstract: In this study, we identify depth-dependent prefix redundancy in final-readout LLM embedding models, notably across representative backbones including Qwen3-Embedding and Qwen3-VL-Embedding. We find that removing prefix states is substantially more damaging in shallow layers than at greater depth, showing that prefix states become increasingly compressible as the prefix and readout states propagate through the network. To this end, we introduce FastE, a training-free, plug-and-play method. FastE uses a shared fixed threshold on batch-mean readout-prefix alignment as a lightweight online heuristic for selecting when compression occurs, and ranks prefix states by the attention scores they receive from the readout position to determine which
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית