כתבה
arXiv cs.CL ·
Windowed-MTP: הסרת מס ה-KV המלא בהקשר של מיליון טוקנים
Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
חוקרים פיתחו Windowed-MTP, שיטה להפחתת עלות הדראפט בהקשר של מיליון טוקנים. השיטה משתמשת בחלון הזזה ואגירת תשומת לב. היא יעילה וחוסכת עד 99% מכניסות KV. השיטה נבדקה על מודל Qwen והראתה שיפור של 28-44% בעלות הדראפט.
תקציר מקורי באנגליתarXiv:2607.21535v1 Announce Type: cross Abstract: Speculative decoding accelerates autoregressive generation by having a cheap draft propose tokens that a target verifies in parallel. Frontier models increasingly ship a built-in Multi-Token-Prediction (MTP/NEXTN) draft head under the assumption that the draft is negligibly cheap. At million-token context this breaks: an MTP draft head typically runs full attention over the entire KV cache at every draft step, so its read grows linearly with context and comes to dominate the draft cost -- precisely where speculation is most valuable. The effect compounds with draft length (a deep native draft can turn net-negative, slower than no speculation) and sharpens under hybrid/linear-attention targets, where cheaper verification leaves the draft's f
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית