כתבה
arXiv cs.CL ·
CoMem: שימוש חוזר בעומק טרנספורמר
CoMem: Reusing Transformer Depth across Queries with Persistent Intermediate Residuals
CoMem הוא חידוש שמאפשר שימוש חוזר בעומק טרנספורמר בשאילתות חוזרות. הוא משפר ביצועים ומקטין זמן תגובה. CoMem פועל עם Qwen3-8B ומציג שיפורים משמעותיים.
תקציר מקורי באנגליתarXiv:2607.28263v2 Announce Type: replace Abstract: Repeated queries over shared documents repeatedly execute the same lower transformer layers. We introduce CoMem, which makes split depth j an explicit reusable-context axis: write one depth-j residual per token, select a bounded chunk set, and resume only layers [j:L). Among document-reuse systems we are aware of, CoMem jointly makes split depth a tunable serving axis and isolates it with a matched j=0 endpoint. On Qwen3-8B, j=12 reduces selected-pack Read from 931.9 to 664.4 ms (1.403x), with a 3.12-point RULER cost (95% CI [2.36, 3.93]); a continuous-prefix oracle recovers the full gap. The resulting depth axis quantifies a quality-latency-storage trade-off; a separate same-adapter, Write-inclusive pipeline is 2.74x faster. Equal-latenc
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית