כתבה
arXiv cs.AI ·
אם רוטרים דינמיים צריכים זיכרון? HeRo: רוטאציה-מודעת להיסטוריה לביצועי LLM יעילים
Do Dynamic Routers Need Memory? HeRo: History-Aware Routing for Efficient LLM Inference
HeRo: רוטאציה-מודעת להיסטוריה לביצועי LLM יעילים. HeRo מציע רפרטואר-מודעת-היסטוריה לרוטאציה דינמית לביצועי LLM יעילים. HeRo מציע רפרטואר-מודעת-היסטוריה לרוטאציה דינמית לביצועי LLM יעילים. HeRo מציע רפרטואר-מודעת-היסטוריה לרוטאציה דינמית לביצועי LLM יעילים.
תקציר מקורי באנגליתarXiv:2609.08189v1 Announce Type: new Abstract: Dynamic layer routing reduces the inference cost of Large Language Models (LLMs) by learning to skip layers for individual tokens. Existing methods, however, treat each routing decision as a local operation conditioned solely on the current hidden state which is a formulation that overlooks the sequential, path-dependent nature of routing across depth: earlier decisions shape the representations seen by downstream routers, and the layer-usage objective couples all decisions jointly. We propose History-Aware Routing (HeRo), a dynamic routing framework that resolves this mismatch by introducing a router memory mechanism to maintain an explicit routing state across model depth. The memory is constructed via linear attention, incrementally aggreg
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית