כתבה
arXiv cs.AI ·
אודות תקיפה מחודשת של קפיצה של שלבי-תקופה לצורך חישוב LLM יעיל: Conflayers נגד Swift
A rigor-matched audit of periodic-step layer skipping for efficient llm inference: conflayers versus swift, with a supplemental analysis of trained routing alternatives
במאמר זה, נבחן שני שיטות שונות לחישוב LLM יעיל, Conflayers ו-Swift, ונבדוק את יעילותם בהשוואה לחישוב אוטורגרסיבי רגיל. המחברים גם בחנו שני שיטות נוספים לחישוב LLM יעיל, LayerRoute ו-LayerDrop.
תקציר מקורי באנגליתarXiv:2608.28846v2 Announce Type: replace-cross Abstract: Layer-skipping methods for efficient LLM inference decide, at some granularity, which transformer layers to execute for a given input. We present a rigor-matched, three-seed audit of two periodic-step, search-based methods that make this decision online at inference time and re-evaluate it every few generation steps: a confidence-gated early-exit baseline (ConfLayers) and genuine self-speculative decoding (SWIFT, Xia et al. 2024), together with vanilla autoregressive decoding, across Qwen2.5-0.5B and Qwen2.5-1.5B (Yang et al. 2024) on GSM8K (Cobbe et al. 2021) and CNN/DailyMail (Nallapati et al. 2016; See et al. 2017). SWIFT is strongest on accuracy in three of four cells, while ConfLayers is dominated everywhere, with particularly
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית