כתבה
arXiv cs.LG ·
LeanStream: פלטפורמה להפצה זרימתית של LLM להפצה יעילה על-מכשיר
LeanStream: A Speculate-and-Refine Streaming Framework for Efficient on-Device LLM Inference
LeanStream היא פלטפורמה שמאפשרת הפצה זרימתית של LLM להפצה יעילה על-מכשיר. היא משתמשת בטכנולוגיית speculate-and-refine כדי לשפר את עליית הקצב של הפצה ולהפחית את צריכת המשאבים.
תקציר מקורי באנגליתarXiv:2609.03079v1 Announce Type: new Abstract: On-device LLM inference is attractive for privacy and responsiveness, but remains challenging on mobile and embedded devices because model weights far exceed available DRAM. Prior systems exploit activation sparsity and offload weights to SSD or flash storage, but face a fundamental systems trade-off: accurate sparse execution decisions require the latest context, whereas efficient computation-I/O overlap requires early prediction. As a result, existing designs either serialize execution or incur redundant weight fetches, extra computation, and large cache overheads. We present LeanStream, a streaming speculate-and-refine framework for efficient on-device LLM inference. LeanStream progressively refines computation, loading, and cache-retentio
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית