כתבה
arXiv cs.AI ·
JustFit: ניהול מצב זמן-אמת לשירות LLM מקומי
JustFit: Just-in-Time State Management for Local LLM Serving
JustFit הוא פרויקט שמטרתו לשפר את ניהול המצב של שירות LLM מקומי. הוא משתמש בטכנולוגיית MLX כדי לקוארדינטר את ההקצאות של המודל. JustFit הצליח לשמור 327,680 עמודות רטיינד במצב זמן-אמת, 10.67 פעמים יותר מהשיא של הבסיס המוצג.
תקציר מקורי באנגליתarXiv:2609.17475v3 Announce Type: replace Abstract: Local agents need memory for model execution and working history. We present JustFit, an MLX runtime that coordinates their overlapping allocations: KVExec executes and checkpoints four-bit KV with bounded workspace, PhaseSwap loads phase-dependent components, and StateTrans preserves history across execution modes. With Qwen3.8-27B MXFP4 on a 24 GiB M4 Pro MacBook, JustFit reaches 327,680 retained positions across two requests, 10.67 times the evaluated baseline's 30,720-position single-request record. One request completes the full 262,144-position native window at median 5.986 tokens/s. Each shape completes 16,384 outputs per request in three fresh processes: B1 uses one cold build and two prefix extensions; B2 uses three ordered prefi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית