כתבה
arXiv cs.CL ·
זיכרון ארוך-טווח למערכות חישובי: 50 מיליון תווים בחלון שמהיר וזול יותר מאשר חישוב מחדש
Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
מערכת חישובית הצליחה לפתח זיכרון ארוך-טווח של 50 מיליון תווים, והיא מהירה וזולה יותר מאשר חישוב מחדש. המערכת, שפועלת על NVIDIA H100, יכולה לשמור ולהעלות מחדש את המדף הפנימי שלה, ולכן היא יכולה להשיג תשובות נכונות לשאלות שהוצבו מאות אלפי תווים קודם.
תקציר מקורי באנגליתarXiv:2610.10845v1 Announce Type: new Abstract: A large language model can only use the text that fits in its context window, and it recomputes its internal key-value (KV) state for a prompt every time the prompt is sent. We test a memory layer, the public package galahad-kv, that saves the KV state of each block of about 16,000 tokens to encrypted local NVMe disk and loads it back later, byte-exact, without recomputing it. We ran it on 50,000,000 tokens of real public text, served through vLLM on one NVIDIA H100, with Gemma 4 12B and Gemma 4 31B. Every block we probed was loaded back from the encrypted store with no recompute (100 of 100, at depths from 0 to 50M tokens) on both models. Loading a block was 2.8x to 4.3x faster than recomputing it and used 8.8x to 12.3x less GPU energy, and
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית