כתבה
arXiv cs.LG ·
AIR-LLM: שידור משקלי AI ללא זיכרון בגבול על רדיו
AIR-LLM: Broadcasting AI Weights over Radio for Memory-Free Edge LLM Inference via RF Computing
AIR-LLM משדר משקלי AI ללא זיכרון לביצועי LLM בגבול. המערכת כוללת רדיו מרכזי ששודר את המשקלי AI לאוויר ומשתמש גבולי שמקבל את המשקלי AI ומשלים את החישוב הכללי-מטריצתי-מכנור (GEMV) של LLM בתחום התדר הרדיו (RF) עם מעבדי RF. AIR-LLM משתמשת במרחביות MIMO כדי לקצר את הזמן האווירי ומציעה זוג פרוצדורה-אנרגיה-משתלם על הגבול לקליטת תוואי התקשרות שלו. כיוון שהרדיו המרכזי נשאר ערוך-משתמש, AIR-LLM הוא סקאלבלי-משתמש, כך ששידור אחד יכול לשרת משתמשים בלתי מוגבלים בתחום הכיסוי שלו.
תקציר מקורי באנגליתarXiv:2610.00465v1 Announce Type: cross Abstract: Next-generation large language models (LLMs) are expanding from the cloud to ubiquitous edge devices. However, edge devices typically either lack the memory to store increasingly large LLM weights or, even with enough memory, spend unaffordable energy on loading the weights. This raises our question: can an edge device run an LLM without storing or loading its weights, but receive them over the air and consume them on the fly? Inspired by wireless broadcasting, we present AIR-LLM, an LLM inference architecture for edge devices, which is composed of: (i) a central radio (e.g., 5G base stations) that broadcasts the LLM weights into the air, and (ii) the edge user that receives the weights and completes the general matrix-vector multiplication
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית