כתבה
arXiv cs.AI ·
Ready Cohorts: הגברת יכולת GPU ומניעת חזרות לאורך רוחב בשליטה ב-LLM-Agent
Ready Cohorts: Bounding GPU Opportunity and Avoiding Host Round Trips in LLM-Agent Control
אנו מציגים מנגנון שמשפר את תפעול LLM-agent: החזקת החלטות ניווט GPU-מחשבות על-גבי GPU, כדי למנוע חזרה לזיכרון האורח. זה מהיר יותר משליחה לאורח בכל 36 ההצבה-מנגנון בבניית-מבחן שלנו, עם קצב-ממוצע של 1.19x-2.39x, והתוצאות נכונות, ומתאימות להצבה independent-אורח, בכל 14,557,440 הקריאות בכל ההצבות, בשני המנגנונים שנבדקו. ניתן להפקיד נתיבי שליטה ב-LLM באופן סדרתי.
תקציר מקורי באנגליתarXiv:2608.12123v2 Announce Type: replace-cross Abstract: We introduce a mechanism that improves LLM-agent execution: keeping four-byte, GPU-computed control-path routing decisions on-device, avoiding a round-trip to host memory for redispatch. It is faster than host-dispatch in all 36 placements x mechanisms settings in our benchmark across four named GPUs with row-median speedup of 1.19x-2.39x, and outputs are correct, matching an independent host implementation, for all 14,557,440 calls in all configurations, in both tested mechanisms. Agent control paths can be deterministic. Their transitions between LLM calls and external tool calls can be GPU-accelerated by batching across agents and time. We define a cohort of transitions with launch times in a window, and study four shares of GPU-
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית