כתבה
arXiv cs.LG ·
JOVE: פלטפורמה לתכנון וביצוע גרפים של תפעולי LLM
JOVE: Joint Execution and Verification for Resource-Aware LLM Task Graphs
JOVE היא פלטפורמה שמאפשרת תכנון וביצוע גרפים של תפעולי LLM באופן זמין ומשופר. הפלטפורמה משתמשת ב-LangGraph וב-Claude כדי לבצע תפעולי LLM באופן זמין ומשופר.
תקציר מקורי באנגליתarXiv:2610.03296v1 Announce Type: cross Abstract: Complex reasoning queries can be decomposed into directed acyclic task graphs and distributed across heterogeneous LLMs, reducing latency through parallelism and enabling smaller models to solve complex tasks. In practice, however, the suitability of an LLM for a given subtask may be a priori unknown, and execution alone does not reveal output correctness. We propose JOVE, an online framework that jointly assigns executor LLMs and selects intermediate outputs for paid verification. Verification runs asynchronously and is used to improve future allocations, so the system must balance spending on execution now against learning for later. We study how to optimize this trade-off under a long-term budget and a per-query latency constraint, with
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית