כתבה
arXiv cs.AI ·
מעבר מפורצט: מדידה ואופטימיזציה של כלים-שליחי LLM
Beyond Prompts: Measuring and Optimizing LLM Tool-Agent Harnesses
ניתוח ואופטימיזציה של כלים-שליחי LLM ללא תפעול מחדש של המודל. המאמר עוסק בבחירת הרשאות ובאופטימיזציה של כלים-שליחי LLM, כולל שמות מודלים כמו LangGraph, Gemini ו-Claude.
תקציר מקורי באנגליתarXiv:2609.05736v2 Announce Type: new Abstract: LLM tool agents can be improved without retraining by modifying the runtime harness around a fixed model: prompts, tool interfaces, middleware, state handling, and recovery logic. We study this setting as resource-bounded harness selection for fixed-model multi-turn tool agents, with the search surface scoped to prompts and tool-boundary middleware: edits are guarded intercepts at the tool boundary, not arbitrary rewriting of agent execution logic. Our optimizer-agnostic protocol reports mean held-out lift, worst-condition lift, repeatability, logged cost diagnostics, and RelLift95(B), a conservative estimate of the held-out gain of the harness selected under budget B. We instantiate the protocol with prompt-only and prompt-plus-middleware op
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית