כתבה
arXiv cs.LG ·
OnTrack: מעקב והתערבות בזמן אמת במסלולי סוכני LLM דרך תחבורה-מודע
OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport
OnTrack הוא מערכת מעקב זרימתית שמשווה את הצעדים והתלות של סוכן LLM לעומת רצפי רצפים מוצלחים. זה מאפשר לזהות תקלות ולהתערב בזמן אמת. OnTrack נבחן בשלושה תחומי גישה שונים: גישה מלאה, גישה ביניים וללא ידיעה קודמת. OnTrack נבחן גם בשימוש ב-SWE-bench trajectories.
תקציר מקורי באנגליתarXiv:2610.12375v1 Announce Type: cross Abstract: Agents are deployed in applications from trip planners and stock trading to IT incident triage. In most cases, LLM agents work autonomously with minimal rule-based safeguarding, leading to cost and safety issues from irreversible actions. Recent works resolve this either by using a safeguard agent to monitor behavior or evaluating logs post-hoc. The first adds cost and latency to every step; the second delivers its verdict after the run, when tokens are burned and damage is done. To overcome this, we propose OnTrack, a streaming monitoring mechanism that compares an agent's steps and dependencies against recorded successful runs to alert users or block the agent in about a millisecond per step. We study this problem in three regimes of decr
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית