כתבה
arXiv cs.CL ·
נתוני אבטיפוס לסוכנים: 50,000 זוגות אבחון שגיאות
Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training
נוצר מאגר נתונים חדש לסוכנים, הכולל 50,228 זוגות אבחון שגיאות. המאגר מאפשר ניתוח שגיאות ושיפור הדיוק של מודלים כמו Qwen.
תקציר מקורי באנגליתarXiv:2609.40111v1 Announce Type: cross Abstract: An unsuccessful LLM agent rollout contains more information than its final reward: the observations available to the agent, the actions it chose, and the environment's responses. Reusing this experience for learning requires identifying a decision to revise and testing a concrete alternative. We introduce the Agent Error Dataset (AED), comprising 50,228 error-diagnosis pairs from 9,961 source tasks across 33 environments, 19 harness families, and 23 policy models in text-based agent systems. We retain source traces and execution metadata to support cross-setting failure analysis and re-diagnosis without repeating the original rollout. Our five-stage Agentic Error-to-Training (AET) pipeline collects natural failures, generates diagnoses and
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית