כתבה
arXiv cs.CL ·
מי שומר על המדדים? אודיט אוטומטי של מדדי LLM Agent
Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks
אודיט אוטומטי של מדדי LLM Agent חשף תקלות במערכת הבדיקה. המחקר מציע להשתמש ב-LLM כאודיטורים שיטתיים של תשתיות הבדיקה, ומציג את BenchGuard, הפרקטיקה הראשונה שתכלול זאת. BenchGuard נבחן על שני מדדים מדעיים וגילה 12 תקלות שהואשמו על ידי המחברים, והצליח לגלות 83.3% מהתקלות שהתגלו על ידי המומחים. המחקר גם מציע ש-LLM יכולים לשמש כשותפים פעילים בפיתוח מדדים.
תקציר מקורי באנגליתarXiv:2604.24955v2 Announce Type: replace Abstract: As benchmarks grow in complexity, many apparent agent failures are not failures of the agent at all---they are failures of the benchmark itself: broken specifications, implicit assumptions, and rigid evaluation scripts that penalize valid alternative approaches. We propose employing frontier LLMs as systematic auditors of evaluation infrastructure, and realize this vision through BenchGuard, the first framework explicitly designed for joint cross-artifact auditing of execution-based agent benchmarks. BenchGuard cross-verifies all benchmark artifacts via structured LLM protocols, optionally incorporating agent solutions or execution traces as additional diagnostic evidence. Deployed on two prominent scientific benchmarks, BenchGuard identi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית