כתבה
arXiv cs.AI ·
Arbiter: זיהוי הפרעה במערכות פרומפטים של סוכני LLM
Arbiter: Detecting Interference in LLM Agent System Prompts
Arbiter: פלטפורמה לזיהוי הפרעות בפרומפטים של סוכני LLM. הפלטפורמה חוקרת שלושה פרומפטים חשובים: Claude Code (Anthropic), Codex CLI (OpenAI) ו-Gemini CLI (Google).
תקציר מקורי באנגליתarXiv:2603.08993v2 Announce Type: replace-cross Abstract: System prompts for LLM-based coding agents are software artifacts that govern agent behavior, yet lack the testing infrastructure applied to conventional software. We present Arbiter, a framework combining formal evaluation rules with multi-model LLM scouring to detect interference patterns in system prompts. Applied to three major coding agent system prompts: Claude Code (Anthropic), Codex CLI (OpenAI), and Gemini CLI (Google), we identify 152 findings across the undirected scouring phase and 21 hand-labeled interference patterns in directed analysis of one vendor. We show that prompt architecture (monolithic, flat, modular) strongly correlates with observed failure class but not with severity, and that multi-model evaluation disco
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית