כתבה
arXiv cs.CL ·
LayerRAG-Bench: בנצ'מרק לאמינות רב-שכבות
LayerRAG-Bench: A Cross-Layer Reliability Benchmark for Agentic Retrieval-Augmented Generation
LayerRAG-Bench הוא בנצ'מרק לאמינות רב-שכבות למערכות ייצור משופרות. הוא בודק 8 תחומים, 240 משימות, 9 תרחישי תקלות, 2 מצבי חוזה ו-38,880 רשומות ברמת משימה. הבנצ'מרק כולל מודלים מ-OpenAI, Anthropic ו-Gemini.
תקציר מקורי באנגליתarXiv:2607.27353v1 Announce Type: new Abstract: Agentic retrieval-augmented generation systems can produce answers that appear grounded while failing at the evidence, tool-contract, authorization, or session-state layer. We introduce LayerRAG-Bench, a controlled cross-layer reliability benchmark with 8 enterprise domains, 240 tasks, 9 fault scenarios, 2 contract modes, and 38,880 live task-level records across nine models from OpenAI, Anthropic, and Gemini. Schema normalization raises schema-drift success from 0.000 to 0.913, but stale evidence, missing tool output, denied permissions, and wrong-session context are not recovered by schema normalization. Groundedness-only evaluation also produces substantial false positives under stale and wrong-session evidence. These results support a lay
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית