כתבה
arXiv cs.CL ·
IBIB: פרוטוקול למדידת מערכות AI
IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier
פרוטוקול IBIB מודד מערכות AI על ידי ניתוח הקישור בין המודלים לבין התשתיות. הפרוטוקול מאפשר לדווח על יכולות המערכות באופן מדויק יותר.
תקציר מקורי באנגליתarXiv:2609.10494v1 Announce Type: new Abstract: Enterprises deploy systems, not checkpoints. Usable capability depends jointly on weights, serving route, precision, output contract, and harness, yet all 18 audited benchmarks score advertised model identifiers. We treat this as measurement error and give a protocol that makes it reportable. It has three parts. A gold-blind capability-binding preflight verifies that a route can execute the evaluation contract before any task reaches it; a reliability-inclusive first-pass scoring rule keeps failure in the score while keeping unsupported capability out; and adjudication is structurally score-blind. We call the protocol IB2 and release its algorithms, classification tables, request contract, and manifest schemas. Its reference instantiation, 12
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית