כתבה
arXiv cs.AI ·
על הערכה ותקינות קווי זמן של AI --- הצצה סטטיסטית ל-METR
On the estimation and validity of AI time horizons---a statistical look at the METR plot
במאמר זה, המחברים מציגים ניתוח סטטיסטי של קווי זמן של AI על סמך METR. ה-METR 50% time horizon מתאר את זמן הסיום של תפקידי תוכנה ש-AI פותרים עם 50% הסתברות. המחברים מחשבים מחדש את קווי הזמן של 26 AIs על 228 תפקידי תוכנה, ומציעים פלוטים ניסיוניים לבדיקת תקינות קווי הזמן.
תקציר מקורי באנגליתarXiv:2610.12466v1 Announce Type: new Abstract: METR's 50\% time horizon measures the human completion time of software tasks that an AI solves with 50\% probability, allowing AI capabilities to be expressed in interpretable units. On 228 tasks and 26 AIs, we recompute the time horizons using splines and item-response theory to relax the assumption that the AI difficulty of a task depends linearly on the log of human time. Our fitted spline can be interpreted as a function that \emph{converts} human time to AI difficulty; it is nearly flat in a region from 2--30 min but close to linear elsewhere. Hence, a time-horizon jump from 3 min to 30 min is much easier than one from 30 min to 5 hours despite the same multiplier of $10 \times$. Overall, we contribute time-horizon point estimates that
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית