כתבה
arXiv cs.AI ·
CIRCLE: תשתית לבדיקת AI מעולם ריאלי
CIRCLE: A Framework for Evaluating AI from a Real-World Lens
CIRCLE היא תשתית שמטרתה לבדוק AI מנקודת מבט ריאליסטית. היא מספקת תשתית מבוקרת לבדיקת AI במצבי תפעול אמיתיים. CIRCLE משלבת שיטות שונות, כגון בדיקות שטח, טירוף כחול, ומחקרים ארוכי-זמן, כדי לייצר ידע מערכתי.
תקציר מקורי באנגליתarXiv:2602.24055v5 Announce Type: replace Abstract: This study proposes CIRCLE, a six-stage, lifecycle-based framework to bridge the reality gap between model-centric performance metrics and AI system outcomes in deployment. Current approaches such as MLOps frameworks and AI model benchmarks offer detailed insights into system stability and model capabilities, but they do not provide decision makers outside the AI stack with systematic evidence of how these systems actually behave in real world contexts or affect their organizations over time. CIRCLE operationalizes the Validation phase of TEVV (Test, Evaluation, Verification, and Validation) by translating priorities of stakeholders outside the stack into measurable signals. Unlike participatory design which often remains localized, or al
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית