כתבה
arXiv cs.AI ·
MCRI: מסגרת ארבע-ממדית לניתוח והערכת מיומנויות של סוכנים
MCRI: A Four-Dimensional Framework for Analyzing and Evaluating Agent Skills
חוקרים הציגו את מסגרת MCRI, כלי לניתוח והערכת מיומנויות של סוכנים. המסגרת מבוססת על רעיון הרווח המידעי והגבלות התנהגותיות. MCRI-Eval, שיטת הערכה המבוססת על מודל לשוני גדול, הוערכה על 63,812 מיומנויות ציבוריות.
תקציר מקורי באנגליתarXiv:2610.01506v1 Announce Type: new Abstract: As agents evolve from single-tool systems into modular, composite architectures, skills are becoming an important mechanism for capability development and distribution. However, the academic community lacks a structured framework for systematically analyzing and evaluating skills. Drawing on information gain and behavioral constraint, we propose the four-dimensional MCRI Framework and operationalize it as MCRI-Eval, a large language model-based evaluation method. We evaluate MCRI-Eval using 63,812 public skills from the OpenClaw skill Hub, with 58,275 skill-conditioned model executions across BigCodeBench, BFCL-Fundamental, and Mind2Web. MCRI-Eval scores are positively associated with community popularity signals and achieve the highest downs
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית