כתבה
arXiv cs.CL ·
ניתוח גורמים בקנה מידה גדול מראה כי מודלים של מוח מכונה ניתנים לפירוש חלקי בלבד
Large-scale factor analysis shows machine intelligence is only partially interpretable
חוקרים בדקו 1,618 מודלים של שפה ו-456 בדיקות, ומצאו כי יכולות קוגניטיביות אינן מאורגנות סביב גורם אינטליגנציה כללי. התוצאות מערערות את ההנחה כי ניתן להגדיר ולזהות אינטליגנציה כללית בפיתוח מודלים.
תקציר מקורי באנגליתarXiv:2609.36515v1 Announce Type: new Abstract: A common assumption in language model development is that cognitive abilities are organized around a general, domain-free intelligence factor, like fluid intelligence in humans. This assumption is rarely tested directly, and prior attempts have done so only at a much smaller scale. We take a latent variable approach to intelligence in language models, similar to how psychometricians study psychological constructs. Performance in every specific problem set is influenced by a domain-specific and a domain-agnostic latent factor. Using factor analysis as a dimension-reduction technique, we analyzed 13,251 published evaluation scores covering 1,618 language models across 456 different text-only benchmarks. Due to the super-sparse nature of the dat
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית