כתבה
arXiv cs.LG ·
ארגון אינפרא-אדום ויצירת שדה קוגניטיבי בין-קריטי בדינמיקה של טרנספורמר
Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics
מחקר חדש מציג תוצאות על ארגון אינפרא-אדום ויצירת שדה קוגניטיבי בין-קריטי בדינמיקה של טרנספורמר. המחקר משתמש במודלים של Pythia ו-LLaMA כדי לבדוק את התאוריה. התוצאות מראות על ארגון אינפרא-אדום מובהק בדינמיקה של הטרנספורמר.
תקציר מקורי באנגליתarXiv:2607.10923v2 Announce Type: replace Abstract: Large language models exhibit remarkable emergent behaviors, yet the physical mechanism governing their collective dynamics remains poorly understood. Cognitive Field Theory predicts that learning organizes collective dynamics through the infrared accumulation of slow relaxation modes, enhancing memory self-energy, long-memory dynamics, and collective susceptibility. Here we test this framework directly in Transformer dynamics. Using publicly available Pythia language models, we extract relaxation spectra from layer Jacobians throughout training, prompt ensembles, network depth, and model scale, allowing the collective observables of Cognitive Field Theory to be measured quantitatively. The measurements reveal pronounced infrared reorgani
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית