כתבה
arXiv cs.LG ·
התנאי של המערכת וגאומטריה של המצבים הנסתרים בארבעה מודלי משקל פתוח: תיקונים ומה ששורד
System-Prompt Conditioning and Hidden-State Geometry in Four Open-Weight Models: Corrections and What Survives
חידוש: המאמר תוקן ומצא שהמצאות קודמות על התנאי של המערכת וגאומטריה של המצבים הנסתרים בארבעה מודלי משקל פתוח אינן נכונות.
תקציר מקורי באנגליתarXiv:2607.09842v3 Announce Type: replace Abstract: Versions 1 and 2 of this preprint reported that an identity-specifying system prompt leaves a geometric fingerprint in the final-layer hidden-state trajectories of four open-weight language models, and that instruction tuning moves this fingerprint from the direction to the magnitude of the hidden-state vector. An audit of their code and data found the following. The curvature statistic described as Ollivier-Ricci curvature on Euclidean k-NN graphs was a non-standard Forman-type edge statistic on graphs built from temporal and cosine k-NN edges. Its released test permuted pooled edges instead of trajectories, and the published p-values came from unreleased code. The quantity reported as the norm of the first generated state is the state a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית