כתבה
arXiv cs.LG ·
עברית, עד 90 תווים. תרגום/ניסוח טבעי של הכותרת המקורית: Isotropic Yet Undecodable: The Sequential Content-Sufficiency Gap in Latent-Predictive Text Representations
Isotropic Yet Undecodable: The Sequential Content-Sufficiency Gap in Latent-Predictive Text Representations
במאמר זה נחקר תכונת הסבילות לתוכן רצפי בייצוגי טקסט סמוי. המחקר חושף חוסר סבילות בייצוגי טקסט סמויים, ומציע פתרון חדש בשם CANOPE.
תקציר מקורי באנגליתarXiv:2610.07906v1 Announce Type: cross Abstract: We study sequential content sufficiency by investigating whether a representation retains the ordered target information available in its input. An information-theoretic decomposition separates input ambiguity, representation loss, and readout mismatch. We construct recoverable views where perfect agreement and joint isotropic Gaussianity coexist with zero target information, and establish limits imposed by deterministic canonical anchors. Token log-loss provides a one-sided information-loss bound; a fixed-penalty ridge analysis shows why rank alone cannot determine prediction risk. These results motivate CANOPE, a nonautoregressive framework with ordered latent canvases, canonical-token supervision, and geometric regularization. On 40,000
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית