כתבה
arXiv cs.LG ·
LS-AR: ניהול סטרימינג עתידי-נבואי ב-LLMs אוטורג'רסיביים
LS-AR: Future-Predictive Latent Steering in Autoregressive LLMs
אוטורג'רסיבי LLMs חדש: ניהול סטרימינג עתידי-נבואי. פיתוח חדש של LangGraph.
תקציר מקורי באנגליתarXiv:2610.03093v1 Announce Type: new Abstract: Standard autoregressive (AR) models process high-level task instructions, state history, and transient tokens within a single shared sequence of tokens. Consequently, they lack the architectural mechanisms needed to isolate macro-objectives from context noise. To overcome this single-channel limitation, we introduce Latent-Steered Autoregressive (LS-AR), a dual-channel architecture that decouples continuous goal steering from discrete token decoding via FiLM conditioning. We evaluate a Static Goal Encoder (P_0) for persistent macro-objective retention across long rollouts and a Dynamic State Tracker (P_t) for recurrent latent updates during generation. On long-horizon retrieval past context limits (H=1024, W=500), LS-AR (Static) achieves 100%
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית