כתבה
arXiv cs.LG ·
SemanticFold: דחיסת רצפים בלטנטית
SemanticFold: Latent Sequence Compression SeparatesLanguage Modeling, Decodability, and Reasoning
SemanticFold הוא שיטה לדחיסת רצפים בלטנטית של מודלי שפה. המחקר בודק את השפעת הדחיסה על יכולות המודל. הניסויים נערכו על מודלים Qwen3-1.7B ו-SmolLM2-1.7B.
תקציר מקורי באנגליתarXiv:2610.10304v1 Announce Type: new Abstract: We study whether latent sequence compression of prompt prefixes preserves the capabilities that large language models rely on during inference. We introduce SemanticFold, a compression scheme that folds prefix hidden states at learned boundaries, and evaluate it across five model scales: Qwen3-1.7B, Qwen3-8B, SmolLM2-1.7B, Pythia-1.4B, and Pythia-6.9B. We use a fixed-target protocol: a frozen prefix is executed natively or compressed, and both arms teacher-force identical continuation tokens. This design rules out target-selection explanations for likelihood changes. We examine five endpoint families: fixed-target negative log-likelihood, finite-label reasoning accuracy, linear probe accessibility, open-ended generation, and systems-level mem
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית