כתבה
arXiv cs.AI ·
SPECTRUM: חדשנות בהסתגלות ספקטרלית להסתגלות עצמית
SPECTRUM: Proximal Spectral Modulation for Looped Self-Distillation
מודל שלומד מהפלט שלו, ומשפר את נכונותו בעת הסתגלות, ובעת ההסתגלות העצמית, ומשמר רפרטואר של פתרונות.
תקציר מקורי באנגליתarXiv:2610.07237v1 Announce Type: new Abstract: A model that learns from its own outputs inherits more than their correctness: it inherits which solutions it produces. We formulate Looped Self-Distillation, a self-evolution framework for code generation in which a model repeatedly generates and learns from its own raw outputs, under a fixed information budget, without ongoing external assessment or test-based selection of the generated samples. We identify a consequential separation: correctness can improve while the breadth of correct implementations contracts. We introduce SPECTRUM, which re-estimates loss-sensitive key/value geometry from a fixed reference anchor at each round and converts it into full-rank proximal spectral modulation. All generated completions train a single student,
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית