כתבה
arXiv cs.AI ·
Break Step: טירוף רקורסיבי ושיבוץ רעש סיימפלינג
Break Step: Recursive Training Resonates with Replayed Sampling Noise
טירוף רקורסיבי נגרם כאשר משתמשים בשיבוץ רעש סיימפלינג. ניתן לשמור את התפוצה הלשונית על ידי שינוי הזרע הראשוני בכל דור.
תקציר מקורי באנגליתarXiv:2609.11149v3 Announce Type: replace-cross Abstract: How fast does a language model degrade when trained on its own outputs? Theory traces it to gradually accumulating errors, while experiments report repeated phrases within ten generations. Under a fixed sampling seed in vLLM, the fast loss of lexical diversity comes from the sampler. When vLLM serves a batch from one seeded sampling configuration, every request receives the same random draws, and a fixed seed replays them every generation. Fine-tuning raises the tokens that won, and the replayed draws let them win by more. Sharing across requests and replay across generations matter only together. Remove either one, by changing the shared seed every generation or by giving each request its own seed that repeats every generation, and
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית