כתבה
arXiv cs.LG ·
EGGROLL, Unrolled: הבנת ושיפור של סטרטגיות התפתחות למערכות עמוקות
EGGROLL, Unrolled: Understanding and Improving Low-Rank Evolution Strategies at Scale
EGGROLL, Unrolled: המאמר עוסק בשיפור של סטרטגיות התפתחות למערכות עמוקות. המחברים הציגו את EGGROLL, שמחקה את ההתפתחות של LLMs על ידי תיקון פרטורבציות גאוסיאניות עם rank נמוך. הם גם הציגו LOO-ROLL, אשר מחקה את EGGROLL בעזרת תיקון פרטורבציות גאוסיאניות עם rank נמוך.
תקציר מקורי באנגליתarXiv:2609.10980v2 Announce Type: replace Abstract: EGGROLL (Sarkar et al., 2026) makes evolution strategies (ES) practical for LLMs by replacing dense Gaussian weight perturbations with low-rank Gaussian products, often of rank one. This choice is computationally attractive but geometrically severe: Each rank-one perturbation lies in a zero-volume subset of the ambient matrix space, despite having identity covariance. We characterize the EGGROLL update mean field at finite rank and nonzero perturbation radius as a resolvent applied to the gradient of the perturbation-smoothed objective. This transformation can make the mean field nonconservative and reverse the local stability of an optimum. EGGROLL nevertheless recovers the gradient exactly on quadratic objectives at every rank and radiu
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית