כתבה
arXiv cs.LG ·
אופטימיזציה תפקודית דו-שלבית לא תחנית
Non-Stationary Functional Bilevel Optimization
SmoothFBO היא אלגוריתם חדש לאופטימיזציה תפקודית דו-שלבית לא תחנית. היא מציעה אומדן היפר-גרדיאנט סטוכסטי מחולק, המאפשר עדכונים יציבים עם סבילות תת-ליניארית. SmoothFBO עולה על שיטות קיימות באופטימיזציה של היפר-פרמטרים ולמידת חיזוק.
תקציר מקורי באנגליתarXiv:2601.15363v3 Announce Type: replace-cross Abstract: Functional bilevel optimization (FBO) provides a powerful framework for hierarchical learning in function spaces, yet current methods are limited to static offline settings and perform suboptimally in online, non-stationary scenarios. We propose SmoothFBO, the first algorithm for non-stationary FBO with both theoretical guarantees and practical scalability. SmoothFBO introduces a time-smoothed stochastic hypergradient estimator that reduces variance through a window parameter, enabling stable outer-loop updates with sublinear regret. Importantly, the classical parametric bilevel case is a special reduction of our framework, making SmoothFBO a natural extension to online, non-stationary settings. Empirically, SmoothFBO consistently o
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית