כתבה
arXiv cs.LG ·
פתרון אופטימיזציה דו-רמתית עם רמה תחתונה לא קמורה
To Solve Bilevel Optimization with Nonconvex Lower Levels, We Need Second-Order Stationarity
חוקרים מציעים פתרון חדש לאופטימיזציה דו-רמתית עם רמה תחתונה לא קמורה. הפתרון, PROBE, מבטיח שיפור ביצועים ומהירות. המחקר נערך על מודלים גדולים ומטלות מטא-למידה.
תקציר מקורי באנגליתarXiv:2609.30501v1 Announce Type: new Abstract: Although bilevel optimization (BLO) has emerged as a powerful framework for addressing many complex and nested machine learning problems in recent years, most existing studies are confined to the lower-level strongly convex (LLSC) or lower-level generally convex (LLGC) settings (i.e., the lower-level objective function is assumed to be, at least, convex). While the LLSC/LLGC assumptions render more tractable algorithmic design and theoretical analysis, they are too rigid to encompass many machine learning problems in practice. The limitations of LLSC/LLGC assumptions in BLO motivate us to investigate solving the BLO problem in the general lower-level nonconvex (LLNC) settings, which remains in its infancy. In the literature on LLNC-BLO, most
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית