כתבה
arXiv cs.LG ·
בדיקה אונליין למתודות ניוטון עם סקיצה מאומנת ופרויקציה
Inference for Newton Methods with Accelerated Sketch-and-Project via Random Scaling
אנו חוקרים מתודות ניוטון אונליין שמאמצות את הכיוון של ניוטון בכל שלב דרך פתרון סקיצה מתקדם, הכולל עדכוני תנועה של נסטרוב. הפתרון הזה מצליח להקטין את העומס המחשבתי של מתודות שניוטון השנייה. ניתן להוכיח את התכונה האסימפטוטית של האיטרטיבים הממוצעים של המתודה הזו ולתאר את מטריצת הספקטרום שלהם. המטריצה הזו נוטה לזה של המתודה האונליין השנייה שאין לה עדכוני תנועה, וכן היא קטנה יותר מזו של האיטרטיב האחרון של המתודה המאומנת.
תקציר מקורי באנגליתarXiv:2609.12421v1 Announce Type: cross Abstract: We study an online sketched Newton method that approximates the Newton direction at each step via a state-of-the-art sketching solver, called the generalized accelerated sketch-and-project solver (GAS), thereby mitigating the computational bottleneck of classical second-order methods. The GAS solver improves upon vanilla, unaccelerated sketch-and-project solvers by achieving accelerated convergence through Nesterov momentum updates, and accommodates a flexible projection metric whose proper choice further reduces computational cost. Building on this design, we establish asymptotic normality of the averaged sketched Newton iterates and characterize their limiting covariance matrix. The resulting covariance recovers that of the unaccelerated
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית