כתבה
arXiv cs.LG ·
חיזוי קשת הלמידה של רגרסיה גרעינית מסתפק בסטטיסטיקות נתונים פשוטות
Predicting kernel regression learning curves from only raw data statistics
חיזוי קשת הלמידה של רגרסיה גרעינית, כשהידע הנתון הוא רק סטטיסטיקות פשוטות. המחקר עוסק בקשת הלמידה של רגרסיה גרעינית, ומציע תאוריה שמאפשרת לחזות את קשת הלמידה על סמך רק שתי מדדים: מטריצת הסטטיסטיקה של הנתונים והתפלגות פולינומית של הפונקציה המטריתלי $f_*$.
תקציר מקורי באנגליתarXiv:2510.14878v3 Announce Type: replace Abstract: We study kernel regression with common rotation-invariant kernels on real datasets including CIFAR-5m, SVHN, and ImageNet. We give a theoretical framework that predicts learning curves (test risk vs. sample size) from only two measurements: the empirical data covariance matrix and an empirical polynomial decomposition of the target function $f_*$. The key new idea is an analytical approximation of a kernel's eigenvalues and eigenfunctions with respect to an anisotropic data distribution. The eigenfunctions resemble Hermite polynomials of the data, so we call this approximation the Hermite eigenstructure ansatz (HEA). We prove the HEA for Gaussian data, but we find that real image data is often "Gaussian enough" for the HEA to hold well in
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית