כתבה
arXiv cs.LG ·
מה המשימות ששרדו בלמידה עצמית?
Which Tasks Survive Self-Supervised Learning?
במאמר זה נחקרה שאלה חשובה: מה המשימות ששרדו בלמידה עצמית? המחברים חקרו את השאלה דרך ניתוח סמנטי של המשימות, ומצאו כי השאלה קשורה לגאומטריה של המשימות ולקיבולת המודל להעברה.
תקציר מקורי באנגליתarXiv:2609.38393v1 Announce Type: new Abstract: Same-instance self-supervised learning (SSL) learns representations by enforcing consistency across two views of the same underlying instance. This principle alone, however, does not determine which downstream tasks remain recoverable from the learned representation. We study this question through \emph{semantic recoverability}, defined as the amount of a task's posterior score captured by the represented function space. We show that, for centered and whitened representations, recoverability exactly determines directional class-distance-normalized variance (CDNV), controls few-shot nearest-centroid classification, and governs the strength of task-relevant semantic directions. The population linear probe and centroid axis coincide, and multipl
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית