כתבה
arXiv cs.LG ·
אם טמפרטורה משותפת מעידה על מספר קוטבי משותף בלמידת התנגדות הסבירה?
Does a Shared Temperature Imply a Shared Angular Scale in Probabilistic Contrastive Learning?
טמפרטורה משותפת בלמידת התנגדות הסבירה לא תמיד מעידה על מספר קוטבי משותף. נמצא כי טמפרטורה משותפת עשויה להיות רק תכונה של תצוגה, ולא של התנהגות המודל. ניתן לשנות את הטמפרטורה כדי לשפר את הביצועים של המודל.
תקציר מקורי באנגליתarXiv:2609.38784v1 Announce Type: new Abstract: In probabilistic contrastive learning, a shared temperature is commonly interpreted as a shared similarity scale, but this interpretation does not hold for high-dimensional distributional class representations. We study the exact von Mises-Fisher (vMF) probabilistic score used by ProCo when representation dimension and class concentration grow jointly. We prove that the score retains a class-dependent leading angular gain $g_c=A_c/\tau$, where $A_c$ is the mean resultant length. This gain enters Softmax competition, pairwise decision boundaries, and feature gradients. On real CIFAR-LT, ImageNet-LT, and iNaturalist representations, the theory accurately predicts boundary movements and local gradient changes under the full vMF score. Classwise
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית