כתבה
arXiv cs.CL ·
PACE: שילוב הדרגתי של אנגולר-נורם
PACE: Progressive Angular-to-Norm Contrastive Embedding
PACE הוא כלי לשילוב הדרגתי של מרחבי ייצוג ופרמטרים אימון. הוא משלב אובייקטיבי קוסינוסי עם אדפטציה בדרגה נמוכה, ולאחר מכן עובר לדמיון מוצר-נקודתי עם אימון מלא-פרמטרים. PACE משתמש גם ב-Focal Embedding Loss, אובייקטיבי המותאם לביטחון.
תקציר מקורי באנגליתarXiv:2609.15152v1 Announce Type: cross Abstract: Multimodal embedding models encode heterogeneous inputs into a shared embedding space, enabling efficient similarity computation across modalities and tasks. Most existing methods optimize cosine-based contrastive objectives, which promote stable training but restrict semantic compatibility to angular geometry, precluding embedding norms from serving as an additional semantic signal. However, directly optimizing the more expressive dot-product similarity, which leverages both angular and norm information, underperforms cosine-based training and exhibits unstable training dynamics. We attribute this discrepancy to premature optimization-space expansion, manifested as angular--norm entanglement and directional anisotropy in the representation
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית