כתבה
arXiv cs.LG ·
אנסמבל אחרון שכבה עם קובריאנס
Covariance Last-Layer Ensembles: Function-Space Diversity for Efficient Uncertainty Quantification
חוקרים הציגו שיטה חדשה לקידום אנסמבלים של מודלים, המשפרת את היכולת לכמת אי-ודאות. השיטה, הנקראת Covariance Last-Layer Ensemble, מוסיפה עונש ישיר על הפעילות של חברי האנסמבל, ובכך משפרת את הגיוון והכיול של החיזויים.
תקציר מקורי באנגליתarXiv:2607.23856v2 Announce Type: new Abstract: A Last-Layer Ensemble (LLE), $K$ linear units on one shared frozen feature map, is an efficient single-pass approach to the disagreement-based epistemic uncertainty for out-of-distribution (OOD) detection. Its weakness is that members share the backbone gradient and can converge toward the same function, collapsing the inter-member diversity the signal depends on. Whether last-layer diversity can be restored, and what mitigates the collapse, is an open question. The weight-orthonormality defining Orthonormal Certificates (OC), the weight-orthonormal special case of the LLE, is only an indirect correction; it decorrelates the weights of the members, not their predictions. Here, we instead target the collapse directly in function space, with a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית