כתבה
arXiv cs.AI ·
RAPID: חסינות-מודע Reliability-Aware Pair Importance Distillation
RAPID: Reliability-Aware Pair Importance Distillation
RAPID מציע שיטה חדשה להעברת ידע, המספקת חסינות וביצועים טובים יותר. השיטה משתמשת בפרופוזיציה חדשה של זיהוי פרמטרים חשובים, ומציעה תמיכה למודלים כמו BERT ו-DistilBERT.
תקציר מקורי באנגליתarXiv:2609.05481v1 Announce Type: new Abstract: Inter example relational distillation transfers a teacher's representation geometry by matching relations among examples within a mini batch. Computing all pairs has quadratic complexity in the batch size, whereas uniform subsampling may use a limited relation budget inefficiently. We introduce Reliability Aware Pair Importance Distillation, or RAPID, which separates a reliability gated relational target from a full support adaptive pair proposal. Reliability determines which teacher relations are emphasized, while calibrated teacher entropy and detached student-teacher residuals determine which relations are evaluated. Exact inverse proposal correction makes the loss and gradient estimators conditionally unbiased with respect to the gated mi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית