כתבה
arXiv cs.LG ·
בחירת מודלים קומפרסדים תחת שינוי תחום
Teacher-Anchored Selection of Post-Training Quantized Models under Domain Shift
במאמר זה נחקרה שאלת בחירת מודלים קומפרסדים תחת שינוי תחום. המחברים חקרו את השאלה כיצד לבחור את המודל הטוב ביותר להפעלה, כאשר המודלים השונים נבדלים בגודלם ובאיכותם. התוצאות הראו כי השיטה של 'מינימיזציה של תפיסה' (Minimum Teacher Distortion) היא שיטה יעילה לבחירת המודל הטוב ביותר.
תקציר מקורי באנגליתarXiv:2609.31155v1 Announce Type: new Abstract: Compressing a trained model yields a family of deployment candidates, and under domain shift the most compressed one need not be the one to deploy. We study selection over such a family, with candidates and teacher fixed and target labels absent or scarce. Two findings organize the label-free case. Minimum teacher distortion behaves almost as a constant rule, selecting the same eight-bit, per-channel, unclipped configuration in every run, which does not minimize empirical target cross-entropy. Established estimators divide sharply: in the overconfident-collapse regime of the CNN families, confidence-based estimators order the family close to backwards, and the diagnostics that identify it need the labels the setting denies, while output-distr
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית