כתבה
arXiv cs.LG ·
מתח זהויות בין דיוק למידע: תרחיש תלוי-אובדן
An Accuracy-Information Tradeoff for Loss-Difference Conditional Mutual Information
נמצא תרחיש תלוי-אובדן בין דיוק למידע במודלי הפסד-תלוי-אובדן. כל תוכנית למידה ראויה, עם תוצאה של עד ε על ההפסד, יש חובה של n bits ב-CMI. כל תוכנית למידה ראויה, עם תוצאה של ε על ההפסד, יש חובה של Π(n/(1+(τ/ε)^2)) bits ב-CMI, תחת רעש גאוסי של תקן תקין τ.
תקציר מקורי באנגליתarXiv:2610.09206v2 Announce Type: replace Abstract: Loss-difference conditional mutual information (ld-CMI) uses the smallest of the standard observations in the supersample hierarchy of generalization bounds: it measures what a learner's loss differences reveal about which candidate of each pair it was trained on. Accuracy is known to force information into the model; data processing does not carry such lower bounds to losses. We show, by bounding three moments of the loss differences, that accuracy also forces ld-CMI. For linear predictors with a smooth convex loss of nonzero slope at zero, such as the logistic loss, plus a regularizer whose curvature and growth are both of power $r\ge2$, on product distributions over a scaled sign cube in dimension at least linear in $n$, every proper l
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית