כתבה
arXiv cs.LG ·
חשוב מחדש על הבקבוק המידעי: פירוק מבנה רצוף תחת חלוקות תווי-תגובה
Rethinking the Information Bottleneck: Structured Decomposition under Label-Induced Partitions
המאמר חוקר את הבקבוק המידעי ומציע פירוק מבנה רצוף תחת חלוקות תווי-תגובה. זה עשוי להשפיע על האינטרפרציה של דטה-לימיטד והכלליות של המודלים.
תקציר מקורי באנגליתarXiv:2610.01175v1 Announce Type: new Abstract: Standard information bottleneck (IB) regularization constrains representations via a single scalar I(Z;X), implicitlytreating all information as homogeneous. However, a single global compression control couples label-relevant structurewith residual within-condition variation, rather than regulating their allocation independently, allowing nuisanceinformation to persist in learned representations. For example, in medical imaging applications, residual variation oftenstems from acquisition conditions, background factors, or subject-specific appearance. This issue becomes particularlypronounced in data-limited settings, where models tend to overfit such variation, hindering generalization. While existingregularization methods can stabilize train
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית