כתבה
arXiv cs.LG ·
CAT-GS: שיפור יציבות של רשתות נוירליות מרוב-מודליות
CAT-GS: Balanced Multimodal Learning via Calibrated Gating and Fusion Surgery
CAT-GS היא שיטה לשיפור יציבות של רשתות נוירליות מרוב-מודליות. היא פועלת באמצעות שיפור גייטינג ופיצוח חיבור. CAT-GS נבחנה במספר בסיסים, כולל CREMA-D, AV-MNIST, ו-VGGSound.
תקציר מקורי באנגליתarXiv:2608.24947v3 Announce Type: replace Abstract: End-to-end training of multimodal neural networks often exhibits unstable neural dynamics characterized by three coupled failure modes that degrade learning: (i) modality imbalance, where one branch dominates gradient-based optimization; (ii) unstable gating, where noisy confidence cues induce erratic modality selection; and (iii) fusion interference, where modality-specific gradients conflict at the shared fusion layer. We propose CAT-GS (Calibrated, Adaptive, Thresholded Gating with Fusion Surgery), a neural dynamics-based optimization controller for intelligent computing applications. CAT-GS operates during backpropagation without modifying model architectures, fusion modules, or task losses. Through calibration of teacher-derived reli
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית