כתבה
arXiv cs.AI ·
Muon שגוי תאורטית למעברים
Muon Is Theoretically Wrong For Convolutions, But Empirically Effective
חוקרים בדקו את Muon, אופטימייזר יעיל, ומצאו שהוא עובד טוב על מעברים על פני שיטות תאורטיות. הם הציגו Conv-NS, שיטה חדשה לאופטימיזציה בגיאומטריה של מעברים.
תקציר מקורי באנגליתarXiv:2610.07103v1 Announce Type: cross Abstract: Muon, an optimizer known for its efficiency, has a clear interpretation for matrix-valued updates, but convolutional kernels are stored as four-dimensional tensors. Standard implementations reshape these tensors into matrices, a shortcut which breaks the theoretical understanding behind Muon. To investigate this, we formalize the corresponding optimization objective directly in convolutional operator geometry and introduce Convolutional Newton-Schulz (Conv-NS), which approximates the polar factor in this geometry while preserving kernel support. When applied in fast training experiments, Conv-NS and reshape-based Muon are both computationally efficient and achieve comparable accuracy on CIFAR-10 and ImageNet classification tasks. However, a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית