כתבה
arXiv cs.AI ·
תמיכה בטופולוגיה ובשילוב גרדיאנטים בשכבות Sinkhorn
Support Topology and Gradient Mixing in Sinkhorn Layers
במאמר זה נחקרה טופולוגיה ושילוב גרדיאנטים בשכבות Sinkhorn. המחברים פיתחו קלקול תמיכה קבוע, המציג כי כל סיבוב שורה-עמודה גורם לפעולן שור-סטוכסטי על פרטורבציות עמוד-פוטנציאל, מודולו קבועים. המאמר נותן תיאורים ובונדים לקוטנגנטים חוזרים-אפס-מסה.
תקציר מקורי באנגליתarXiv:2609.07954v1 Announce Type: new Abstract: Sparse Sinkhorn layers use a fixed support graph to restrict transport between tokens. How does this graph control gradient propagation through the scaling iterations. We develop a fixed-support calculus showing that each row-column cycle induces a row-stochastic operator on column-potential perturbations modulo constants. Its transpose propagates zero-mass reverse-mode cotangents. The finite-cycle operator uses two distinct half-step transport plans; at a balanced fixed point it reduces to a two-step walk determined by a single plan. We derive the accompanying score and marginal source terms and use Dobrushin contraction and minorization to bound homogeneous and source-driven tail cotangents. Our main result characterizes when support and ma
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית