כתבה
arXiv cs.AI ·
Fast LapSum: סלקטיביות רכה ומדויקת ל-Top-$k$ בקנה מידה מיליוני
Fast LapSum: Exact Differentiable Top-$k$ at Million Scale
Fast LapSum היא פתרון סקאלבלי להסתפקות רכה ומדויקת ל-Top-$k$ שמאפשרת סלקטיביות רכה ומדויקת בקנה מידה מיליוני. היא משתמשת בברקטינג סטטיסטי בינומיאלי כדי למגן את עלות הסידור. Fast LapSum מסוגלת לעבוד עם $10^6$, $10^7$, ו-$10^8$ סקורים בזמני חציוני של 0.92, 1.39, ו-7.24 ms, בהתאמה.
תקציר מקורי באנגליתarXiv:2608.06912v2 Announce Type: replace Abstract: Selecting the top-$k$ elements is a fundamental operation for inducing sparsity in large-scale models and optimization problems, enabling robust expert activation, token routing or attention pruning. However, hard top-$k$ is non-differentiable, while existing differentiable alternatives become increasingly expensive as the number of coordinates grows. We introduce Fast LapSum, a scalable solver for the LapSum soft top-$k$ formulation that preserves an exact selection mass of $k$, while supporting end-to-end differentiation. In Fast LapSum, we reduce sorting cost using probabilistic bracketing, which restricts sorting to a narrow band of scores around the threshold using a binomial order-statistic from kernel-noised samples. A certificatio
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית