יום חמישי, 8 באוקטובר 2026 LIVE
AI־INFO

כתבה arXiv cs.LG ·

צמצום סטוכסטיות, לא קיבועיות: פרטית סטוכסטיות דרך פקטוריזציה של משקלי הקודם

Sparsifying Stochasticity, Not Capacity: Partial Stochasticity via Deep Weight Factorization of Prior Scales
במאמר זה, המחברים מציגים שיטה חדשה לצמצום סטוכסטיות ברשתות עצביות, ללא צורך בקיבועיות. השיטה מבוססת על פקטוריזציה של משקלי הקודם, ומאפשרת לרשתות עצביות להיות תנאים-שולטים. המחברים מציגים גם תוצאות מבחן של שיטתם, ומראים כי היא יעילה יותר משיטות אחרות.
תקציר מקורי באנגליתarXiv:2610.09886v1 Announce Type: cross Abstract: Bayesian neural networks need not be fully stochastic to be universal conditional density approximators, but it remains open which parameters should be stochastic. We learn this split by applying deep weight factorization to the prior scales, which are the standard deviations of the parameter priors, while fitting the functional prior to a Gaussian process with a maximum mean discrepancy objective. A parameter whose prior scale falls below a cutoff becomes deterministic and is optimized during inference, so the regularizer sparsifies stochasticity rather than capacity. We give a certificate for universal conditional density approximation that is checkable in linear time, together with a minimal repair when it fails. We further show that the
קרא במקור המקורי