כתבה
arXiv cs.LG ·
הרחבת גרדיאנטים דרך דרכים למשתנים תלותיים דיסקרטיים דרך הרלכה סופית
Extending Pathwise Gradients to Discrete Random Variables via Finite-Order Relaxation
אנו מציגים פרקטיקה כללית לבניית מעריכי גרדיאנטים דרך-דרך סופיים למשתנים תלותיים דיסקרטיים, כגון Poisson. המעריכים שלנו נשמרים, דורשים טמפרטורה טונינג, וניתן ליישם אותם בקצרה. בניסויים, גישותינו חוקרים או משפרים את הבסיסים המותאמים, ומציעים יתרון בזמן ריצה.
תקציר מקורי באנגליתarXiv:2610.07786v1 Announce Type: new Abstract: Pathwise gradients are preferred for continuous random variables because they are unbiased, low variance, and work with a single sample. For discrete variables, however, the pathwise identity cannot generally be exact for every differentiable function. We propose a general framework to construct finite-order exact pathwise gradient estimators for a range of common discrete variables such as Poisson. The estimator is the least-norm solution among all solutions that are unbiased for polynomials of degree at most. The resulting estimators preserve the hard forward sample, require no temperature tuning, and can be implemented in a few lines of codes. Against other admissible solutions, our estimator is unique and minimizes weight variance; in con
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית