כתבה
arXiv cs.LG ·
סיבוב סטוכסטי בתרגום נמוך-תפקוד: מחקר חיקוי תפקוד-משתנה של GPT-2
Stochastic Rounding in Low-Precision Transformer Inference: A Variable-Precision Emulation Study of a Small GPT-2
במאמר זה נחקרה השפעת סיבוב סטוכסטי בתרגום נמוך-תפקוד של מודל GPT-2 קטן. נמצא כי סיבוב סטוכסטי יכול להפחית את תפקוד המודל במקרים מסוימים.
תקציר מקורי באנגליתarXiv:2610.01889v2 Announce Type: replace Abstract: Should low-precision transformer inference use stochastic rounding (SR) or round-to-nearest (RN)? The answer depends on where in the network you look. We isolate this effect by holding the numerical format fixed and varying only the rounding rule at individual operation sites. To enable experiments at freely chosen precisions, we extend the PRISM vectorized rounding library to arbitrary virtual precision via a variable-precision stochastic rounding (VPSR) algorithm, proving that the rounding decision is evaluated exactly in hardware floating point. We develop two analyses providing complementary insight into this site-level trade-off. First, a probabilistic forward-error bound for linear projections shows that SR's error envelope grows as
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית