כתבה
arXiv cs.LG ·
הגדלת אימון אנלוגי: תכנון משותף של התאמה, אופטימייזר ומפענך
Making Analog Training Scale: Co-Designing Mapping, Optimizer, and Converters
הגדלת אימון אנלוגי באמצעות פרדוקסים של דיוג ותכנון משותף. פרדוקסים של דיוג ותכנון משותף. המחקר מציג פרדוקסים של דיוג ותכנון משותף להגדלת אימון אנלוגי.
תקציר מקורי באנגליתarXiv:2609.36584v1 Announce Type: new Abstract: Analog in-memory computing (AIMC) offers an alternative for model training by executing matrix operations directly where weights are stored. However, scaling AIMC to train modern deep models remains an open challenge due to severe hardware non-idealities, including physical weights with finite dynamic range and write granularity, analog-digital converters with finite resolution, and noisy and asymmetric updates. Guided by the insight that gradient accumulation is sensitive to precision and rounding errors, we adopt a mixed-precision training paradigm: executing forward and backward matrix multiplications in the analog domain while computing weight gradients in the digital domain. To enable scalable training, we present a holistic system-algor
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית