כתבה
arXiv cs.CL ·
אבודים בקסט של bf16: ייצוא דגמי שפה טרנאריים עשוי להחזיר את רוב השינויים בלמידה נמוכה
Lost in the bf16 Cast: Exporting Ternary Language Models Can Revert Most Low-Learning-Rate Code Changes
ייצוא דגמי שפה טרנאריים עשוי להחזיר את רוב השינויים בלמידה נמוכה. נמצאו תקלות בפייפלינג של שלושה מעבדות. נצפה ירידה בדיוק של 27.54 נקודות ב-BitNet 2B-4T.
תקציר מקורי באנגליתarXiv:2610.07853v1 Announce Type: cross Abstract: Ternary language models such as BitNet b1.58, Falcon-E and BitCPM are fine-tuned with higher-precision latent weights and deployed as ternary codes produced by an export step that, in the labs' documented pipelines, first casts the latents to bf16. We audit those pipelines across three labs. In released checkpoints, fp32 quantization of the shipped latents disagrees with the deployed codes on 0.83-1.77% of codes in Falcon-E and BitCPM and on 1.530% in BitNet 2B-4T; for Falcon-E and BitCPM most disagreements are products that bf16 rounding lands exactly on the threshold, which ties-to-even maps to zero, and the unmodified onebitllms exporter reproduces all four Falcon-E releases byte for byte. At fine-tuned endpoints, with learning rates sel
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית