כתבה
arXiv cs.CL ·
כשלים סומאים בתקינה של LLM: ניתוח-טקסונומיה של קונברגנס הולו ושינויי דפוסי כשל
Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts
כשלים סומאים בתקינה של LLM, כתוצאה מתקינה אחרי-אימון. נמצא כי קונברגנס הולו ושינויי דפוסי כשל נגרמים כתוצאה מתקינה NF4, ואינם ניכרים במדדי דיוק.
תקציר מקורי באנגליתarXiv:2607.09999v2 Announce Type: replace Abstract: We show that post-training quantization can silently alter how large language models reason even when task accuracy is preserved. Using a six-category failure taxonomy validated by two independent human annotators (Cohen's $\kappa$ = 0.906), we classify 30,000 chain-of-thought outputs from five instruction-tuned LLMs (3B--14B parameters) across three quantization precisions (FP32, FP16, NF4) and four reasoning benchmarks. We find that while accuracy is robust across precisions (maximum 3.1 pp drop), Hollow Convergence (correct answers reached through incomplete or unverifiable reasoning) shows a significant size-dependent shift under NF4, dropping sharply for the two smallest models tested but remaining invariant for models at 12B paramet
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית