כתבה
arXiv cs.AI ·
השפעות הקיצונציה על תיקון כשלי כלי נשתנות לפי תבניות ועיצובי בדיקה
Quantization Effects on Tool-Failure Recovery Vary Across Prompts and Evaluation Designs
השפעות הקיצונציה על תיקון כשלי כלי נשתנות לפי תבניות ועיצובי בדיקה. נמצא כי קיצונציה 8-bit ו-4-bit של Llama-3.1-8B-Instruct ו-Qwen2.5-7B-Instruct נבדלות בין 0 ל-20.2% בתיקון כשלי כלי, והבדל זה נשתנה לפי תבניות ועיצובי בדיקה.
תקציר מקורי באנגליתarXiv:2610.07781v1 Announce Type: new Abstract: Post-training quantization reduces the cost of deploying language-model agents, but its effect on recovery from temporary tool failures can depend on how recovery is evaluated. We compare 8-bit and 4-bit variants of Llama-3.1-8B-Instruct and Qwen2.5-7B-Instruct on twenty deterministic tool-use tasks and five prompts. The 8-bit-4-bit recovery comparison changes direction across prompts and evaluation targets. On tasks that both variants complete without faults under the same prompt, the difference ranges from 0 to +20.2 percentage points for Llama and from -50.0 to +35.0 points for Qwen. Full-pipeline point estimates favor 8-bit Llama under all five prompts, whereas the Qwen comparison changes direction across prompts. The evaluation target ca
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית