כתבה
arXiv cs.LG ·
אפקטים של קוונצציה על תיקון כשלי כלי נעים בין תרגילים ועיצובי בדיקה
Quantization Effects on Tool-Failure Recovery Vary Across Prompts and Evaluation Designs
אפקטים של קוונצציה על תיקון כשלי כלי נעים נוטים להשתנות בין תרגילים ועיצובי בדיקה. ניתן לראות זאת במודלי Llama ו-Qwen, שהם נטענים באופן פוסט-טריינינג. המחקר עוסק בהשפעות של קוונצציה על תיקון כשלי כלי נעים, ומצא כי התוצאות עשויות להשתנות בין תרגילים ועיצובי בדיקה. זה חשוב לקחת בחשבון כאשר מחליטים על תכנון ופיתוח של מודלי LLM.
תקציר מקורי באנגליתarXiv:2610.07781v1 Announce Type: cross Abstract: Post-training quantization reduces the cost of deploying language-model agents, but its effect on recovery from temporary tool failures can depend on how recovery is evaluated. We compare 8-bit and 4-bit variants of Llama-3.1-8B-Instruct and Qwen2.5-7B-Instruct on twenty deterministic tool-use tasks and five prompts. The 8-bit-4-bit recovery comparison changes direction across prompts and evaluation targets. On tasks that both variants complete without faults under the same prompt, the difference ranges from 0 to +20.2 percentage points for Llama and from -50.0 to +35.0 points for Qwen. Full-pipeline point estimates favor 8-bit Llama under all five prompts, whereas the Qwen comparison changes direction across prompts. The evaluation target
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית