כתבה
arXiv cs.LG ·
צנזורה של מסלול על ידי ממשק
Interface-Induced Trajectory Censoring
חוקרים גילו תופעה של צנזורה של מסלול על ידי ממשק, שיכולה להשפיע על הערכת ביצועים של מודלים. התופעה נצפתה במודל Llama ובכלי Qwen. החוקרים מציעים בדיקת פריפלייט בת 98 שורות כדי לזהות את הבעיה.
תקציר מקורי באנגליתarXiv:2609.03966v1 Announce Type: cross Abstract: Agent evaluations report a tool-call rate read off the serving stack. That number can be zero while the model is emitting well-formed calls: the interface censors the trajectory before anything downstream sees it. On BFCL v4's own data, executor and scorer, holding weights, cases, decoding and seeds fixed and changing only the serving adapter, the same model scores 0.00 or 0.96 / 0.19. A 2x2 over chat template and parser locates the effect exactly: both main effects are exactly zero and all of it sits in the interaction -- no component is defective, and repairing one side of the contract buys precisely nothing. On tau-bench's 115 interactive retail tasks the same swap moves server-parsed calls from 0 to 636 and tasks reaching any tool execu
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית