כתבה
arXiv cs.CL ·
גבולות שווא: אבחון ומיגור שיתוף רמאות בסוכנים מחפשים עצמאיים
False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents
חוקרים גילו כי סוכנים מחפשים עצמאיים עלולים לשתף פעולה ברמאות. הם מציעים שיטות לאיתור ומיגור התופעה, כולל אימות רב-דגימות ו-CrossFit, שמשפרות את התוצאות.
תקציר מקורי באנגליתarXiv:2609.39102v1 Announce Type: new Abstract: Self-evolving search agents build their own training curricula by jointly optimizing a proposer that generates questions and a solver that answers them. This closed loop introduces a failure mode we call co-cheating: the proposer and solver increasingly agree on shared errors, so internal reward improves without a matching gain in external correctness. A post-hoc audit against source evidence shows co-cheating growing more severe over successive rounds of self-evolution, with pseudo-label correctness stagnating or declining even as the in-loop training signal improves. The most direct mitigation is to verify proposals before training: we introduce multi-sample verification (MSV), which queries the same model three times with the source and th
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית