כתבה
arXiv cs.AI ·
TimeWarp: בדיקת סוכני רשת על ידי חזרה לעבר
TimeWarp: Evaluating Web Agents by Revisiting the Past
TimeWarp היא בדיקה של סוכני רשת שמטרתה לבדוק את יכולתם להתאים לשינויים ברשת. המחברים פיתחו תוכנה שמסימולה את השינויים ברשת ובדקו את יכולתם של סוכני רשת להתאים לשינויים אלה. התוכנה, שנקראת TimeTraj, משתמשת בטכניקה של פלן דיסטילציה כדי ללמד את הסוכנים להתאים לשינויים ברשת.
תקציר מקורי באנגליתarXiv:2603.04949v3 Announce Type: replace Abstract: As web agents close the gap with humans on benchmarks, one question arises: Do today's agents perform just as well on tomorrow's web? We introduce TimeWarp, a benchmark that emulates the evolving web. TimeWarp consists of three web environments, each with six UI versions spanning UI design, frontend code, and workflows from different eras of the internet. We pair TimeWarp with a set of complex, realistic tasks covering different forms of web navigation. Our experiments reveal that vision-based agents are vulnerable to changes, while text-based agents become brittle once fine-tuned on a single version. To address this, we propose TimeTraj, a new annotation method that uses plan distillation to collect trajectories across multiple versions.
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית