כתבה
arXiv cs.CL ·
SearchAtlas: ניתוח אסטרטגיות חיפוש אגנטיות
SearchAtlas: Analyzing Agentic Search Strategies via Evidential Query Graphs
SearchAtlas הוא כלי לניתוח אסטרטגיות חיפוש של LLM. הוא מאפשר להבין כיצד ראיות מועברות במהלך תהליך החיפוש. המחקר מראה כי SearchAtlas יכול לחשוף נקודות תורפה בתהליך החיפוש.
תקציר מקורי באנגליתarXiv:2609.10901v1 Announce Type: new Abstract: LLM search agents are often evaluated on final-answer accuracy, overlooking the process. Analyzing a search strategy requires understanding how credible evidence is retrieved to address question constraints. This valuable information is buried in raw search trajectories that are long and difficult to parse. We introduce SearchAtlas, a framework that converts search trajectories into structured graphs whose edges represent how evidence is propagated across the reasoning trace, from the query that retrieves it to the final answer. Our automated parsing pipeline achieves a mean edge F1 of 86.0% against human-annotated graphs and remains consistent across repeated runs. We analyze five search agents on three benchmarks, revealing systematic diffe
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית