כתבה
arXiv cs.CL ·
WildTrace: מדד נסיבות טבעיות לאורך רצף סיבתי
WildTrace: Benchmarking Natural Evidence Trails in Long-Context Reasoning
WILDTRACE - מדד חדש לבינוקולות טבעיות באורך רצף סיבתי. המדד כולל 481 תרגילים על 214 מקורות ארוכים, כולל דו"חות תקרית טכנית וסיפורים ספרותיים. המדד נועד לבחון את יכולת המודלים לגשת למידע ולסבול את הסיבות הטבעיות שלו.
תקציר מקורי באנגליתarXiv:2607.09328v2 Announce Type: replace Abstract: Answering complex questions over long documents frequently requires integrating evidence that the source itself disperses naturally across distant passages. In an incident report, the operating condition, design flaw, and missed safety check that jointly explain a disaster may appear dozens of sections apart; in a novel, a character's true motive may surface only through scenes far removed from the moment it becomes relevant. This source-internal evidence integration is central to real-world long-document analysis, yet existing benchmarks largely sidestep it. Needle probes, planted facts, and reverse-engineered multi-hop chains embed evidence that may differ from the host text in distribution, placement, or register, making it unclear whe
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית