כתבה
arXiv cs.AI ·
SubtleMemory: בנצ'מרק לאפיון זיכרון רלציוני עדין
SubtleMemory: A Benchmark for Fine-Grained Relational Memory Discrimination in Long-Horizon AI Agents
SubtleMemory הוא בנצ'מרק לאפיון זיכרון רלציוני עדין בסוכנים AI. הוא בודק את היכולת של סוכנים לשמר ולהשתמש ביחסים בין זיכרונות במהלך משימות. הבנצ'מרק כולל 1,522 מקרי בדיקה ו-1,090 סטים של זיכרונות מבוקרים.
תקציר מקורי באנגליתarXiv:2606.05761v3 Announce Type: replace Abstract: Persistent AI assistants, such as OpenClaw, accumulate large collections of related memories over long-term interactions. As these memories grow, they may reinforce one another, diverge across contexts, or directly conflict, making correct assistance depend on memory relations rather than isolated recall. Existing long-term memory benchmarks do not systematically probe how agents preserve and utilize such relations during downstream tasks. To address this gap, we introduce SubtleMemory, a benchmark for fine-grained relational memory discrimination in long-running AI agents. SubtleMemory constructs relation-controlled latent semantic artifacts whose variants instantiate complementary, nuanced, or contradictory relations, and embeds them in
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית