כתבה
arXiv cs.AI ·
PlaySuite: בנק המבחנים הגדול ביותר לבעיטת ראייה ובינה
PlaySuite: A Large-Scale Benchmark for Interactive Visual Intelligence
בנק המבחנים PlaySuite, המספק כלי לבדיקת בעיטת ראייה ובינה, כולל 5,000 משחקי וידאו פתוחי-מקור. הבנק כולל כלי לבדיקת יכולות של מודלי LLM במשחקי וידאו, כולל כלי לבדיקת יכולות של מודלי LLM במשחקי וידאו.
תקציר מקורי באנגליתarXiv:2610.07127v1 Announce Type: cross Abstract: Recent advances in multimodal foundation models yield strong performance on static perception and reasoning benchmarks, yet such evaluations largely overlook a central aspect of intelligence: acting competently in dynamic environments over extended time horizons. We introduce PlaySuite, a large-scale benchmark for evaluating interactive visual intelligence across more than 5K open-source video games curated from PyWeek and itch.io. Spanning diverse genres and engines, including Pygame, HTML5, Godot, and Unity, these independent games are largely out-of-distribution for current models, reducing the likelihood that success can be achieved by retrieving memorized walkthroughs or web-scale training artifacts. To enable scalable evaluation acros
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית