כתבה
arXiv cs.AI ·
GeoOutageBench: מבחן לבדיקת חכמות של LLM לקבלת תשובות גאוגרפיות-זמניות
GeoOutageBench: Benchmarking Ambiguity-aware, Ontology-grounded Geospatiotemporal KGQA for Multimodal Power Outage and Resilience Analysis
מבחן חדש לבדיקת חכמות של LLM לקבלת תשובות גאוגרפיות-זמניות לנושאי תקלות ואחידות. המבחן כולל נתונים ויזואליים, טקסטואליים ומבנים מבוססי רשת (KG) של תקלות, רישומי ספקטרום, תצלומי רמז, תצפיות מזגן, תקלות ואירועי כוח, גופים גאוגרפיים ואונטולוגיות.
תקציר מקורי באנגליתarXiv:2609.36082v1 Announce Type: new Abstract: We introduce GeoOutageBench, a benchmark for assessing LLM-based geospatiotemporal KGQA for multimodal outage and resilience analysis. Unlike existing KGQA benchmarks for Web knowledge, GeoOutageBench considers a spatiotemporal KG that integrates visual, textual, and structured data from outage records, remote sensing, weather observations, storm and power events, geographic entities, and domain ontologies. It provides a competency query taxonomy at different difficulty levels from spatiotemporal containment and proximity, spatiotemporal co-occurrence analysis, multimodal evidence, to hypothetical evaluation. Over multimodal KG and query classes, GeoOutageBench provides user-configurable evaluation of three important, highly coherent yet less
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית