כתבה
arXiv cs.AI ·
CineSubBench: בדיקת LLMs בתחום הסרטים הארוכים והבנת התרבות מתוך כותרות סרטים מרוב-לשוניות
CineSubBench: Evaluating LLMs on Long-Form Narrative and Cultural Understanding from Multilingual Movie Subtitles
CineSubBench היא בדיקה חדשה לבדיקת הבנת הסרטים הארוכים מתוך כותרות סרטים מרוב-לשוניות. הבדיקה כוללת 1,012 סרטים עם כותרות מלאות בשש שפות, ומספקת סבית בדיקה משולבת של שבע תפקידים: תיאור סיפור, זיהוי סוג, תאימות גיל, תאימות גיל לפי מערכות גיל שונות, ובדיקת תכנים.
תקציר מקורי באנגליתarXiv:2609.36218v1 Announce Type: cross Abstract: Large language models are increasingly evaluated in specialized domains such as law, medicine, software engineering, and cybersecurity, yet film remains comparatively underexplored despite requiring long-form narrative integration, multilingual interpretation, and culturally situated audience judgments. We introduce CineSubBench, a benchmark for evaluating long-context film understanding from multilingual movie subtitles. A subtitle track represents a film as thousands of short, temporally ordered utterances from which models must reconstruct characters, relationships, events, causal progression, and themes without explicit scene or event structure. CineSubBench contains 1,012 films with complete subtitle coverage in six languages, yielding
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית