כתבה
arXiv cs.CL ·
AVMeme Exam: בדיקה מרובדת-תרבותית למודלי LLM
AVMeme Exam: A Multimodal Multilingual Multicultural Benchmark for LLMs' Contextual and Cultural Knowledge and Thinking
בדיקה חדשה בודקת את יכולת המודלים האינטליגנטיים להבין קליפים אודיו-ויזואליים של אינטרנט
תקציר מקורי באנגליתarXiv:2601.17645v2 Announce Type: replace-cross Abstract: Internet audio-visual clips convey meaning through time-varying sound and motion, which extend beyond what text alone can represent. To examine whether AI models can understand such signals in human cultural contexts, we introduce AVMeme Exam, a human-curated benchmark of over one thousand iconic Internet sounds and videos spanning speech, songs, music, and sound effects. Each meme is paired with a unique Q&A assessing levels of understanding from surface content to context and emotion to usage and world knowledge, along with metadata such as original year, transcript, summary, and sensitivity. We systematically evaluate state-of-the-art multimodal large language models (MLLMs) alongside human participants using this benchmark. Our
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית