כתבה
arXiv cs.AI ·
מודלי קודיפיקציה חוצים-תשומת-עין חשפים דינמיקה של רוטינג ספציאל-זמני במוח העליון
Cross-attention encoding models reveal dynamic spatiotemporal routing across human higher visual cortex
מודלי רשת עמוקים חושפים דינמיקה של רוטינג ספציאל-זמני במוח העליון. המחקר משתמש במודל V-JEPA-2 ומציג דגימות של תגובות עצביות לקליפים קצרים של וידאו. התוצאות מראות שהרוטינג הספציאל-זמני משפיע על תגובות המוח לווידאו שנשמר.
תקציר מקורי באנגליתarXiv:2609.36366v1 Announce Type: cross Abstract: Understanding how the brain parses actions and events from time-varying natural inputs is a central challenge in neuroscience. Recent work has used deep neural network (DNN) models to build stimulus-computable fMRI encoding models that predict single-voxel responses to complex natural videos. However, the majority of video-computable encoding models predict responses using simple linear mappings from model tokens, overlooking the spatiotemporal structure shared by video representations and neural responses. Recent cross-attention encoding models address this limitation for static images, enabling flexible stimulus-dependent weighting of image content across space. Here, we extend this framework to naturalistic video, using per-parcel cross-
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית