כתבה
arXiv cs.LG ·
LLM רב-מודאליים יכולים ללמוד לקרוא אותות מוח
Multimodal LLMs Can Learn to Read Brain Signals: A Vision--Language Model for Unified Multi-Task EEG Decoding
חוקרים פיתחו שיטה ללמד מודלים לשפה רב-מודאליים לקרוא אותות מוח. השיטה משתמשת בייצוגים ויזואליים מובנים של אותות EEG, ומאפשרת למודלים ללמוד מידע מרובה מקורות. הניסויים הראו תוצאות טובות במשימות שונות, כולל זיהוי רגשות וגילוי EEG לא תקין.
תקציר מקורי באנגליתarXiv:2610.09355v1 Announce Type: new Abstract: Learning EEG representations that generalize across cognitive tasks, subjects, and recording conditions remains a key challenge in electroencephalography (EEG) decoding. Recent advances in foundation models have improved EEG decoding performance, yet a fundamental open question remains: how to effectively interface neural signals with these models to enable multi-task learning across datasets. To investigate this question, we introduce BraVista, a visual-language framework that encodes multichannel EEG signals as structured images and enables multi-task learning through instruction-conditioned vision-language models (VLMs). Our approach relies on continued post-training of a general-domain VLM, leveraging its visual and linguistic priors to a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית