כתבה
arXiv cs.LG ·
מעבר על תופעת ההפרעה: התגובה התלויה בכיוון בנציגויות גאומטריות מרוב-מודליות
Beyond Perturbation Magnitude: Direction-Dependent Responses in Multimodal Geometric Representations
במאמר זה נחקרים נציגויות גאומטריות מרוב-מודליות והתגובה שלהן להפרעה. המחקר מציג תוצאות של חיפוש ניסויי בסטיות של וידאו וקול.
תקציר מקורי באנגליתarXiv:2610.08533v1 Announce Type: cross Abstract: Geometric alignment scores based on Gram determinants provide a compact way to model higher-order consistency among modalities, yet how such scores respond to modality degradation is poorly understood. This paper asks whether the response of a multimodal geometric score is determined primarily by the magnitude of the perturbation-induced displacement. Using frozen cohorts from MSR-VTT (N=878) and DiDeMo (N=980), we apply controlled video blur and audio noise and analyze the response in the relational geometry on which the score is defined. Displacement magnitude explains at most 15% of the out-of-sample variance in the absolute response, and magnitude-matched pairs respond systematically differently, so scalar magnitude does not organize th
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית