כתבה
arXiv cs.AI ·
למידה תוך-שיתוף לצורך חיסור מודליות חדשות במיומנות מרוב-מודליות
Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification
מאמר זה עוסק בפיתוח פרקטיקה של למידה תוך-שיתוף לצורך חיסור מודליות חדשות במיומנות מרוב-מודליות. המאמר עוסק בפיתוח שני גישות שונות שמשתמשות במידע בשני רמות: רמת המאפיינים ורמת ההחלטה. המאמר כולל ניסויים על שני מיומנויות מרוב-מודליות, ומציג תוצאות של רב-עמידות.
תקציר מקורי באנגליתarXiv:2607.24683v1 Announce Type: cross Abstract: Multi-modal classification leverages complementary information across diverse data sources to enhance predictive performance. However, real-world scenarios subject to operational constraints, such as sensor failures or privacy restrictions, lead to inconsistent modality availability between training and inference times. To handle missing modalities, prior studies have mainly covered bimodal data setups and focused on designing robust fusion processes. Instead, we adopt a multi-modal co-learning framework that prioritizes inter-modal collaboration rather than multi-modal fusion. Specifically, we consider that any subset of modalities may be absent, without assuming predefined missing-modality patterns, an inference scenario we refer to as mi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית