כתבה
arXiv cs.LG ·
אריתמטיקה של משימות פלאטוניות
Platonic Task Arithmetic
חוקרים הציעו וקטורי משימות פלאטוניים, המאפשרים אריתמטיקה של משימות בין מודלים שונים. המחקר מראה כי ניתן להעביר ידע בין מודלים הטרוגניים, תוך שימוש במאפייני משימות אוניברסליים.
תקציר מקורי באנגליתarXiv:2610.00929v1 Announce Type: new Abstract: Models specialized for the same task converge to similar behavior, yet the parameter updates that produce it share no common coordinate system, so weight-space task arithmetic stays confined to a single model and cannot cross architectures without a structural correspondence. Drawing on Plato's allegory of the cave, we hypothesize that these model-specific updates are shadows of one shared, model-agnostic object, which we call the platonic task vector. To make it operational for models that pair an image or audio encoder with a text encoder, we introduce Universal Task Descriptors: matrices whose shape is independent of architecture and embedding dimension, which record a task's functional effect and support addition and negation as matrix op
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית