כתבה
arXiv cs.LG ·
שני וקטורים מחליפים דימוס: התאמה מבנית של משימות דרך אמבדינגס
Two Vectors Replace In-Context Demos: Structured Task Adaptation via Embeddings
במאמר זה, המחברים מציגים שיטה חדשה להתאמה של משימות, המשתמשת בשני וקטורים ספציפיים למשימה. השיטה, הנקראת STAVE, מחליפה את הדימוס המקוריים, ומאפשרת התאמה של משימות באופן מבונה. המחברים מציגים תוצאות של ניסויים שהוכיחו את יעילותה של STAVE.
תקציר מקורי באנגליתarXiv:2610.07572v1 Announce Type: cross Abstract: In-context learning (ICL) adapts frozen large multimodal models (LMMs) to new tasks from a few demonstrations (demos), but re-encodes them at every query, where each demo image adds up to hundreds of visual tokens. Demo-free methods remove this cost with a compact task state. However, they add it at locations searched per task or at every decoder layer, where task parameters grow with depth. Moreover, inserted tokens or keys cannot change how the original prompt divides its attention within a layer. To address these issues, we propose Structured Task Adaptation via Embeddings (STAVE), which replaces demos with two task-specific vectors added to existing input embeddings. Specifically, a readout vector updates the answer-producing tokens and
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית