יום שישי, 31 ביולי 2026 LIVE
AI־INFO

כתבה arXiv cs.CL ·

איחזור משימה-מותנה ללמידה בהקשר על גבי מכשיר

Gradient-free Task-Conditioned Retrieval for On-Device In-Context Learning
CoRA הוא כלי לאיחזור משימה-מותנה ללמידה בהקשר על גבי מכשיר. הוא משתמש במרחב תנאי להפקת בסיס איחזור קומפקטי. ניסויים עם Llama-3.2-1B ו-Qwen3.5-2B הראו יעילות באיחזור משימה-מותנה.
תקציר מקורי באנגליתarXiv:2607.27766v1 Announce Type: new Abstract: On-device in-context learning (ICL) relies on pre-inference retrieval to select demonstrations for useful context before downstream model inference. This retrieval must exploit task-specific information while operating over local memories under limited computation, memory, and data-exposure budgets. We propose Conditional Retrieval Alignment (CoRA), a gradient-free framework that converts a frozen encoder into a task-conditioned retriever using paired candidate inputs and outputs. CoRA selects complementary encoder layers, constructs an output-derived conditioning space from candidate memory, and aligns candidate input representations to this space through closed-form ridge regression. Low-rank factorization then produces a compact retrieval
קרא במקור המקורי