כתבה
arXiv cs.CL ·
UNREAL: Unifying Retrieval and Long-Context with a Single Model
UNREAL הוא פלטפורמה של מודל אחד לאיחוד בחירת ראיות והסתברות ארוכת-הקשר. הפלטפורמה עובדת על ידי קודים ומכילה פונקציות של חיפוש ובחירת ראיות. UNREAL יכולה לבחור ראיות על ידי קודים ולאחר מכן לבצע הסתברות ארוכת-הקשר. הפלטפורמה יכולה לשפר את זיכרון המודל ולהפחית את זמן החיפוש.
תקציר מקורי באנגליתarXiv:2610.08463v1 Announce Type: new Abstract: Long-context inference and Retrieval-Augmented Generation (RAG) handle evidence selection at vastly different scales, from a single long prompt to an entire corpus. We ask whether a single model-internal mechanism can select evidence across this range. We introduce UNifying REtrieval And Long-Context with a Single Model (UNREAL), a model-native evidence selection framework to span corpus retrieval and long-context inference. UNREAL encodes chunks and derives retrieval queries directly from the frozen LLM's internal representations. It adds fewer than 500K trainable parameters and leaves the backbone unchanged. On a 3B-token, 21M-chunk Wikipedia index, all four dense and hybrid UNREAL backbones outperform state-of-the-art retriever-reranker sy
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית