כתבה
arXiv cs.LG ·
UNREAL: חידוש בבחירת ראיות והפעלת טקסטים ארוכים
UNREAL: Unifying Retrieval and Long-Context with a Single Model
אנחנו מציגים את UNREAL, פרקטיקה חדשה לבחירת ראיות והפעלת טקסטים ארוכים. UNREAL משלב חידושים בבחירת ראיות ובהפעלת טקסטים ארוכים, ומציע פתרון חדש לבעיית הבחירת ראיות. UNREAL משתמש ב-LangGraph כבסיס לבחירת ראיות, ומציע פתרון חדש לבעיית הבחירת ראיות.
תקציר מקורי באנגליתarXiv:2610.08463v1 Announce Type: cross Abstract: Long-context inference and Retrieval-Augmented Generation (RAG) handle evidence selection at vastly different scales, from a single long prompt to an entire corpus. We ask whether a single model-internal mechanism can select evidence across this range. We introduce UNifying REtrieval And Long-Context with a Single Model (UNREAL), a model-native evidence selection framework to span corpus retrieval and long-context inference. UNREAL encodes chunks and derives retrieval queries directly from the frozen LLM's internal representations. It adds fewer than 500K trainable parameters and leaves the backbone unchanged. On a 3B-token, 21M-chunk Wikipedia index, all four dense and hybrid UNREAL backbones outperform state-of-the-art retriever-reranker
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית