כתבה
arXiv cs.LG ·
REVA: ראיות משתנות לצורך ראג יעיל
REVA: Reusable Evidence View Aggregation for Context-Efficient RAG Serving
REVA מציגה פרקטיקה חדשה לאיסוף ראיות לשיפור ראג. הפרקטיקה עובדת עם ג'מיני ו-GPT-5.
תקציר מקורי באנגליתarXiv:2609.11209v1 Announce Type: new Abstract: Retrieval-augmented generation (RAG) improves knowledge-intensive large language model (LLM) applications by conditioning generation on retrieved documents, but longer contexts increase latency, key-value (KV) cache memory, and token cost. Post-retrieval compression can reduce this cost, yet existing compressors often operate independently for each query, rely on auxiliary models or rewriting, and introduce online overhead that can offset the benefit of shorter prompts. We revisit RAG compression from a data-mining perspective by aggregating historical query--document--model interactions into reusable evidence views. We first show that modern compressors have unstable gains over simple truncation and can add substantial inference-time latency
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית