כתבה
arXiv cs.CL ·
REVA: אגרגציית ראיות מחודשות לשירות RAG יעיל
REVA: Reusable Evidence View Aggregation for Context-Efficient RAG Serving
REVA היא שיטה חדשה לאגרגציית ראיות מחודשות, המשפרת את יעילות שירות RAG. היא מאפשרת לקצר את זמן התגובה ולחסוך בנפח הזיכרון. REVA תומכת במודלים שונים ומשפרת את איכות היצירה.
תקציר מקורי באנגליתarXiv:2609.11209v1 Announce Type: cross Abstract: Retrieval-augmented generation (RAG) improves knowledge-intensive large language model (LLM) applications by conditioning generation on retrieved documents, but longer contexts increase latency, key-value (KV) cache memory, and token cost. Post-retrieval compression can reduce this cost, yet existing compressors often operate independently for each query, rely on auxiliary models or rewriting, and introduce online overhead that can offset the benefit of shorter prompts. We revisit RAG compression from a data-mining perspective by aggregating historical query--document--model interactions into reusable evidence views. We first show that modern compressors have unstable gains over simple truncation and can add substantial inference-time laten
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית