כתבה
arXiv cs.AI ·
RAGMark: תשתית רב-מודולרית לבדיקת רכיבי ייצור-מחפש
RAGMark: A Comprehensive Framework for Benchmarking Retrieval-Augmented Generation Systems
RAGMark היא תשתית בדיקה רב-מודולרית שמטרתה לבדוק רכיבי ייצור-מחפש. התשתית כוללת רכיבי ייצור, רכיבי מחפש, וכלים לבדיקה. RAGMark נועדה לבדוק רכיבי ייצור-מחפש בסביבות של GPU ולבדוק רכיבי ייצור-מחפש בסביבות של GPU.
תקציר מקורי באנגליתarXiv:2609.05760v1 Announce Type: cross Abstract: We present RAGMark, a modular benchmarking framework for advanced Retrieval-Augmented Generation (RAG) systems targeting small-scale multi-GPU environments. RAGMark evaluates diverse RAG components, including retrievers, vector databases, prompt-processing methods, and generator models, while collecting detailed per-stage metrics such as latency, GPU utilization, memory consumption, power usage, time to first token (TTFT), throughput, and answer quality. The framework is highly extensible, separating RAG stages, timing, and resource monitoring into modular components, and is designed to efficiently sweep large configuration spaces while minimizing repeated model and database initialization overhead. Using RAGMark, we characterize five RAG w
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית