כתבה
arXiv cs.AI ·
PACE: ניתוב שירות קסקדי ובקרת מילוי
PACE: Perceived-Latency-Aware Cascading Service Routing and Filler Control for QoE-Efficient Retrieval-Augmented Dialogue Serving
PACE הוא כלי לניתוב שירות קסקדי ובקרת מילוי שמקטין את זמן התגובה הראשונה. הוא משלב שלושה מנגנונים: ניתוב קסקדי, בקרת מסלול ומילוי, וקבלת קשיחות. PACE עובד עם RAG ומשיג זמני תגובה מהירים יותר.
תקציר מקורי באנגליתarXiv:2609.10372v2 Announce Type: cross Abstract: We present the PACE, a framework for retrieval-augmented dialogue serving that formalizes Perceived Time-to-First-Response (PTFR) as a QoE objective and minimizes it under quality/cost constraints. Unlike prior work on cascaded routing, semantic caching, or adaptive retrieval, PACE jointly controls which answer source composes the response and what fills the waiting window. Deployed on a humanoid-robot sales service, it combines three mechanisms: a load-adaptive cascading router, a joint path-filler controller, and volatility-aware cache admission. On 75k CarQA requests, the cascade halves pure-LLM PTFR at P95 (0.29 vs 0.53s at c16). The adaptive controller reaches 0.41s P95, outperforming RAG by 2.4 times at high load with equal quality. T
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית