כתבה
arXiv cs.LG ·
למידה-בסיסית: עבודה משותפת ב-MEC להערכת LLM עם מודעות לתאריך רך
Learning-Based Collaborative MEC for LLM Inference with Soft-Deadline Awareness via Transformer-Enhanced PPO
במאמר זה, נחקרת עבודה משותפת של מכוני MEC להערכת LLM תחת תאריכים רכים. המאמר מציע מנגנון תאריך מרובע שלאחריות נמוכה. הפתרון נעזר בפרקטיקה של PPO משופרת, המאפשרת עבודה משותפת יעילה בין מכוני MEC. המאמר מדגים את השיפורים של הפתרון ביחס ל-PPO ולהתקנים-בסיסיים.
תקציר מקורי באנגליתarXiv:2608.02031v2 Announce Type: replace-cross Abstract: This paper investigates collaborative mobile edge computing (MEC) servers for large language model (LLM) inference under soft deadline constraints. In this system, to improve the quality of service, computations are expected to be completed within their deadlines. However, due to dependencies among tasks or subtasks, any missed deadline can lead to catastrophic consequences for the entire request. In this context, this work proposes an extended deadline mechanism with constrained flexibility. The main challenges lie in handling large-scale computations under strict latency constraints while limiting the number of allowable deadline extensions, especially in the presence of task dependencies within each request. To tackle these chall
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית