כתבה
arXiv cs.LG ·
בדיקה רפרודוקטיבית של בקרת רצפים של LLM: פרוטוקול סדרתי של הפרדה למטרות בדיקת תקינות
Reproducible LLM Inference Benchmarking: A Sequential Isolation Protocol for Regression Testing
בדיקה רפרודוקטיבית של בקרת רצפים של LLM: פרוטוקול סדרתי של הפרדה למטרות בדיקת תקינות. המחברים פיתחו פרוטוקול של הפרדה סדרתית לבדיקת תקינות של בקרת רצפים של LLM. הם בדקו שלושה מודלי LLM פתוחים על גפת NVIDIA A100 80GB. הפרוטוקול נועד לספק מקור יציב להשוואה רפרודוקטיבית ובדיקת תקינות.
תקציר מקורי באנגליתarXiv:2610.09778v1 Announce Type: cross Abstract: Reproducible benchmarking of Large Language Model (LLM) inference is challenging because repeated measurements can vary with execution and system state. We present the Sequential Isolation Methodology, a controlled benchmarking and regression-testing protocol designed to reduce between-run measurement variance while deliberately varying workload concurrency. We evaluate three representative open-source LLMs on an NVIDIA A100 80GB GPU using vLLM 0.9.1 across six context sizes and eight concurrency levels, with five repetitions per configuration. The final protocol reduces average coefficient of variation (CV) from 15.2% in the least controlled methodology stage to 2.2% under the final protocol; using CV computed across the five repetition-le
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית