כתבה
arXiv cs.LG ·
בדיקת ביצועים של מערכות אחסון לעומסי עבודה של ML
Benchmarking Storage Systems for Machine Learning Workloads Using NIO Bench
NIO Bench הוא כלי לבדיקת ביצועים של מערכות אחסון עבור עומסי עבודה של ML. הוא בודק שישה מודלים שונים, כולל Language Transformers ו-Vision Transformers. התוצאות מראות כי גישה לאחסון מרוכזת בהכנת נתונים, טעינת מודלים ונקודות ביקורת. המחקר מצביע על חשיבות האופטימיזציה של מערכות אחסון עבור ML.
תקציר מקורי באנגליתarXiv:2609.05418v1 Announce Type: cross Abstract: Machine learning training workloads place unique demands on storage systems, yet most existing benchmarks focus on computational throughput rather than file system I/O behavior. We present a benchmarking framework, Neural I/O Benchmark (NIO Bench), that characterizes storage access patterns across six diverse ML model architectures: Language Transformers, Vision Transformers, Diffusion Models, Spiking Neural Networks, Artificial Neural Networks, and Reinforcement Learning. Our framework employs a two-layer tracing approach combining Python-level I/O hooks for semantic phase context with Linux strace for complete syscall coverage including DataLoader worker subprocesses. We evaluate all six models on a Nautilus Kubernetes cluster with Ceph d
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית