כתבה
arXiv cs.LG ·
KernelGenBench: תקן רב-מקור ורב-מעבד לדורסת קרנל על ידי LLM
KernelGenBench: A Multi-Source and Multi-Chip Benchmark for LLM-based Kernel Generation
תקן רב-מקור ורב-מעבד לדורסת קרנל על ידי LLM. התקן, שנקרא KernelGenBench, מספק תמיכה רחבה למעבדי שש סוגים, ומדווח על תוצאות של 15 מיליארד תווים. התוצאות מציגות כי גם LLMs וגם ספריות כגון PyTorch ATen ו-Triton נתקלים בקושי בדורסת קרנל.
תקציר מקורי באנגליתarXiv:2607.27231v2 Announce Type: replace-cross Abstract: Modern AI systems depend on specialized accelerator kernels, whose development is complicated by increasingly diverse operators and hardware. LLMs and agentic systems promise to automate this work, but existing evaluations do not show whether their performance transfers across operator sources and hardware platforms, or what such transfer costs. We present KernelGenBench, the first unified multi-source and multi-chip infrastructure for evaluating LLM- and agent-generated Triton kernels. With a common Triton target spanning six hardware platforms, it provides the broadest cross-vendor hardware coverage among existing kernel-generation benchmarks. We report two controlled analytical views: KernelGenBench-MS (Multi-Source) covers 210 o
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית