כתבה
arXiv cs.LG ·
עמידות של LLM-Generated SystemVerilog Assertions
Robustness of LLM-Generated SystemVerilog Assertions to Semantics-Preserving RTL Transformations
חוקרים בדקו את העמידות של מודלים LLM-גנרטיביים לאסרטיונים SystemVerilog תחת התמרות RTL שומרות סמנטיקה. הם השתמשו במודלים Qwen2.5-Coder-7B ו-DeepSeek-Coder-V2-Lite ומצאו ש-9.7%-27.0% מההתנהגויות שהיו נכונות ב-RTL המקורי הפכו ללא נכונות אחרי התמרה.
תקציר מקורי באנגליתarXiv:2609.05658v1 Announce Type: new Abstract: Large language models (LLMs) are increasingly being explored for automating SystemVerilog Assertion (SVA) generation, yet most evaluations report correctness on a single syntactic representation of an input. Such point accuracy does not reveal whether a model's correct output is stable when the same RTL behavior is written differently. This paper presents a controlled metamorphic evaluation of LLM-based SVA generation under semantics-preserving RTL transformations. Starting from the VERT dataset, we construct a quality-filtered conditional-control pool and a stratified 40-program evaluation set containing 295 assignment behaviors. We evaluate two open code models, Qwen2.5-Coder-7B and DeepSeek-Coder-V2-Lite, with an identical evaluation promp
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית