כתבה
arXiv cs.AI ·
דטקטינג של בליעות במספרי תכנות של מודלי LLM
Detecting Inconsistencies in Model Specifications with LLM-as-Verifier Reasoning
במאמר זה, המחברים מציגים פתרון לבעיה של דטקטינג של בליעות במספרי תכנות של מודלי LLM. הם מציגים פתרון בשם VeriSpec, שמשתמש ב-LLM כבודק. VeriSpec מפיק כללים מבוססי-טקסט, ומשתמש ב-LangGraph כדי לבדוק את הכללים. המחברים מציגים תוצאות של ניסויים שהראו כי VeriSpec היה יעיל בדטקטינג של בליעות במספרי תכנות.
תקציר מקורי באנגליתarXiv:2610.01847v1 Announce Type: cross Abstract: Model specifications define how large language models (LLMs) should behave, guiding alignment training, inference-time behavior, and evaluation. Yet these specifications may themselves contain defects: two individually reasonable principles may prescribe incompatible behavior when applied to the same situation, leaving no response that satisfies both. Detecting such inconsistencies is challenging. Formalizing natural-language specifications risks losing subtle distinctions, while behavior-based testing cannot reliably distinguish specification defects from differences in model behavior. We introduce VeriSpec, the first approach to directly detect inconsistencies in model specifications by auditing the specification text itself. Our key insi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית