כתבה
arXiv cs.AI ·
למידה מכישלונות: שיפור פרומפטים באמצעות ניתוח כישלונות
Learning from Failures: A Failure-Driven Prompt Refinement for LLM-Based Vulnerability Analysis
חוקרים הציגו שיטה חדשה לשיפור פרומפטים לניתוח פגיעויות תוכנה באמצעות מודלי LLM. השיטה, הנקראת Failure-Driven Prompt Refinement, מנתחת כישלונות חוזרים של המודל ומשתמשת בהם לשיפור הפרומפטים. החוקרים בדקו את השיטה על מודל ה-LLaMA וגילו שהיא משפרת את אמינות הניתוח.
תקציר מקורי באנגליתarXiv:2610.08405v1 Announce Type: cross Abstract: Large Language Models have emerged as promising tools for software vulnerability analysis, but their effectiveness depends heavily on prompt design. Existing research primarily compares prompting strategies using aggregate performance metrics, providing limited insight into why models fail or how prompts can be improved systematically. We propose Failure-Driven Prompt Refinement (FDPR), a methodology that analyzes recurring model failures to guide evidence-based prompt refinement. Using the Damn Vulnerable Java Application (DVJA), we identify recurring failure modes, including false positives, false negatives, unsupported reasoning, and CWE misclassification, and translate them into targeted prompt refinements. We then evaluate the resultin
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית