כתבה
arXiv cs.CL ·
מצא לפני עידון: מחקר אבחוני של LLM קטנים לשאילתות אבטחת מידע
Find Before You Fine-Tune: A Diagnostic Study of Small LLMs for Cybersecurity QA
חוקרים פיתחו מסגרת אבחונית למודלים קטנים של LLM לשאילתות אבטחת מידע. המחקר בדק חמישה מודלים פתוחים עם 7 מיליארד פרמטרים. התוצאות מראות כי עידון לא תמיד משפר, ויכול לפגוע בידע קודם.
תקציר מקורי באנגליתarXiv:2607.18725v1 Announce Type: new Abstract: Large Language Models (LLMs) are increasingly fine-tuned for critical-domain Question-Answering (QA), yet choosing which small model to adapt, before paying the cost of adaptation, remains difficult. Fine-tuning can improve domain alignment, but it may also erode prior knowledge, weaken instruction-following, or increase hallucination, especially when labeled data are scarce or rapidly evolving as in cybersecurity. We present FiT (Find before Fine-Tune), a task-oriented diagnostic framework that characterizes small LLMs along three capabilities required for cybersecurity QA: vocabulary recognition, parametric knowledge, and contextualization of retrieved information. Using FiT, we conduct an empirical study of five open-weight 7-billion-param
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית