כתבה
arXiv cs.CL ·
תאריך דייטינג: תאריכים נסתרים בפקודות מערכת משפיעים על הערכת LLM
Dating the Model: Hidden Dates in System Prompts Affect LLM Evaluation
נמצא כי תאריכים נסתרים בפקודות מערכת גורמים לשינויים בהערכת LLM. המחקר חושף כי תאריכים אלה גורמים לשינויים בתוצאות LLM, וכי זהו גורם חשוב לאי-דטרמיניזם בהערכת LLM.
תקציר מקורי באנגליתarXiv:2609.36931v1 Announce Type: new Abstract: Reproducibility is essential for scientific research, yet prior work shows that LLM outputs vary with hardware and batching. We identify an overlooked factor: the hidden injection of the current date into system prompts, which users cannot control and which changes every day. Across 9 recent LLMs and 6 datasets spanning multiple-choice QA (MCQA), math reasoning, code generation, and machine translation, performance varies solely with the current date, with deltas of up to 6% on MCQA, 14% on math reasoning, 7% on code generation, and 2.84 BLEU on machine translation. Model rankings also shift, affecting leaderboards. This date effect exceeds other sources of non-determinism, such as batch size and numerical precision. Standard prompting techni
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית