כתבה
arXiv cs.CL ·
שופטים מלאכותיים: הבנת אי-עקביות ב-LLM
Judge Circuits Explain Format-Induced Inconsistency in LLM-as-a-Judge
חוקרים גילו שמודלים כמו Llama ו-Qwen מקצים ציונים שונים כאשר הפורמט של הפלט משתנה. המחקר מציע הסבר מכניסטי לתופעה, ומראה שהחלטות השופטים נעשות באופן עצמאי מהפורמט המבוקש.
תקציר מקורי באנגליתarXiv:2605.16023v3 Announce Type: replace Abstract: LLM-as-a-judge has become the dominant paradigm for grading model outputs at scale, yet the same model assigns systematically different scores when its output format changes (e.g., a 1-5 rating vs. a True/False label). Existing diagnoses of these format-induced inconsistencies stop at the input-output level. Using Position-aware Edge Attribution Patching (PEAP), we causally investigate the internal mechanism in five open-weight instruction-tuned models (Gemma-3, Qwen2.5, Llama-3.1) across five judgment tasks. We find that judgments across structured understanding and open-ended preference tasks share a sparse Latent Evaluator sub-graph in the mid-to-late multi-layer perceptrons (MLPs); zero-ablating it collapses judgment while preserving
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית