כתבה
arXiv cs.CL ·
כיצד לדעת כשלא לענות: תעבורת רב-תורים ומסגרות רב-תחומיות של סימנים חסויים
Knowing When Not to Answer: Cross-Domain and Multi-Turn Generalization of Latent Underspecification Signals
במאמר זה נחקרים סימנים חסויים לאי-הבנה של תגובות של LLMs. נבחן כיצד פרובים לאי-הבנה עובדים בתעבורת רב-תורים ובמסגרות רב-תחומיות.
תקציר מקורי באנגליתarXiv:2610.08413v1 Announce Type: new Abstract: Large language models routinely answer questions that cannot be answered from the information given, and in dialogue they answer before enough has been said. Unanswerability is linearly decodable from hidden states, but it is unclear which of its forms share a representation and whether the signal is useful in dialogue. We contribute a turn-labeled multi-turn benchmark (423 conversations, 1,661 labeled turn-states) and an evaluation harness with a simulated user who answers clarifying questions, and use them with six datasets and six open-weight LLMs to test how far probes for unanswerability carry. Probes transfer robustly between datasets that share a ground of unanswerability: missing information in math (AUROC 0.77-0.97) and in a passage
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית