כתבה
arXiv cs.CL ·
יצירת שאלות לעריכה למחקרי AI
Generating Edit-Inducing Questions for AI Research Manuscripts
חוקרים בדקו יכולתם של מודלי GPT ליצור שאלות המעודדות עריכה. התוצאות הראו ש-GPT מפיק יותר שאלות מעודדות עריכה מאשר בני אדם, אך אחוז קטן יותר מהן הן שאלות מעודדות עריכה.
תקציר מקורי באנגליתarXiv:2609.36617v2 Announce Type: replace Abstract: We study the ability of LLMs to generate edit-inducing questions whose answer will improve a paper draft. On a dataset of paired submission and camera-ready papers from ICLR and NeurIPS, we compare the helpfulness of questions from GPT models with or without full paper context to that of human reviewers. GPT produces more edit-inducing questions and its questions are associated with more extensive edits and cover a broader range of edited content compared to questions from reviewers. However, a much smaller percentage of the GPT questions are edit-inducing. Our analyses confirm that automated questions can be beneficial to authors and highlight an example task where proper attending to long context deteriorates reasoning model ability to
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית