כתבה
arXiv cs.AI ·
מעבר להחלטות סופיות: בונדקסט לפרוסס-צנטרי לבדיקה עדכנית של חוות דעת עם עזרה מ-AI
Beyond Final Decisions: A Process-Centric Benchmark for Transparent AI-Assisted Peer Review
בונדקסט חדש לבדיקה עדכנית של חוות דעת עם עזרה מ-AI, המתמקד בבהירות התהליך של החוות דעת.
תקציר מקורי באנגליתarXiv:2609.05947v1 Announce Type: new Abstract: Peer review is central to quality control in science. However, existing evaluations of AI-assisted peer review mainly focus on the overall quality of generated reviews or the accuracy of final decisions. They therefore provide limited evidence about whether model decisions are supported by sufficient and reliable review evidence. We introduce a process-centric diagnostic benchmark for AI-assisted peer review. It uses (x,$z_s$,$z_c$,$z_r$,y) to represent the paper content, summary, critique, suggestion, and decision. We convert heterogeneous review records from PeerRead, NLPeer ARR-22, and OpenReview-ICLR into process-aligned data. Our benchmark uses direct decision prediction from the paper content (Direct) as its baseline. It compares the de
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית