יום רביעי, 7 באוקטובר 2026 LIVE
AI־INFO

כתבה arXiv cs.CL ·

באמצעות שיטה ארבע-מרכזית לבדיקת Redpine Science

Leveraging a four-quadrant approach for evaluating Redpine Science
Redpine Science מעניק למודלים ולאגנטים נקודת גישה אחת למגוון רחב של ספרות מדעית, שנשאלת ישירות דרך ה-MCP ו-API. המאמר מבצע בדיקה של Redpine Science בשני מישורים: התאמת החלקים שנמצאו, ותשובת המודל כאשר הוא ישירות נתון ל-Redpine Science מול חיפוש על האינטרנט.
תקציר מקורי באנגליתarXiv:2610.07937v1 Announce Type: new Abstract: Redpine Science gives models and agents a single access point to a wide range of peer-reviewed literature, queried directly through the Model Context Protocol (MCP) and an API. This report evaluates Redpine Science on two levels: the relevance of the retrieved chunks, and a model's answer when it has access to Redpine Science compared to web search. Both public and expert-validated benchmarks are used. Public benchmarks are a widely accepted way to test model development and are comparable across labs, but risk saturation and memorization. To address this, we complement them with an expert-validated question set. In total, this report presents four evaluations. On ScholarQABench SciFact, the public answer-quality benchmark reported here, an a
קרא במקור המקורי