יום שבת, 1 באוגוסט 2026 LIVE
AI־INFO

כתבה Simon Willison ·

smevals - כלי אימות קטן למודלים ופרומפטים

smevals - a small eval suite for evaluating models, prompts, and harnesses
smevals הוא כלי חדש לריצה ואימות של מודלים ופרומפטים. הוא מאפשר לרוצי מבחנים ולדרג את התוצאות. הכלי תומך במודלים כמו gpt-5.5 ו-claude-opus-4.6.
תקציר מקורי באנגלית<p><strong><a href="https://primeradiant.com/blog/2026/smevals.html">smevals - a small eval suite for evaluating models, prompts, and harnesses</a></strong></p> I've been working with Jesse Vincent's <a href="https://primeradiant.com">Prime Radiant</a> applied AI research lab building out this evals framework to help answer questions about the capabilities of different models.</p> <p>The result is <strong><a href="https://github.com/prime-radiant-inc/smevals">smevals</a></strong>, a new tool for running small eval suites across different model configurations and grading the results.</p> <p>This blog entry describes the tool in detail. Here's the 10 second version:</p> <ol> <li>Tell your coding agent to <code>run uvx smevals docs</code> to learn the tool (this outputs <a href="https://githu
קרא במקור המקורי