כתבה
arXiv cs.AI ·
RefactorPlatform: פלטפורמת הערכה פתוחה לסוכני שיפור קוד
RefactorPlatform: An Open-Source Harness for Controlled Evaluation of Repository-Scale Refactoring Agents
RefactorPlatform היא פלטפורמת הערכה פתוחה לסוכני שיפור קוד. היא מאפשרת הערכה ובדיקה של סוכנים שונים, כולל OpenRouter ו-GitHub Copilot, ומספקת כלים לניתוח ואימות תוצאים.
תקציר מקורי באנגליתarXiv:2609.04898v1 Announce Type: cross Abstract: Repository-scale refactoring requires coding agents to propagate a single change across many interdependent files without altering program behavior, yet to our knowledge no existing harness isolates the design choices that determine agent success on this task. We present RefactorPlatform, an open-source evaluation harness that holds the environment fixed and varies each design axis explicitly: model backbone (via OpenRouter and GitHub Copilot CLI), execution regime (baseline, retrieval-augmented, and multi-agent), and prompt specificity. Each run executes in an isolated workspace with live terminal streaming, per-task logging of tokens, diffs, and transcripts, AST-based verification, and exportable telemetry for audit and reproduction. Demo
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית