כתבה
arXiv cs.CL ·
RefactorPlatform: פלטפורמה פתוחה לבדיקה מומרזת של סוכני התאמה
RefactorPlatform: An Open-Source Harness for Controlled Evaluation of Repository-Scale Refactoring Agents
פלטפורמה פתוחה לבדיקה של סוכני התאמה של רפטורי סקאלה-רפוארטורי
תקציר מקורי באנגליתarXiv:2609.04898v1 Announce Type: new Abstract: Repository-scale refactoring requires coding agents to propagate a single change across many interdependent files without altering program behavior, yet to our knowledge no existing harness isolates the design choices that determine agent success on this task. We present RefactorPlatform, an open-source evaluation harness that holds the environment fixed and varies each design axis explicitly: model backbone (via OpenRouter and GitHub Copilot CLI), execution regime (baseline, retrieval-augmented, and multi-agent), and prompt specificity. Each run executes in an isolated workspace with live terminal streaming, per-task logging of tokens, diffs, and transcripts, AST-based verification, and exportable telemetry for audit and reproduction. Demons
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית