AI 迁移整个代码库通过率仅 5.4%

AI Agent 公司 Einsia 发布 SWE Refactor Bench，用于测试 Coding Agent 是否能独立完成整个代码库迁移。评测包含 20 项来自 SQLite、zlib、libsodium、GraphHopper 等真实项目的任务，类型包括 C 改 Rust、Maven 改 Gradle、SQLite 移植到 WASI 等；每项任务给 Agent 6～30 小时完成。

评测分为三步：首先检查旧技术栈是否真正被替换，防止 Agent 保留旧代码蒙混过关；随后运行超过 13 万项固定检查；最后再派 6 个独立 Coding Agent，各用 1 小时专门寻找隐藏 bug。

共有 8 个前沿模型、26 种配置参与测试，总计运行 520 次。其中，340 次确实完成迁移，88 次通过了预先准备的全部测试，但其中 60 次在最后一轮被发现隐藏 bug。最终只有 28 次完全过关，通过率为 5.4%；20 个任务中，有 13 个没有任何模型完成。

表现最好的是 Claude Opus 5 的 xhigh 配置，在 20 个任务中完整通过 5 个。

结果显示，当前 Coding Agent 已具备大规模修改代码的能力，但要实现整个系统迁移后仍完全无错，仍有明显差距。