Claude 连续编码 19 天 — 却只通过了一项测试

Epoch AI 和 Metr 推出了 MirrorCode，通过强制模型重新实现 25 个开源程序而无需查看原始代码来测试其长期编码能力。Claude Opus 4.7 以 56% 的解决率领先，展示了在 14 小时内重建一个 16,000 行的生物信息学工具包的能力——这是一个人类需要数周才能完成的任务。然而，所有模型在最大的任务上都失败了，其中一个极端运行在自主运行 19 天后花费了 2,600 美元。结果凸显了可靠性方面日益增长的差距：虽然模型可以轻松处理小型实用程序，但复杂的架构挑战仍然未得到解决。研究人员已开源了支架（scaffold）和 22 个程序，以衡量在不依赖记忆训练数据的情况下取得的进展。