Claude 連續編碼 19 天 — 卻只通過了一項測試

Epoch AI 與 Metr 發布了 MirrorCode，以測試模型的長時段編碼能力，方法是強制模型在不看到原始程式碼的情況下重新實現 25 個開源程式。Claude Opus 4.7 以 56% 的解決率領先，展示了在 14 小時內重建一個 16,000 行的生物資訊學工具包的能力——這是人類需要數周才能完成的任務。然而，所有模型在最大的任務上都失敗了，其中一個極端運行在自主運行 19 天後花費了 2,600 美元。結果凸顯了可靠性方面日益增長的差距：雖然模型可以輕易處理小型實用程式，但複雜的架構挑戰仍未得到解決。研究人員已經開放了腳手架和 22 個程式的原始碼，以衡量在不依賴記憶化訓練資料的情況下取得的進展。