Claudeが19日間ノンストップでコーディング——しかし合格したのは1つのテストだけ

Epoch AIとMetrは、モデルに元のコードを見せずに25のオープンソースプログラムを再実装させることで、長期的なコーディング能力をテストするMirrorcodeを立ち上げました。Claude Opus 4.7は56%の解決率でリードし、16,000行のバイオインフォマティクスツールを14時間で再構築する能力を示しました。これは人間が数週間かかるタスクです。しかし、すべてのモデルは最大のタスクで失敗し、1つの極端な実行では19日間自律的に動作した後、$2,600のコストがかかりました。結果は、信頼性のギャップが拡大していることを浮き彫りにしています。モデルは小さなユーティリティを簡単に処理できますが、複雑なアーキテクチャの課題は未解決のままです。研究者は、記憶されたトレーニングデータに頼らずに進歩を測定するために、スキャフォールドと22のプログラムをオープンソース化しました。