Claude, 19일 연속 코딩 — 그런데 테스트는 단 하나만 통과

에포크 AI와 메트릭이 미러코드(MirrorCode)를 출시하여 긴 시계열 코딩 능력을 테스트하기 위해 모델에게 원본 코드를 보지 않고 25개의 오픈 소스 프로그램을 재구현하도록 강요했다. 클로드 오푸스 4.7은 56%의 해결률로 선두를 달리고 있으며, 16,000라인의 생물정보학 툴킷을 14시간 만에 재구축할 수 있는 능력을 보여주었다. 이 작업은 인간에게 몇 주가 걸리는 작업이다. 그러나 모든 모델은 가장 큰 작업에서 실패했으며, 한 극단적인 실행은 19일 동안 자율적으로 작동한 후 2,600달러의 비용이 들었다. 결과는 신뢰성의 증가하는 격차를 강조한다. 모델은 작은 유틸리티를 쉽게 처리하지만 복잡한 아키텍처 문제는 여전히 해결되지 않은 채로 남아 있다. 연구진은 훈련 데이터에 의존하지 않고 진행 상황을 측정하기 위해 스캐폴드와 22개의 프로그램을 오픈 소스로 공개했다.