AI 코딩 에이전트, 시간 감각에 어려움
claude code와 codex 같은 AI 코딩 어시스턴트는 작업 소요 시간을 예측하거나 경과 시간을 추적하지 못해 장기 실행 작업에서 문제를 일으킨다.
두 명의 독립적인 AI 연구자가 수행한 새로운 연구에서 인기 있는 코딩 어시스턴트인 Anthropic의 Claude Code와 OpenAI의 Codex는 시간에 대한 개념이 없는 것으로 나타났다. 에이전트는 Programbench의 218개 작업과 연구자의 자체 벤치마크에서 테스트되었으며 지속적으로 작업 기간을 과대평가했다. Claude Code는 평균적으로 3배, Codex는 6-10배 정도 오차가 있었다. 이 연구에서는 또한 에이전트의 성능이 소프트웨어 설정에 따라 크게 달라지는 것으로 나타났다. 연구자들은 에이전트의 자체 평가 및 시간 추적 능력이 긴 작업에서 안정적으로 작동하는 데 중요하다고 강조한다.