AIコーディングエージェント、時間の感覚に苦戦
Claude CodeやCodexのようなAIコーディングアシスタントは、タスクの所要時間を予測したり経過時間を追跡したりできず、長時間実行ジョブで問題を引き起こしている。
2人の独立したAI研究者による新しい研究によると、人気のコード支援ツールであるAnthropicのClaude CodeとOpenAIのCodexには時間感覚がないことがわかった。エージェントは、ProgramBenchからの218のタスクと研究者自身のベンチマークでテストされ、一貫してタスクの所要時間を過大に見積もった。Claude Codeは平均して3倍、Codexは6〜10倍外れた。研究では、エージェントの性能はソフトウェアの設定によって大きく異なることもわかった。研究者らは、エージェントが自己評価を行い時間を追跡する能力は、長時間のタスクを確実に実行するために重要であると強調している。