METR 的 $2,500 基准证明 AI 在代码方面仍落后于人类
metr 引入了‘支出地平線’指標，顯示人類改進 nanogpt 的成本約為 $2,500/百分點，而只有頂級模型如 gpt-5.5 和 opus-4.8 提供可行的自動化，這表明智能體在複雜研發中仍然效率低下。
METR 发布了一个框架，通过定义“支出范围”（expenditure horizon）来量化自动化的价值，即 AI 成本等于人类成本用于特定任务的预算点。在应用于 nanogpt speedrun 的分析中，估计人类花费大约 2,500 美元用于获得 1% 的性能提升，基于 16 小时的劳动，按每小时 150 美元计算。在与 10,000 美元预算的正面测试中，GPT-5 和 Opus-4.1 未能提供可验证的改进，而 GPT-5.5 和 Opus-4.8 分别实现了 1 到 1.5 个百分点的提升。结果表明，虽然最先进的模型开始跨越复杂工程的成本效益门槛，但大多数 AI 代理仍然在高风险的研发任务中在经济上不可行。