Claude Fable 5 虽领跑新复杂工作基准，但任务解决率仅3%
一项新的基准测试暴露了ai在处理现实多周工作时的挣扎，claude fable 5虽然领先但完全解决率仅为3%，这表明ai尚未准备好用于自主知识工作。
Artificial Analysis 推出了 AA-briefcase，这是一个基准测试，旨在使用数千个碎片化文件模拟现实的多周知识工作。 Claude Fable 5 在测试的模型中获得了最高的通过率，但它只满足了 3% 的任务的所有标准，而在 34% 的任务中，没有任何模型的得分超过 50%。 结果表明，虽然顶级模型可以处理明显的要求，但它们在跨多个来源合成细节方面失败，这是自主代理的关键故障模式。 此外，成本差异很大，从每任务 0.04 美元到超过 31 美元不等，这使得当前 AI 部署的商业案例变得复杂。