Claude Fable 5 雖領跑新複雜工作基準，但任務解決率僅3%
一項新的基準測試暴露了ai在處理現實多周工作時的掙扎，claude fable 5雖然領先但完全解決率僅為3%，這表明ai尚未準備好用於自主知識工作。
人工分析引入了 AA-briefcase，一個旨在使用數千個碎片化檔案模擬現實的多週知識工作的基準。 Claude Fable 5 在測試的模型中獲得了最高的評價通過率，但它只滿足了 3% 的任務的所有標準，而在 34% 的任務中，沒有任何模型的得分超過 50%。 結果強調，雖然頂級模型可以處理明顯的需求，但它們在整合多個來源的詳細信息方面卻失敗了，這是自主代理的關鍵失敗模式。 此外，成本差異很大，從每任務 0.04 美元到超過 31 美元不等，使當前 AI 部署的商業案例變得複雜。