OpenEnv框架針對真實API評估AI智能體
meta和hugging face發布了openenv，這是一個利用真實環境而非模擬來測試ai智能體的框架。turing貢獻了一個生產級日曆基準測試，結果顯示智能體在處理自然語言歧義時成功率降至40%，且難以應付多步驟推理。
Meta 和 Hugging Face 介紹了 OpenEnv，一個開源框架，旨在評估 AI 代理與實際系統的互動，而非模擬環境。該框架使用類似 Gymnasium 的 API 和標準的 MCP 工具調用接口，將代理連接到實際的工具，如程式碼倉庫和日曆。Turing 為該專案貢獻了一個生產級的「Calendar Gym」，使代理暴露在現實世界的限制下，例如存取控制列表（ACLs）和多代理協調，以測試長期的推理能力。在此環境下的評估結果顯示出顯著的可靠性瓶頸：雖然代理在明確標識的情況下可以達到 90% 的成功率，但在自然語言描述的情況下，性能卻下降到約 40%。失敗主要源於工具參數格式錯誤和多步驟工作流程中的順序錯誤，而不是工具選擇錯誤。