OpenEnv框架针对真实API评估AI智能体
meta和hugging face发布了openenv，这是一个利用真实环境而非模拟来测试ai智能体的框架。turing贡献了一个生产级日历基准测试，结果显示智能体在处理自然语言歧义时成功率降至40%，且难以应对多步骤推理。
Meta 和 Hugging Face 推出了 OpenEnv，这是一个开源框架，旨在针对真实系统而非模拟环境评估 AI 代理。该框架使用类似 Gymnasium 的 API 和标准 MCP 工具调用接口，将代理连接到实际工具，如代码仓库和日历。Turing 为该项目贡献了一个生产级别的“日历健身房”（Calendar Gym），使代理暴露在现实世界的约束中，例如访问控制列表（ACL）和多代理协调，以测试长视野推理能力。在此环境中的评估突出了显著的可靠性瓶颈：虽然代理在明确标识符的情况下达到 90% 的成功率，但在自然语言描述的情况下，性能下降到大约 40%。故障主要源于多步骤工作流中工具参数格式错误和顺序错误，而不是工具选择错误。