OpenEnvフレームワーク、実世界のAPIでAIエージェントを評価
metaとhugging faceは、シミュレーションではなく実際の環境を使ってAIエージェントをテストするフレームワークopenenvをリリースした。turingが提供した本番環境レベルのカレンダーベンチマークにより、エージェントは自然言語の曖昧さに対処する際に成功率が40%に低下し、マルチステップの推論に苦戦することが明らかになった。
MetaとHugging Faceは、シミュレーションではなく実際のシステムに対してAIエージェントを評価するように設計されたオープンソースフレームワークであるOpenEnvを導入した。このフレームワークは、GymnasiumスタイルのAPIと標準のMCPツール呼び出しインターフェースを利用して、エージェントをコードリポジトリやカレンダーなどの実際のツールに接続する。Turingは、プロジェクトに本番レベルの「Calendar Gym」を貢献し、エージェントをアクセス制御リスト（ACL）やマルチエージェント調整などの現実的な制約にさらして、長期的な推論能力をテストした。この環境での評価では、重大な信頼性ボトルネックが浮き彫りになった。エージェントは、明示的な識別子を使用すると90%の成功率を達成するが、自然言語の説明を使用すると、パフォーマンスはおよそ40%に低下する。障害は、主に、マルチステップのワークフローにおけるツール引数の不正なフォーマットや順序の誤りから生じ、ツール選択の誤りから生じるものではない。