GPT-4.1エージェントの一貫性ギャップがAppWorldで24.4ポイントに達する
gpt-4.1を使用するreactエージェントは実行の77.4%で成功したものの、一貫して成功したタスクは53.0%のみで、ミッションクリティカルな業務の信頼性に影響を与えています。
appworldにおいて、gpt-4.1を使用したreactエージェントは、5回の繰り返しで77.4%の成功率を達成しましたが、一貫して成功したのはタスクの53.0%のみであり、24.4ポイントの一貫性ギャップがあることが示されました。この問題は、信頼性が極めて重要となるミッションクリティカルなワークフローに影響を及ぼします。この課題に対処するため、研究者らはconsistency analyzerと、altk-evolveに新しいガイドラインタイプを開発しました。これにより、平均精度に影響を与えることなく一貫性ギャップを半減させることができます。この手法は、エージェントの過去の軌跡を分析して意思決定の一貫性を特定し、改善することを目的としています。