GPT-4.1 智能體在 AppWorld 上的一致性差距高達 24.4 點
使用 gpt-4.1 的 react 智能體在 77.4% 的運行中成功，但只有 53.0% 的任務一致成功，影響關鍵任務的可靠性。
在 appworld 上，使用 gpt-4.1 的 react 代理在五次重複測試中達到了 77.4% 的成功率，但僅在 53.0% 的任務上持續成功，顯示出 24.4 個百分點的一致性差距。這個問題會影響任務關鍵型工作流程，因為在這些流程中可靠性至關重要。為了解決這個問題，研究人員開發了 consistency analyzer 以及 altk-evolve 中的一種新準則類型，可在不影響平均準確度的情況下將一致性差距減半。該方法涉及分析代理的過往軌跡，以識別並改善決策的一致性。