GPT-4.1 智能体在 AppWorld 上的一致性差距高达 24.4 点
使用 gpt-4.1 的 react 智能体在 77.4% 的运行中成功，但只有 53.0% 的任务一致成功，影响关键任务的可靠性。
在 appworld 上，使用 gpt-4.1 的 react agent 在五次重复中取得了 77.4% 的成功率，但仅在 53.0% 的任务上保持一致成功，表明存在 24.4 个百分点的一致性差距。这一问题会影响任务关键型工作流，而在这类工作流中可靠性至关重要。为解决这一问题，研究人员开发了 consistency analyzer 以及 altk-evolve 中的一种新指南类型，在不影响平均准确率的情况下将一致性差距减半。该方法通过分析 agent 的过往轨迹来识别并改进决策一致性。