GPT-4.1 에이전트 일관성 격차, AppWorld에서 24.4포인트 기록
gpt-4.1을 사용하는 react 에이전트는 실행 기준 77.4%에서 성공했지만 일관되게 완수한 작업은 53.0%에 불과해, 미션 크리티컬 업무의 신뢰성에 영향을 미칩니다.
appworld에서 gpt-4.1을 사용하는 react 에이전트는 5회 반복에 걸쳐 77.4%의 성공률을 기록했지만, 53.0%의 작업에서만 일관되게 성공하여 24.4포인트의 일관성 격차를 보였습니다. 이 문제는 신뢰성이 핵심인 미션 크리티컬 워크플로에 영향을 미칩니다. 이를 해결하기 위해 연구진은 consistency analyzer와 altk-evolve의 새로운 가이드라인 유형을 개발했으며, 이 방법은 평균 정확도에 영향을 주지 않으면서 일관성 격차를 절반으로 줄입니다. 이 방식은 에이전트의 과거 궤적을 분석하여 의사 결정 일관성을 파악하고 개선하는 것을 포함합니다.