OpenAI GPT-5.6 Sol 击败 Anthropic Opus 5 —— 但仅靠改变规则实现
openai 的 gpt-5.6 sol 使用定製 api 測試環境在 arc-agi-3 上獲得 38.3% 的分數，擊敗了 claude opus 5 的 30.2%。openai 聲稱基準測試衡量的是系統設置而不僅僅是模型，這可能重新定義 ai 性能的標準化方式。
OpenAI 发布了 GPT-5.6 SOL 在 ARC-AGI-3 基准测试中的分数，报告最高分数为 38.3%，击败了 Anthropic 的 Claude Opus 5 记录的 30.2%。这种优越的性能依赖于自定义的 Responses API 配置，使用“保留推理”（retained reasoning）和“压缩”（compaction）来保留步骤之间的上下文。相反，在严格限制外部记忆辅助的官方评估框架下，GPT-5.6 SOL 的分数骤降至 7.8%。OpenAI 坚持认为，基准测试是模型能力和系统集成的综合指标。这凸显了评估原始模型推理能力与评估部署产品性能之间日益增长的紧张关系。