前沿模型评估已过时：是“harness”在作祟吗？
openai 指出，独立安全评估必须考虑“harness”（即决定模型真实表现的工具和工作流），否则评估结果将不可靠。
OpenAI 发布了一个框架，为独立的前沿模型评估建立了新的标准，从原始模型输出的关注点转移到使能代理的工具和工作流的“驾驭”。帖子将声明分为能力引发、保障性能和比较，同时警告说传统的评估方法会忽略诸如奖励黑客或掩饰等关键行为。这表明整个行业正在朝着更严格的系统级测试协议迈进，这些协议超越了聊天提示，以评估模型在多步骤轨迹中如何表现。