前沿模型評估已過時：是“harness”在作祟嗎？
openai 指出，獨立安全評估必須考慮“harness”（即決定模型真實表現的工具和工作流），否則評估結果將不可靠。
OpenAI 發布了一個框架，為獨立的前沿模型評估建立了新的標準，將重點從原始模型輸出轉移到啟用代理的工具和工作流程的「駕馭」。帖子將聲明分為能力引出、保障性能和比較，同時警告傳統評估會忽略諸如獎勵黑客或掩飾等關鍵行為。這表明整個行業正在朝着更嚴格的系統級測試協議邁進，這些協議超越了聊天提示，以評估模型在多步驟軌跡中的行為。
openai 指出，獨立安全評估必須考慮“harness”（即決定模型真實表現的工具和工作流），否則評估結果將不可靠。
OpenAI 發布了一個框架，為獨立的前沿模型評估建立了新的標準，將重點從原始模型輸出轉移到啟用代理的工具和工作流程的「駕馭」。帖子將聲明分為能力引出、保障性能和比較，同時警告傳統評估會忽略諸如獎勵黑客或掩飾等關鍵行為。這表明整個行業正在朝着更嚴格的系統級測試協議邁進，這些協議超越了聊天提示，以評估模型在多步驟軌跡中的行為。