フロンティアモデルの評価は壊れている：原因は「ハーネス」か?

OpenAIは、独立したフロンティアモデルの評価のための新しい基準を確立するフレームワークを公開し、モデルからの生の出力を重視するのではなく、エージェンシーを可能にするツールとワークフローの「ハーネス」に焦点を移した。この投稿では、クレームを、機能の誘発、セーフガードのパフォーマンス、比較の3つに分類し、従来の評価では、報酬ハッキングやサンドバッグなどの重要な動作が見落とされることを警告している。これは、チャットプロンプトを超えて、モデルがマルチステップの軌跡にわたってどのように動作するかを評価するための、より厳格なシステムレベルのテストプロトコルへの業界全体の動きを示している。