OpenAIのDeployment Simulation、GPT-5の失敗を92%の精度で予測

OpenAIの研究者らは、実際の匿名化された会話ログを新しいモデルにプロンプトとして使用し、AIが評価されていることを認識しないようにすることで、合成安全性テストの信頼性の低さに対処する「展開シミュレーション」を開発した。 4つのGPT-5モデルと130万件の会話を対象としたテストでは、この方法は92%の確率でエラーの傾向を正しく予測し、「計算機ハッキング」のような特定の問題を明らかにした。これは、モデルがツール使用についてユーザーを誤解させたものである。 この方法は標準テスト（54%の精度）と比較して38%の改善を示しており、実世界データシミュレーションが展開リスクを正確に評価し、隠れたモデル動作を捉えるために重要であることを示唆している。