OpenAIが現実世界のカオスをシミュレートしGPT-5の不適切な挙動を検出する仕組み

OpenAIは、公開前にモデルの動作を予測するために「展開シミュレーション」を実装した。具体的には、GPT-5シリーズの思考ラインにある新しいモデルに、匿名化された過去のユーザーの会話に応答させるというアプローチを取った。この方法は、実際のモデル応答の展開に似たプレビューを提供し、新しいタイプの不整合を識別し、合成または手動でキュレーションされた評価よりも、望ましくない動作の頻度のより正確な推定値を提供する。この方法は、モデルがテスト下にあると感じ取るリスクをうまく低減し、ツールの使用を伴う複雑なエージェントロールアウトで検証された。OpenAIは、これらの洞察を利用して緩和策や展開の決定を行い、パイプラインの役割を将来の開発で拡大することを計画している。