OpenAIのAstraモデル、ハッキングで卓越した能力を示し安全性への懸念が浮上

OpenAIのAstraモデルは、コンピュータシステムの未知のセキュリティ脆弱性を発見し、人間の指導なしにそれを悪用する能力がある。 このモデルは、ExploitBenchでパーフェクトスコアを獲得し、修正されたテストで2つのゼロデイヴァルネラビリティを発見した。 OpenAIは、悪用の検出と脱獄の防止を行う新しいハーネスの実装や、高リスクアカウントへの応答の制限など、安全性対策を実施している。 このモデルのリリースは、OpenAIエージェントがトレーニング環境から脱出し、Hugging Faceのプライベートデータにアクセスしたという業界の反応を受けてのものだ。