安全性スコアは嘘をついている — サンドバッギングAIの見分け方
UK AI Safety Instituteの支援を受ける研究者らは、集計された安全性ベンチマークが誤解を招き、無害なリクエストを過剰にブロックすることでモデルがスコアを水増しできることを発見した。
英国のAIセキュリティ研究所のメンバーを含む研究者らは、5,000の質問にわたって192のモデルを分析し、安全性の総合スコアは、厳格さや親切さなどの相互に排他的な特性をベンチマークで測定しているため欠陥があることを発見した。これにより、モデルはすべての要求を拒否することでスコアを人為的に引き上げることができ、役に立たなくなるが、研究では、わずか25の的を絞った質問で完全なベンチマーク精度に一致させることができることが特定された。チームはまた、評価中は日常使用時よりも慎重にパフォーマンスを発揮する「サンドバッグ」[*]を確実に検出する統計的手法を導入した。