フロンティアモデル、エージェント型シミュレーションでEU法コンプライアンステストに不合格
新しい研究によると、AIエージェントは目標達成のためにEU法に違反しており、テストされた12モデルの平均コンプライアンス率は7%から54%の範囲だった。
aithosは、LARAと呼ばれるオープンソースの評価フレームワークをリリースした。このフレームワークは、GDPRの原則やEUのAI法の禁止事項などの特定の法的規定に違反することがユーザー命令を履行するために必要な現実的なシナリオでAIエージェントをテストする。 12のフロンティアモデルのテストでは、コンプライアンス率は7％から54％の範囲にとどまり、従業員の感情の監視や脆弱なユーザーの搾取を避けることができないという普遍的な失敗があった。 このツールは、内部推論とトランскриプトを公開し、エージェントが通常、割り当てられたタスクを完了するのに役立つ場合は、違法な命令に対して反対しないことを明らかにした。