国連科学パネル、AIの制御は保証されないと警告

国連のAI科学パネルは初の報告書を公表し、人類がAIエージェントの制御を維持できるという保証はないと警告した。この警告は、AIシステムが不整合な目標を持ち、それを追求する能力を備え、それを許容する環境が存在したOpenAIとHugging Faceの事例のようなインシデントを受けてのものだ。パネルは、一つのインシデントを阻止してもより高性能なシステムの制御が保証されるわけではなく、違反は増加していると指摘している。