Anthropicの科学者、この10年内にAIが人類を滅ぼす可能性10%を警告

anthropicの研究者evan hubingerは、整合性の取れていない超知能AIが今後10年以内に人類を破滅させる可能性が10%を超えると述べた。anthropicとopenaiで事前学習を率いていたjacob coxonはanthropicを退職し、両社が人類の存続を賭け事にしていると非難した。coxonは、現在のAIシステムは人間を超える寸前にあり、あらゆるものをハッキングし、一夜にして分野に革命を起こし、現実の権力と資源を獲得できると考えている。anthropicのsamuel marksをはじめとする多くのAI研究者は、現在の手法ではAIを人間の価値観と確実に整合させられないという懸念を共有している。coxonは、モデルの能力をさらに高めることへの一時的な禁止と、世界的なAI軍拡競争を防ぐための国際的協調を提案している。