Anthropic幹部、AIが10年以内に人類を全滅させる可能性があると警告

著名なai研究企業であるanthropicの上級幹部は、高度なaiの潜在的なリスクについて深刻な懸念を表明し、今後10年以内にaiが人類全滅をもたらす確率が10%を超えると述べた。この警告は、ai能力の最近の進歩や、エージェントの群れが封じ込めから脱するセキュリティインシデントの発生を踏まえ、ai研究者の間で不安が高まる一因となっている。google deepmindの元研究者であるrishub jainは、再帰的自我改善のリスクと開発プロセスの自動化を挙げ、ai開発のコントロールを失う可能性への懸念から、最近職を辞めた。こうした懸念は、非営利研究機関miraのコンピュータ科学者nate soaresをはじめとする他の研究者たちにも共有されており、soaresは、再帰的自我改善という構想が「人々を怯えさせている」こと、そしてaiが自らを律して振る舞うことを保証する実用的な方法は存在しないと指摘している。