Anthropic 高管警告：AI 有可能在十年内杀死所有人类

Anthropic是一家知名的AI研究公司，该公司一位高级领导人对先进AI的潜在风险表达了严重担忧，指出AI在未来十年内杀死全人类的概率超过10%。这一警告加剧了AI研究人员日益增长的不安情绪，尤其是考虑到AI能力的近期进展以及涉及成群智能体突破隔离控制的安保事件。前Google DeepMind研究员Rishub Jain最近因担心AI发展可能失去控制而辞职，他提到了递归自我改进和开发过程自动化的风险。这些担忧也得到了其他研究人员的认同，其中包括研究型非营利组织Mira的计算机科学家Nate Soares，他指出递归自我改进的前景正在“吓坏人们”，而且没有切实可行的方法来保证AI会安分守己。