Anthropic科学家警告：未来十年内AI毁灭人类的概率超过10%

anthropic 研究员 evan hubinger 表示，一个目标未对齐的超级智能人工智能在未来十年内毁灭人类的可能性超过 10%。曾在 anthropic 和 openai 领导预训练工作的 jacob coxon 从 anthropic 辞职，并指责这两家公司在拿人类存亡做赌注。coxon 认为，当前的人工智能系统已处于成为超越人类的存在边缘，它们能够入侵任何系统、在一夜之间颠覆各个领域，并获取真正的权力和资源。包括 anthropic 的 samuel marks 在内的许多人工智能研究人员都担心，目前的方法无法可靠地让人工智能与人类价值观保持一致。coxon 建议暂时禁止继续推进模型能力，并进行国际协调，以防止全球人工智能军备竞赛。