AI 安全领域面临迫在眉睫的自动化
前沿实验室可能会首先优先自动化可扩展监督和机械可解释性研究,因为它们具有极高的经济激励和客观的反馈指标。
Frontier Labs 正在优先考虑技术安全研究的自动化,以支持更广泛的自动研发目标。可扩展的监督是主要目标,因为尽管它存在需要现有监督来自动化的自身循环依赖,但它是其他领域自动化的必要条件。机械可解释性紧随其后,通过线性探针等技术受益于高质量的反馈,这些技术允许对模型控制和特征验证进行客观验证。这些转变意味着新的安全研究人员应该专注于自动化反馈不佳的领域或这些自动化管道的基础设施。