AI 安全領域面臨迫在眉睫的自動化
前沿實驗室可能會首先優先自動化可擴展監督和機械可解釋性研究,因為它們具有極高的經濟激勵和客觀的反饋指標。
Frontier Labs 正優先考慮技術安全研究的自動化,以支持更廣泛的自動化研發目標。可擴展的監督(Scalable Oversight)是主要目標,因為它對於其他領域的自動化是必要的,儘管它存在需要現有監督來自動化自身的循環依賴。機械可解釋性(Mechanistic Interpretability)緊隨其後,受益於高反饋品質,在那裡諸如線性探測(Linear Probes)等技術允許對模型控制和特徵驗證進行客觀驗證。這些轉變意味著新的安全研究人員應該關注自動化反饋不佳的領域或這些自動化流程的基礎設施。