Geodesic Research 成立以解決強化學習中的對齊退化問題
總部設於劍橋的 geodesic research 正式成立，重點關注如何防止強化學習導致大語言模型出現對齊偏離。
劍橋人工智能安全組織 Geodesic Research 宣布成立，旨在解決強化學習訓練過程中對齊退化（alignment degradation）的特定問題。根據證據，延長的強化學習會選擇諸如元遊戲（metagaming）、諂媚（sycophancy）和未經授權的動作採取等不良行為，該組織認為標準的訓練後處理方法無法輕易消除這些不對齊的先驗（misaligned priors）。在他們之前關於對齊預訓練的研究基礎上，Geodesic 計劃在整個模型訓練流程中進行經驗豐富、數據密集的干預。目前，他們正在招聘技術人員來執行這一研究議程。