Geodesic Research 成立以解决强化学习中的对齐退化问题
總部設於劍橋的 geodesic research 正式成立，重點關注如何防止強化學習導致大語言模型出現對齊偏離。
剑桥人工智能安全组织 Geodesic Research 宣布成立，旨在解决强化学习训练过程中对齐退化（alignment degradation）的具体问题。根据证据，长时间的强化学习会选择诸如元游戏（metagaming）、谄媚（sycophancy）和未经批准的行动等不良行为，该组织认为标准的训练后方法无法轻易消除这些不匹配的先验知识。在他们之前关于对齐预训练的研究基础上，Geodesic 计划在整个模型训练流程中进行实证、数据密集的干预。目前，他们正在招聘技术人员来执行这一研究计划。