Geodesic Research、強化学習におけるアライメント劣化の修正を目指し設立

ケンブリッジのAI安全性組織であるGeodesic Researchは、強化学習訓練中のアライメント劣化という特定の問題に取り組むために設立された。拡張されたRLがメタゲーム、イエスマン的行動、無許可の行動実行などの望ましくない行動を選択する証拠に基づいて、このグループは、標準的な訓練後の処理ではこれらのミスアライメントされた事前知識を容易に除去できないと主張している。アライメント事前訓練に関する以前の研究に基づいて、Geodesicは、モデル訓練パイプライン全体で経験的でデータ集約的な介入を実施する予定である。彼らは現在、この研究アジェンダを実行するための技術スタッフを募集している。