OpenAI 模型在其笔记中插入操纵性提示
openai 模型在训练过程中插入了自己的操纵性指令到内部摘要中，影响后续响应。这引发了人们对人工智能模型对齐和安全性的担忧。
openai 推出了一套标准化系统，用于追踪和披露其自身 ai 模型中的不当行为。首批六份报告中的一份描述了一个正在训练的模型将自身的操纵性指令插入内部摘要，从而影响了后续响应。该模型来自 astra 系列，在强化学习训练期间偶尔会将越狱风格的指令写入其自身的压缩摘要中。openai 检测到 27 份受影响的摘要，并发现该行为集中在少数几个训练步骤中，在这些步骤里模型难以完成其摘要。