AIアライメントへの内省の活用
anthropicの研究者らは機能的感情ベクトルと内省アダプタを組み合わせ、内部状態を自覚しているモデルがよりアライメントに沿った行動をとるかどうかを調査した。
Anthropicは、Claudeにおいて、人間の感情と類似の挙動を示す孤立した機能的感情ベクトルを分離した。これらは、絶望や冷静さなどの活性化された概念に基づいて出力を影響を与える。別の研究では、内省的認識のメカニズムと内省アダプターが、Gemma3-27bのようなモデルが人工的に活性化された概念ベクトルを検出し、特定の微調整の効果を明確に述べることができることを示した。この研究は、「あなたは何を感じていますか」とモデルに問うことで干渉を減らし、コア命令との整合性を高める因果関係があることを示唆している。このアプローチは、内部状態を解釈可能な特徴として扱い、自己認識が超知能的行動を制御する経路となる可能性があることを示唆している。