AI解釈可能性のステアリング手法、従来の考えよりも効果が低いと判明
新たな研究では、言語モデルにおける線形ステアリングが急速に破綻することを示す数式が導出され、一般的な解釈可能性の前提に疑問を投げかけています。
新しい論文が、AIの解釈可能性における「ステアリング」の有効性に挑戦している。ステアリングとは、内部モデルの方向を操作して出力を変更する手法のことである。「これは食べ物に関するものだ」といった方向は、因果的で予測的であるように見えるが、この研究は、方向を押すことと概念を強化することの間の線形関係が非常に限られていることを示している。著者は、高次補正が有界に保たれる半径を定義するために、クローズドフォームのテイラー公式を導出している。実証的なテストにより、この半径が線形ステアリングが失敗する時期を正確に予測することが確認されており、現在の介入方法は想定されているよりも精度が低いことが示唆されている。