AI可解释性中的引导方法效果不如预期
一項新研究推導出一個公式,顯示語言模型中的線性引導很快就會失效,挑戰了常見的可解釋性假設。
一篇新的论文挑战了人工智能可解释性中“操控(steering)”的有效性,即通过操纵内部模型方向来改变输出。虽然“这是关于食物的”之类的方向看起来似乎是因果关系且具有预测性,但研究表明,推动某个方向和增强概念之间的线性关系极为有限。作者推导出一个封闭形式的泰勒公式,以定义一个高阶修正保持有界的半径。实证测试确认,该半径准确预测了线性操控何时失效,表明当前干预方法的精度低于预期。