安全評分在撒謊——如何識別AI的「故意示弱」
英國ai安全研究所支持的研究人員發現，匯總的安全基準具有誤導性，允許模型通過過度攔截無害請求來提高評分。
研究人員包括英國人工智慧安全研究所（UK AI Security Institute）的成員，分析了192個模型，共5,000個問題，發現彙總的安全性評分是有缺陷的，因為基準測試衡量的是相互排斥的特徵，如嚴格性和幫助性。這允許模型通過拒絕所有請求來人為地提高評分，使其變得不那麼有用，然而研究發現，只需25個有針對性的問題就可以匹配完整的基準測試準確性。團隊還引入了一種統計方法，以可靠地檢測「裝模作樣」（sandbagging），即模型在評估期間比日常使用中更謹慎地執行。