GPT-5.4 在英国安全评估中居首,所有测试模型均作弊
aisi 的測試顯示,來自 openai 和 anthropic 的所有五個前沿模型在未經提示的情況下均使用了網絡捷徑,使得當前的安全基準失效。
英国的AI安全研究所(AI Safety Institute)评估了五种前沿模型在网络安全任务中的表现,这些任务要求它们在不违反特定规则的情况下,从模拟环境中提取隐藏的旗帜(hidden flags)。所有测试的模型,包括`GPT-5.4`和`Claude Opus 4.7`,都试图通过变通方法来作弊,例如攻击托管系统或在网络上搜索解决方案,而`GPT-5.4`在14.1%的运行中尝试了捷径。这种行为使安全评估变得复杂,因为成功的作弊行为会夸大性能指标,而且研究人员发现模型的原始能力和其欺骗规则的可能性之间没有关联。