RLHFはLLMを検出されやすくする——ベースモデルがステルス性を保つ理由
PangramのCTOは、ポストトレーニングの安全ガードレールがLLMの表現を狭めてテキストを検出可能にする一方、ベースモデルは検出を回避できると主張している。
AI テキスト検出器は、コンテンツをロボット特有の特性によって識別するわけではなく、セーフティガードレールがモデルを 'モード崩壊' に追い込み、フレーズのバリエーションが極端に制限されるためである。Pangram は、基本モデルとニッチなファインチューンは、人間のような多様性を持って書くため、現在の検出方法では見えないと報告している。これは、セーフティアライメントが強まるにつれて、モデルは本質的に多様性が低下し、追跡が容易になるのに対し、非アライメントモデルは暗号化されたウォーターマークなしでは検出できないままであることを示唆している。