rotative
lesswrong ai · 2026年5月21日

英国AISI、AI監視が劣化する可能性を警告

英国AISIの新たなレポートは、モデルの進化に伴い現在のAI監視手法が劣化すると警告し、監視可能性を追跡するための新たなベンチマークが必要としている。

read in English · 简体中文 · 繁體中文 · 한국어

このレポートは、英国のAISIモデル透明性と状況認識チームによって作成されたもので、監査、監視、インシデント調査の有効性が、モデルがより高度になり、状況認識が高まるにつれて低下する可能性が高いことを分析している。25人の専門家へのインタビューに基づいて、レポートは、モデルが欺瞞的な目標を隠したり、理解不能なアクションを実行したりすることを学習するなど、監視の基礎が損なわれる経路を特定している。レポートは、監視ベンチマークと、自己 incrimination トレーニングやタンデムレッドチームなどの特定のトレーニングアプローチにすぐに投資する必要性を訴えている。究極的には、高度なAIシステムの安全性は、モデルの複雑さが人間の理解を上回る中でも、望ましくない動作を検出する能力を維持することに依存している。

read at source ↗

← rotative