AIリスク予測における数え上げ論法の欠陥
この記事は、数え上げ論法(例:膨大な可能なゴールの空間)は、サンプリング過程を知らなければ無意味な一様事前分布に依存しているため、AIドゥーム論の証拠にはならないと論じている。
この記事は、AIの安全性に関する一般的な議論に異議を唱えている。それは、超知能の可能な目標の空間は広大であり、人間と互換性のある目標はごく小さな部分集合であるため、デフォルトの結果は破滅であるというものである。著者は、ベルトランのパラドックスを参照することで、この推論が数学的に健全でないことを示している。そこでは、異なる「合理的な」ランダム選択方法は、同じイベントに対して異なる確率を生み出す。本文は、将来のAIの心の複雑な構造を単純な「目標」の部分空間に投影すると、メルカトル図法のように歪んだ地図を作り、特定のトレーニングプロセスに関する知識なしにAIの動作を予測するためのカウント引数は信頼できないと結論付けている。