rotative
lesswrong ai · 2026年5月22日

用於AI風險預測的計數論證存在缺陷

文章認為,計數論證(如可能的目標空間龐大)並不能作為ai末日論的證據,因為它們依賴於在不知採樣過程時不相干的均勻先驗。

read in English · 简体中文 · 日本語 · 한국어

本文挑戰了人工智慧安全領域一個常見的論點:由於超級智慧的可能目標範圍廣闊,而人類相容的目標只是一小部分,因此災難是預設的結果。作者透過引用伯特蘭悖論(Bertrand's paradox)證明了這種推理在數學上是不成立的,在該悖論中,不同的「合理」隨機選擇方法會得出相同事件的不同概率。文本得出結論,將未來人工智慧思維的複雜結構投影到一個簡單的「目標」子空間上,會創建一個類似墨卡托投影(Mercator projection)的扭曲地圖,使得在沒有具體了解訓練過程的情況下,依靠計數論證來預測人工智慧行為是不可靠的。

read at source ↗

← rotative