Claude Fable 5がRadLE 2.0で首位 —「わからない」が精度に勝る理由
radle 2.0ベンチマークでは、最先端モデルが高い自信をもってハルシネーションを起こす実態が明らかに。claude fable 5は生の精度よりも安全性を優先することで首位に立っています。
Crash Labは、AIモデルがラジオロジー（放射線医学）ケースを安全に処理できるかどうかを評価するために、Radle 2.0を導入しました。これは、モデルが人間に委ねるべき場合を認識する能力をテストするものです。 16のモデルを200のケースにわたってテストしたベンチマークでは、高い信頼性でのエラーにはペナルティが課され、不確実性には報酬が与えられます。その結果、総合的な精度と信頼性の指標では、人間の放射線科医が依然としてAIを上回っていることが明らかになりました。 Claude Fable 5は、難しいケースを安全に拒否することで主要な指標でトップとなり、Gemini 3 Proは最も高いヒット率を記録しました。しかし、医療特化型およびオープンモデルは、危険な自信を持ってあらゆる質問に答えようとしており、パフォーマンスが低調に終わりました。これは、モデルの精度が人間に近づいている一方で、自己評価の能力が欠如していることが、臨床現場での展開における大きな障壁となっていることを示しています。