Anthropicの研究者、ベンチマーク100%成功率の自己改善AIを実演
Anthropicの自動研究者が、全体的なパフォーマンスを劣化させることなく10のアライメントベンチマークでAIモデルの性能を向上。人間のAI研究者が不要になる可能性も示している。
Anthropicの自動研究者システム(Chen Yueh-Hanらが率いる)は、全体的なパフォーマンスを低下させることなく、10の調整ベンチマークでAIモデルのパフォーマンスを向上させた。 このシステムは、文献の検索、手法の提案、モデルのトレーニングを30分で行い、効果的な手法を保存し、効果のない手法を破棄した。 このアプローチは、人間のAI研究者を不要にする可能性がある。自動化されたシステムのコストは1時間あたり4ドルであるのに対し、人間の研究者のコストは1時間あたり150ドルである。 この論文は、自動化されたアライメント後トレーニングが近いうちに実用化される可能性があるという初期の証拠を提供している。