$100Bのデータ投資だけがGPTのスキルの天井を超える唯一の道なのか
Andrew HoはOpenAIを退社してデータスタートアップを立ち上げ、スケーリングだけでは収穫逓減に直面すると主張した。信頼性の問題を解決するには、AIラボは専門データセットに$100Bを費やす必要があるとしている。
アンドリュー・ホーは、8ヶ月間OpenAIに在籍した後、バイオインフォマティクスやラブ評価などの価値の高い不足スキルに焦点を当てたデータ企業を設立した。現在のモデル（GPT-5.6 Solなど）は、これらのタスクに70%の確率で失敗すると述べた。ホーは、単に計算をスケールアップしても、真の一般化や信頼性は得られず、業界は100億ドル以上を特殊なデータ取得に投資する必要があると主張している。彼は、ケンブリッジやGoogle DeepMindの研究者らによる懐疑的な見方に遭遇しているが、彼らは、新しいモデルは汎用性よりも特化しつつあり、言語や論理の能力は停滞しているが、コーディングは向上していると観察している。ホーはまた、Qwenなどの効率的なオープンソースモデルと競争するためのコストの増加を考えると、フロンティアラブの評価は持続可能ではないと批判した。この転換は、将来のAIの進歩は、パラメータ数よりも高価でドメイン特有のシグナルをキュレートすることに依存することを示唆している。