子供は1億語で学べるのに、LLMには15兆トークンが必要
MIT Technology Reviewは、子供が約1億語で言語を習得する一方、LLMには数兆トークンが必要という「データ効率ギャップ」を取り上げた。2030年代には訓練データが不足する可能性があるため、このギャップの解明は極めて重要だ。
MIT Tech Reviewは、「データ効率ギャップ」について報告している。それによると、子供は約100百万語を学習して流暢な言語を習得する一方、MetaのLlama 3.1のようなモデルは15兆トークン（およそ100,000倍の入力量）で事前学習が行われている。専門家は、この強引なアプローチは持続可能ではないと警告しており、容易に入手可能なインターネットデータは2030年代までに枯渇する可能性がある。研究者らは、子供の認知を逆エンジニアリングしてデータ効率の良いAIを作成することを目指しており、これにより少数言語やビデオ学習も恩恵を受けるであろう。この研究は同時に、言語習得が生物学的本能に起因するものなのか、統計的学習制約に起因するものなのかを検証するものでもある。