儿童学习仅需1亿词，而LLM需要15万亿tokens
mit tech review強調了數據效率差距，兒童用約1億個詞掌握語言，但llm需要數萬億個tokens。理解這種差異至關重要，因為該行業面臨在2030年代可能出現訓練數據短缺的問題。
MIT Tech Review 报道了“数据效率差距”（data efficiency gap），指出儿童通过大约 1 億个单词就能掌握流利的语言，而像 Meta 的 Llama 3.1 这样的模型则需要预训练 15 万亿个 token —— 大约是儿童输入数据的 10 萬倍。专家警告说，这种蛮力方法（brute-force approach）是不可持续的，可用的互联网数据可能会在 2030 年代耗尽。研究人员旨在通过逆向工程儿童认知来创建数据高效的 AI，这也有助于少数民族语言和视频学习。这项研究同时也测试了语言学理论，探究语言习得是源于生物本能还是统计学习约束。