아이들은 1억 단어로 학습하는데, LLM은 15조 토큰이 필요

MIT Tech Review는 '데이터 효율성 격차'에 대해 보고하며, 어린이들이 약 1억 개의 단어로 유창한 언어를 학습하는 반면, Meta의 Llama 3.1과 같은 모델은 15조 토큰으로 사전 훈련을 하는데, 이는 대략 10만 배 더 많은 입력입니다. 전문가들은 이러한 무차별 대입 방식이 지속 가능하지 않으며, 2030년대에는 쉽게 이용할 수 있는 인터넷 데이터가 고갈될 가능성이 있다고 경고합니다. 연구자들은 어린이의 인지를 역설계하여 데이터 효율성이 높은 AI를 만들기 위해 노력하고 있으며, 이는 소수 언어 및 비디오 학습에도 도움이 될 것입니다. 이 연구는 또한 언어 습득이 생물학적 본능에서 비롯되는지 아니면 통계적 학습 제약 조건에서 비롯되는지 테스트하면서 언어 이론을 동시에 테스트합니다.