Poolside의 8B 모델, 조 단위 파라미터 거인들을 제치다
poolside의 laguna s 2.1은 단 8B의 활성 파라미터만으로 terminal-bench에서 조 단위 파라미터 경쟁 모델들을 능가하며, 코딩 에이전트에게는 지속성이 순수한 규모에 필적할 수 있음을 증명했습니다.
Poolside는 80억 개의 활성 매개변수를 혼합 전문가 아키텍처를 통해 활용하는 오픈 가중치 코딩 모델인 Laguna S 2.1을 출시했습니다. 이 모델은 Terminal-Bench 2.1 및 DeepSE와 같은 벤치마크에서 경쟁 모델의 10~20배 크기를 능가하는 성능을 발휘합니다. 이 모델은 조기 승리의 선언과 같은 검증 및 지속성이 원시 매개변수 규모를 대체할 수 있음을 입증하여 1조 매개변수 모델을 능가하는 합격률을 달성했습니다. 테스트에서 이 모델은 처음부터 브라우저 엔진을 성공적으로 구축했으며 1975년부터 공개된 수학 문제인 Erdős 문제 #397을 독립적으로 해결했습니다. 이 릴리즈는 코딩 모델의 효율성 및 에이전트 행동으로의 전환을 나타내지만 더 큰 Laguna 모델은 사전 훈련 단계에 남아 있습니다.