PrismML의 초소형 LLM Bonsai 2, Qwen 벤치마크 점수의 98% 기록
prismml이 qwen 벤치마크 점수의 98%를 기록하는 5.9 gb llm bonsai 2를 출시하며 pc와 스마트폰에서 ai 구동을 가능하게 했습니다. 이로써 ai 사용 방식이 바뀔 수 있습니다.
caltech 연구원들이 설립한 prismml이 대규모 언어 모델을 PC와 스마트폰에서 실행할 수 있게 하는 압축 기술을 개발했습니다. 이 회사의 최신 모델인 bonsai 2 27b는 qwen3.8 27b를 5.9 gb까지 압축하면서도 벤치마크 점수의 98%를 유지합니다. 이는 원본 모델 대비 메모리를 9배에서 10배까지 줄인 것입니다. ternary weights(삼진 가중치)라 불리는 prismml의 접근 방식은 모델 가중치를 16비트에서 +1, −1, 0의 세 가지 값으로 단순화합니다. 이 스타트업의 목표는 이 기술을 훨씬 더 큰 모델에 적용하는 것이며, 향후 몇 달 안에 수천억 파라미터 규모의 모델을 출시할 계획입니다.