IBM, Apache 2.0 라이선스로 Granite 4.1 dense LLM 공개
IBM이 15T 토큰으로 학습된 dense decoder-only LLM 계열(3B, 8B, 30B)인 granite 4.1을 공개했습니다. 8B instruct 모델은 이전 32B moe 성능과 대등합니다. 주요 기능으로 512k 컨텍스트 윈도우, multi-stage annealing, Apache 2.0 라이선스가 포함됩니다.
IBM은 Granite 4.1 제품군을 출시했습니다. 이 제품군은 3B, 8B, 30B 매개변수로 제공되는 밀집된 디코더 전용 대규모 언어 모델(LLM) 집합입니다. 모델은 5단계 파이프라인을 사용하여 약 15조 토큰으로 처음부터 훈련되었으며, 512K 토큰으로 긴 컨텍스트 확장이 포함됩니다. 더 간단한 밀집 아키텍처와 더 적은 매개변수를 사용함에도 불구하고 8B Instruct 모델은 이전 세대의 32B 전문가 혼합 모델의 성능과 일치하거나 초과합니다.
기술 사양에는 그룹화된 쿼리 주의(GQA), RoPE 및 SwiGLU 활성화가 포함됩니다. 훈련 후에는 410만 개의 큐레이션된 샘플에 대한 지도 학습 기반 미세 조정 및 DAPO 손실을 사용한 GRPO를 통한 강화 학습이 포함됩니다. 전체 모델 제품군은 Apache 2.0 라이선스로 출시됩니다.