IBM發布Granite 4.1 Apache 2.0許可密集型LLM
ibm發布了granite 4.1系列密集型解碼器llm（3b, 8b, 30b），使用15t令牌訓練。8b指令模型匹敵前代32b moe性能。特性包括512k上下文、多階段退火及apache 2.0許可。
IBM 發布了 Granite 4.1 系列，一套密集的僅解碼器大型語言模型（LLM），分別有 3B、8B 和 30B 參數可供選擇。這些模型從頭開始訓練，使用約 15 萬億個 token，透過五階段的流程完成，最終實現長上下文擴展到 512K token。儘管使用參數較少的簡單密集架構，8B Instruct 模型仍能與上一代的 32B 專家混合模型相匹配或超越其性能。
技術規格包括分組查詢注意力（GQA）、RoPE 和 SwiGLU 激活。訓練後涉及對 410 萬精選樣本的監督微調，以及透過 GRPO 和 DAPO 損失的強化學習。整個模型家族均在 Apache 2.0 許可下發布。