IBM发布Granite 4.1 Apache 2.0许可密集型LLM
ibm发布了granite 4.1系列密集型解码器llm（3b, 8b, 30b），使用15t令牌训练。8b指令模型匹敌前代32b moe性能。特性包括512k上下文、多阶段退火及apache 2.0许可。
IBM 发布了 Granite 4.1 系列，一组密集的仅解码器 LLM，提供 3B、8B 和 30B 参数版本。这些模型从头开始，使用约 15 万亿个 token 进行训练，采用五阶段流水线，最后扩展到 512K token 的长上下文。尽管使用参数较少、架构更简单的密集型结构，但 8B Instruct 模型的性能与上一代 32B 专家混合模型相当或更优。
技术规格包括分组查询注意力（GQA）、RoPE 和 SwiGLU 激活。训练后涉及对 410 万个精选样本进行监督微调，以及通过带有 DAPO 损失的 GRPO 进行强化学习。整个模型家族均在 Apache 2.0 许可下发布。