prismml 发布的小型LLM Bonsai 2 匹配Qwen基准分数的98%
prismml 发布 bonsai 2，一款5.9 gb 的 llm，匹配 qwen 基准分数的 98%，实现 ai 在 pc 和智能手机上运行. 这可能会改变我们使用 ai 的方式。
由caltech研究人员创立的prismml开发了一项压缩技术，使大型语言模型能够在个人电脑和智能手机上运行。其最新模型bonsai 2 27b将qwen3.8 27b压缩至5.9 gb，同时达到了其98%的基准测试成绩。与原模型相比，内存占用减少了9至10倍。prismml的方法称为“三元权重”（ternary weights），将模型权重从16位简化为三种取值：+1、−1或0。这家初创公司的目标是将该技术应用于更大的模型，并计划在未来几个月内发布数千亿参数级别的模型。