prismml 發布的小型LLM Bonsai 2 匹配Qwen基準分數的98%
prismml 發布 bonsai 2，一款 5.9 gb 的 llm，匹配 qwen 基準分數的 98%，實現 ai 在 pc 和智能手機上運行. 這可能會改變我們使用 ai 的方式。
由 caltech 研究人員創立的 prismml 開發出一種壓縮技術，使大型語言模型能夠在個人電腦和智慧型手機上運行。其最新模型 bonsai 2 27b 將 qwen3.8 27b 壓縮至 5.9 gb，同時達到原模型 98% 的基準測試分數。與原始模型相比，記憶體用量減少了 9 到 10 倍。prismml 的這種方法稱為「三元權重」，將模型權重從 16 位元簡化為三個值：+1、−1 或 0。這家新創公司的目標是將此技術應用於更龐大的模型，並計劃在未來幾個月內發布數千億參數規模的模型。