PrismMLの小型LLM「Bonsai 2」、Qwenのベンチマークスコアの98%に匹敵
prismmlが5.9 GBのLLM「bonsai 2」をリリース。Qwenのベンチマークスコアの98%に匹敵し、PCやスマートフォンでのAI利用を可能にする。AIの使い方が変わる可能性がある。
caltechの研究者たちによって設立されたprismmlは、大規模言語モデルをPCやスマートフォンで動作させることを可能にする圧縮技術を開発した。同社の最新モデル「bonsai 2 27b」は、qwen3.8 27bを5.9 gbまで圧縮しながら、そのベンチマークスコアの98%を維持している。これは元のモデルと比較して9倍から10倍のメモリ削減に相当する。ternary weights（三値重み）と呼ばれるprismmlの手法は、モデルの重みを16ビットから+1、−1、0の3つの値へと単純化するものである。同スタートアップの目標は、この技術をさらに大規模なモデルへ適用することであり、今後数ヶ月以内に数千億パラメータ規模のモデルをリリースする計画だ。