PrismML、2BパラメータのLLMをQualcommスマートグラスに搭載
prismmlがQualcomm搭載スマートグラス向けに20億パラメータのLLMをリリースし、リアルタイムの視覚・言語クエリをデバイス上でローカルに処理できるように。
prismml は、caltech の研究者によって設立され、uc berkeley の ion stoica が顧問を務める企業で、qualcomm の snapdragon ar1 gen 1 プラットフォームを搭載したスマートグラス向けに、同社の超小型言語モデルのバージョンを開発した。このモデルは 1-bit bonsai llm と呼ばれ、20億のパラメータを備え、視覚と言語のタスク向けに設計されている。デバイス上でローカルに実行できるため、装着者は周囲の状況についてリアルタイムで質問できる。prismml の目標は、デバイス上で動作するオープンウェイトの AI を実現し、デバイスの計算能力をより有効に活用することだ。qualcomm のチップ向けモデルのリリースは、そのビジョンに向けた一歩となる。