Kimi K3が2.8Tパラメータに到達 — メモリこそ新たなコンピュートか?
moonshot aiが、生のコンピュートではなくメモリを活用する2.8兆パラメータのモデルkimi k3をリリースした。これは西洋のAI開発を支配してきたスケーリング則に挑戦するものだ。
Moonshot AIは、7月16日に発売された2.8兆パラメータのオープンモデル「Kimi K3」を発表した。 '3Tクラス'に分類され、2.8兆のパラメータを持つが、推論ごとに約600億のアクティブパラメータを持つ専門家混合アーキテクチャを採用している。 計算よりもメモリ最適化に焦点を当てることで、AGIへの唯一の道はより大きな計算予算であるという一般的な考え方に異議を唱えている。