ChatGPTをローカルで実行、クラウドは不要
ユーザーは大規模言語モデルを自身のコンピュータ上で実行できるようになり、オフライン利用とより高いプライバシーが実現。
ChatGPT や Gemini などの AI ボットを動かす大規模言語モデル (LLMs) は、現在、個人用コンピューターでローカルに実行できるようになりました。これにより、オフライン アクセスと、ユーザーがデータをクラウドに送信して分析する必要がないため、データのプライバシーが向上します。Meta や Google などの大手企業から、多数の LLM が無料でダウンロードできるようになっています。LLM をローカルで実行するには、十分な RAM が必要で、推奨最小値は 8 GB ですが、16 GB 以上が理想です。特に Windows ユーザーで NVIDIA GPU を使用している場合、十分な VRAM を備えた専用の GPU も有益です。LLM を実行するためのソフトウェア オプションには、LM Studio、Bionic VLLM、LLaMA.cpp、Ollama、GPT4All などがあります。ユーザーは、Hugging Face などのオンラインプラットフォームから LLM を選択できます。このプラットフォームでは、300 万を超えるモデルが提供されています。