在個人電腦上運行ChatGPT,無需雲服務
用戶現在可以將大型語言模型安裝在個人電腦上,實現離線訪問和更高的隱私保護。
大型語言模型(LLMs)驅動的AI機器人,如 ChatGPT 和 Gemini,現在可以在個人電腦上本地運行。這允許離線訪問和更大的數據隱私,因為用戶不需要將數據發送到雲端進行分析。許多LLMs可以從 Meta 和 Google 等大廠免費下載。 要在本地運行LLMs,用戶需要足夠的RAM,建議至少8 GB,但16 GB或以上更為理想。獨立的GPU和充足的VRAM也很有益,特別是對於擁有NVIDIA GPU的Windows用戶。運行LLMs的軟體選項包括 LM Studio、Bionic VLLM、Llama.cpp、Ollama 和 GPT4All。用戶可以從 Hugging Face 等線上倉庫中選擇LLMs,後者提供了超過300萬個模型。