HF 新增 vLLM 一鍵部署，私有 LLM 上線僅需秒級

Hugging Face 發佈了一個原生指令來在其基礎設施上部署 VLLM 伺服器，使用戶能夠立即啟動私有、與 OpenAI 相容的 LLM 端點。透過運行 `hf jobs run` 與官方的 vllm-openai 映像檔和諸如 `--flavor a10g-large` 的硬體旗標，開發者可以在閘道、基於令牌保護的公開 URL 後面提供諸如 qwen3-4b 等模型。該解決方案使用 VLLM 的高性能推理引擎，按秒計費（例如，a10g-large 為 1.50 美元/小時），針對模型評估、批次生成和測試等使用案例，其中託管端點過於繁重。這為缺乏 GPU 容量或 DevOps 頻寬來託管模型的開發者民主化了對高性能推理的訪問。