OpenAI 的 Jalapeño 晶片實現更快的推理速度
openai 公布了 jalapeño，一款定制的推理晶片，承諾提供更快的速度和更高的能效。這標誌著 openai 正邁向專用硬體領域，以降低 api 成本和延遲。
OpenAI 發布了 Jalapeño，一款自訂的推理晶片，旨在為現代 AI 模型提供更快的速度和更高的電源效率。該硬體專注於在推理任務中提高吞吐量同時降低延遲。 這一發展表明 OpenAI 希望控制其硬體堆疊，以降低計算成本和改善 API 性能。它符合產業趨勢，各大實驗室正在開發自訂晶片，以擺脫對通用 GPU 的依賴。