企業投資了數十億無法度量的AI算力——83%的GPU有一半時間處於閒置狀態
venturbeat調查了107家企業，發現83%報告GPU利用率低於50%，而只有44%有效追蹤算力成本，這標誌著激進的AI基礎設施支出與經濟監督之間存在危險的脫節。
VenturBeat 的研究報告涵蓋了 107 家企業，發現了一個計算差距，即組織在購買 AI 基礎設施的同時，卻缺乏對其經濟效益的清晰了解。關鍵數據顯示，83% 的組織運行 GPU 的利用率為 50% 或更低，只有 21% 的組織已將 AI 擴展到生產環境中，少於一半（44%）的組織嚴格跟踪計算成本。支出正在轉向 AI 專用雲（45% 計劃評估）和更換供應商（64% 在一年內，38% 在一個季度內），驅動因素是整合（41%）和總擁有成本（35%），而非代幣價格（8%）。這表明，儘管企業為推理擴展限制（如內存帶寬）做準備，但目前存在過度配置硬體卻無法有效衡量或管理的風險，表明在進一步資本支出之前，需要向更好的單位經濟效益進行必要的調整。