DeepSeek-V4 將長上下文成本降低 90% 優化代理工作負載
deepseek-v4 利用混合注意力機制 csa 和 hca 解決代理任務失敗問題。相比 v3.2，v4-pro 在 100 萬標記上下文下僅使用 10% 的 kv 快取記憶體和 27% 的推理 flops。v4-flash 進一步降至 7% 記憶體。該架構使用 fp4 索引和 fp8 儲存，無需重新提示即可處理長時間工具使用軌跡。
DeepSeek 發布了 V4，一種針對長上下文代理工作流程優化的模型架構。它引入了壓縮稀疏注意力（Compressed Sparse Attention，CSA）和高度壓縮注意力（Heavily Compressed Attention，HCA），以降低推理成本。與 V3.2 相比，V4-Pro 在 1M 個 token 下，使用了 27% 的單 token 推理 FLOPs 和 10% 的 KV 快取記憶體。V4-Flash 將這些數字降低到 10% FLOPs 和 7% 記憶體。這種效率源於 4 倍和 128 倍的壓縮比率、FP4 索引和 FP8 存儲。