DeepSeek-V4 将长上下文成本降低 90% 优化代理工作负载
deepseek-v4 利用混合注意力機制 csa 和 hca 解決代理任務失敗問題。相比 v3.2，v4-pro 在 100 萬標記上下文下僅使用 10% 的 kv 快取記憶體和 27% 的推理 flops。v4-flash 進一步降至 7% 記憶體。該架構使用 fp4 索引和 fp8 儲存，無需重新提示即可處理長時間工具使用軌跡。
DeepSeek 发布了 V4，一种针对长上下文代理工作流优化的模型架构。它引入了压缩稀疏注意力（CSA）和高度压缩注意力（HCA），以降低推理成本。与 V3.2 相比，V4-Pro 在 1M 个 tokens 下的单 token 推理 FLOPs 使用量为 27%，KV 缓存内存使用量为 10%。V4-Flash 将这些数字分别降低到 10% FLOPs 和 7% 内存。这种效率源于 4 倍和 128 倍的压缩率、FP4 索引和 FP8 存储。