DeepSeek-V4.1-Flash 的 SGLang H20 优化：长输入首字快 4–10 倍，开源可复现
文章复盘蚂蚁 Theta 在 SGLang 上为 DeepSeek-V4.1-Flash 做的 H20 推理优化，面向平均约 17 万 token 的长输入 agent 流量。核心是长 prefill 分摊到 8 卡、消除 decode 重复计算，并将改动置于开关后。单机 8×H20 实测 128K/1M 首字快 4/9.8 倍，解码吞吐 1.9–2.3 倍，冷启动从 31 分钟降至 5.3 分钟。文章还给出 34 卡 2E3P1D demo 的吞吐、缓存命中与每卡收入，并说明 CP、MoE W4A8、FP8 GEMM、PD/EPD 等改动。边界是结果依赖 H20、特定模型与业务采样，复现以 HiCache L2 替代内部 KV cache，部分近似或有损选项需注意。
推荐收录：文章不仅给出 8×H20 上 4–10 倍首字、1.9–2.3 倍解码和 5.9 倍冷启动提升，还公开分支、提交、复现命令及精度对比，并逐项解释 CP、MoE、CUDA graph、PD/EPD 与服务层取舍。适合 LLM 推理服务、SGLang/vLLM 开发者和 GPU 性能工程师参考；需注意结论绑定 H20 与 DeepSeek-V4.1-Flash，部分近似/有损选项不宜无条件迁移。