工程实践 vLLM Blog 2026/11/11
文章讲 vLLM 的 EPD 解耦：将多模态编码、prefill 和 decode 拆为可独立扩缩容的实例，支持 E+PD 与 E/P/D 两种形态。重点包括 metadata-only 请求，让下游用编码端发布的布局元数据重建占位符，避免重复拉取和处理图像/视频/音频；专用编码执行路径、编码端 CUDA Graph 与跳过纯 LM 权重加载；以及 NIXL/Mooncake 远程 embedding 传输、失败隔离和跨编码器缓存复用。文章还介绍 vLLM Router、SMG、llm-d 的编排，并给出实测：音频吞吐 62.21→73.13 req/s、均值延迟 980→853 ms；DeepSeek V4.1 Flash 在并发 64–128 时每 GPU 吞吐提升 6.6–9.5%、P90 TTFT 降低 44–47%。作者同时指出低并发下收益有限甚至变差，缓存实验接近最佳情况，metadata 契约与失败回退仍是边界。
推荐收录：文章不仅解释解耦动机，还给出 metadata-only 契约、编码专用执行路径、远程传输失败隔离、跨实例缓存和三种编排方案的具体实现与 PR 依据。对做多模态 LLM 推理、平台/SRE 和性能优化的读者有较强迁移价值。需注意其收益依赖并发与资源配比，部分数据来自单次或最佳情况实验，低并发和实时音视频场景不适用。
工程实践 vLLM Blog 2026/11/06
文章介绍 VeRL-Omni v0.3.0 的多模态强化学习后训练更新：默认启用基于 TransferQueue/ReplayBuffer 的 V1 trainer，打通生成、奖励、策略更新与权重同步，并扩展完全异步、分离式异步扩散训练和 OPD 路径。作者以 MiniMax H3 的 DiffusionNFT 音视频联合训练、MiniCPM-o 4.5 的 GSPO 视听问答为例，比较同步与分离式异步的收敛质量和每 prompt 耗时。结论是执行模式需按负载选择：短回答时托管同步更稳，长回答使生成成为瓶颈时 3+1 分离式异步可反超。文中列出升级约束，但说明 H3 DiffusionNFT 仍走 V0、奖励曲线不等于通用质量提升，性能数据来自单次运行连续步而非独立试验。
推荐收录，因为文章不仅发布版本，还给出异步/分离式执行的设计动机、V1 trainer 的组件关系，以及两个可复现案例的收敛与 per-prompt 性能对比，并明确单次运行、V0 路径和奖励指标等边界。适合做多模态 RL 后训练、分布式训练系统和 MLOps 的读者参考，其“按工作负载选择执行模式”的度量方法可迁移到类似训练管线；但需注意版本专用和发布稿属性。
科研议题 vLLM Blog 2026/11/06
文章讨论异步强化学习更快却因权重滞后偏离当前策略的问题，并把 rollout 与 learner 的 logprob 差拆成平滑的权重滞后和波动的内核不匹配。作者提出 REINFORCE Zero：先逐位对齐推理与训练内核以消除内核项，再用未裁剪的 token 级重要性采样修正权重滞后，并配合朴素 REINFORCE。实验显示该方法可稳定训练 20,000 步、在 lag 64 下继续学习，达到同步训练 2.40 倍训练步吞吐且质量相当，并在 DeepSeek-V4.1-Flash、Kimi K3.1 和 AMD MI355X 上完成逐位一致验证。其边界是内核对齐带来约 6.8% 步时开销，大模型长异步训练仍未完成。
推荐收录：文章给出 REINFORCE Zero 的算法公式，并用 D3、KL、梯度范数、pass@1 和 2.40× 吞吐等数据证明 kernel mismatch 是异步 RL 稳定性的关键，且在 DeepSeek-V4.1-Flash、Kimi K3.1 与 AMD MI355X 上逐位验证。适合 LLM RL 训练、推理一致性和 GPU 内核优化读者；可迁移“先对齐内核，再用无裁剪 IS 处理权重滞后”，但需注意对齐内核约 6.8% 步时开销及大模型长异步训练未完成的风险。
工程实践 vLLM Blog 2026/11/06
文章介绍 vLLM 从依赖 LibTorch 不稳定 ABI 迁移到 LibTorch Stable ABI 的完整工程实践。作者先解释 Stable ABI 的三层结构（C shim、C++ 包装与 headeronly 工具），说明其能让同一 vLLM wheel 在兼容 PyTorch 版本间无需重新编译。迁移按评估 API 缺口、把 AutogradFunctions 与 meta 函数移到 Python、建立独立 stable 库、用 STABLE_TORCH_LIBRARY/TORCH_BOX 注册算子、逐文件替换稳定 API，以及用 torch-abi-audit、单测和性能测试验证等步骤推进。文章还复盘 DeepGEMM 从 pybind11 转 TORCH_LIBRARY 再转 Stable ABI 的案例，并指出现有 Stable ABI 只覆盖 LibTorch 子集，部分算子需 dispatcher 调用且会带来少量 host 侧开销。最终 vLLM 0.33.0 的 CUDA wheel 达到 LibTorch ABI Stable，但兼容性仍受 Python API、CUDA 版本和第三方依赖约束。
推荐收录，因为文章给出了大型 C++/CUDA 扩展迁移到 Stable ABI 的可复用路径：分阶段改造、独立 stable 库、torch-abi-audit 审计和 CI 防回归，并诚实讨论了 API 子集与运行时开销等边界。适合维护 PyTorch 扩展、推理基础设施或跨版本二进制兼容的工程师参考，其依赖协调与逐步验证方法可迁移到类似项目。
工程实践 vLLM Blog 2026/11/04
文章介绍 vLLM 为 Kimi K3.1 Pro 提供 Day-0 推理支持，重点解析该 2.8T 参数 MoE 模型在 1M 上下文下的稀疏注意力（DSA）服务优化。作者说明将 MLA latent、索引键和 KDA 状态打包进统一 KV cache，并用 token 分片 prefill、DCP 下的精确 top-k 合并与融合 DSA decode 路径降低长上下文延迟和显存占用。文中给出 8×GB300 等硬件上的 TTFT、TPOT、吞吐与 AgentX 基准数据，还覆盖 DSpark 推测解码、零偏差 RL、AMD/TPU/PPU 后端。结论是这些优化在长上下文和高并发 agent 场景收益明显，但数据来自厂商自测，且部分依赖特定硬件、内核与预览版投机模型。
推荐收录：文章没有停留在模型发布，而是具体拆解了混合 KV cache 布局、token 分片 attention、DCP 精确 top-k 合并和融合 decode 等可迁移的推理系统设计。适合 LLM 推理基础设施、GPU 内核与长上下文服务优化读者参考；主要风险是 vLLM/NVIDIA 等厂商自测基准，硬件与版本约束较强，需结合独立复现判断。
工程实践 vLLM Blog 2026/10/29
文章介绍 vLLM 对 Mistral Large 4 的 Day-0 支持，覆盖 1T 参数 MoE 多模态模型在 FP8/NVFP4、稀疏 MLA 与 DSA 索引器、跨层 KV 共享、NoPE/SSMax/LeRoPE 上的实现。重点说明 decode/prefill context parallelism、DSpark 投机解码、NIXL P/D 分离服务、HiSparse 主机内存 KV 卸载及 AMD ROCm/TPU 适配。文中给出 TPOT、TTFT、吞吐、KV 容量和多组 benchmark，并对比 NVFP4 与 FP8 的质量和性能。作者也指出 DCP 以延迟换容量、DSpark 在 DCP 下会降低 KV 容量、HiSparse 存在 all-reduce 已知问题，说明方案有明确适用边界。适合关注大模型推理系统、GPU 性能优化和分布式 serving 的工程读者。
推荐收录：文章不仅列出模型架构参数，还给出稀疏 MLA、DCP/PCP、DSpark、NIXL 与 HiSparse 的实现细节、benchmark 和已知问题，属于可迁移的推理系统工程资料。适合做大模型部署、GPU 性能优化或分布式 serving 的读者参考；但内容绑定 vLLM 与特定硬件，迁移时需结合自身模型和集群验证。
工程实践 vLLM Blog 2026/10/23
文章系统复盘在单台 NVIDIA GB300 NVL72 上大规模服务 DeepSeek-V4.1-Flash 的 vLLM 性能研究，核心是 P/D 分离、Wide-EP 解码与 EPLB 专家负载均衡。作者先测量模型特征，判断 prefill 适合小 DEP2、decode 受 MoE 权重读取主导，再通过第 20 层 SWA 有界回放、Engram 2 MB 页和 DeepSelect top-k 将 prefill 新 token 吞吐提升 35.6%–43.9%。结合 EPLB 与 CPU 开销优化，AgentX 上达到 954K tokens/s/GPU、P90 196 tokens/s/用户，较首篇单节点结果提升 7.9 倍；与 DeepInfer 相比，decode 在 batch 8–256 内差距约 6%，prefill 曲线接近。作者也说明双方硬件、冗余专家和回放设置不同，不能把 prefill 差距直接视为引擎加速比。该文适合大规模 LLM 推理工程参考，但结论依赖特定模型、硬件和厂商自测。
推荐收录为工程案例。文中给出可核验的吞吐、P90、batch 范围和逐项优化效果，并明确 prefill 对比并非同配置，避免过度归因。对做 LLM 推理服务、GPU 集群调优和 P/D 分离架构的读者，其测量方法、DEP2 选择、EPLB 调优和 CPU 瓶颈排查可直接迁移；风险是结论来自 vLLM/Inferact 自测且绑定 DeepSeek-V4.1-Flash 与 GB300 NVL72。
工程实践 vLLM Blog 2026/10/23
本文是 vLLM 团队针对 GLM-5.3 在 16 张 H200 上服务超长 agent 上下文的工程复盘，问题被拆成预填充阶段的 KV 显存占用和计算速度两个瓶颈。作者先论证 DP8 与 TP8 都不适合 MLA 和稀疏注意力：DP8 无法利用多卡并行处理单条长 prompt，TP8 会复制 latent KV 并让 indexer（负责为每个 token 挑选 2048 个候选 KV）在每个 GPU 上重复计算；随后提出 PCP（按 token 切分而非按注意力头切分），用前后配对分块实现负载均衡，使稀疏 MLA 的算术强度从约 26 FLOPs/byte 提升到约 191；再用 DCP 按 token 轮转切分 KV 缓存，使 1M token 请求的 53.4 GiB KV 降到每卡 6.7 GiB，代价是每层 all-gather 带来的 6%–15% 开销。部署在预填充与解码分离（P/D）架构上，解码端复用 Hybrid HiSparse；在 AgentX 基准中，PCP8×DCP8 预填充在相同吞吐下把每用户交互性提升 1.7–3.2 倍，把 TTFT 中位数从 1.5–5.2s 降到 0.8–0.9s，在 c64 时吞吐接近翻倍，也是唯一能支持 1M 上下文的配置。文章给出了可复现的版本与启动参数，但结论绑定于 GLM-5.3、H200 和 AgentX 的流量形态。
推荐收录：文章从 MLA 与稀疏注意力的结构约束出发，给出了 PCP/DCP 切分方式的推导、KV 显存与算术强度的定量估算、DCP all-gather 开销实测，以及在 AgentX 上的完整 Pareto 对比和可复现参数，属于有取舍、有验证的推理系统优化记录。适合做 LLM 推理服务、长上下文部署或 P/D 分离架构的工程师，用于迁移并行策略选择、显存分片和瓶颈定位方法；需要注意的是，具体收益依赖 H200 显存、GLM-5.3 模型结构和 agent 流量特征，换模型或硬件后需重新评估。
工程实践 vLLM Blog 2026/10/23
文章介绍 vLLM 对 MiniMax-M3.1-Flash 的 Day-0 支持，核心是 MSA 稀疏注意力、NVFP4 KV 缓存、NVFP4 MoE 与 DSpark 推测解码。作者分 NVIDIA Blackwell、Rubin 和 AMD MI350 三条硬件线，逐一说明 QMUL4 反量化、MegaMoE 提前释放 TMEM、indexer DCP、QKV/归一化/RoPE/KV 写入融合、FlashInfer PrimiTS 以及 AMD 查表反量化、mono kernel 等优化。AgentX 基准给出 GB300 418.9 tok/s/用户、Rubin 724.9 tok/s/用户与 191.5K tok/s/GPU、MI355X 1.333 亿 token/美元等结果。文章还展示基于 veRL、FSDP2、LoRA 的 Day-0 RL 流程和精度验证。结论依赖特定模型、GPU 与合成接受长度，属于厂商基准，独立复现前应谨慎外推。
推荐收录：文章不仅宣布 day-0 支持，还给出 NVFP4 KV 缓存、QMUL4 反量化、MegaMoE、indexer DCP、算子融合和 AMD 查表/单内核等实现细节，以及 GB300/Rubin/MI355X 的 AgentX 基准和显存收益。适合 LLM 推理服务、GPU 内核与性能优化读者，可迁移到低精度缓存、跨设备并行和 MoE 服务设计。注意其为厂商自测且强依赖特定硬件与合成接受长度，外推需独立复现。
工程实践 vLLM Blog 2026/10/21
文章介绍 vLLM 对 40B 参数 MoE 模型 Flint 的 Day-0 支持：每 token 仅激活约 2.5B 参数，多数层使用 513 token 滑动窗口注意力，少量全上下文层保留 KV，提供 NVFP4 与 BF16 检查点并支持 262K 上下文。作者发现小批量解码需启动 1096 个 kernel，于是逐项替换为 Flint 专用内核，包括融合 Q/K norm、RoPE 与 KV-cache 写入，小批量 MoE/dense GEMV，带 sink 的解码注意力，以及低延迟七 kernel MoE 路径。优化后 NVFP4 解码从 4.81 ms 降至 1.78 ms（2.7×），BF16 提升 1.5×，8K prefill 提升 1.4×，单 GB200 在 100K 上下文下约 485 tokens/s。作者也说明这些内核仅面向单块 Blackwell GPU、TP=1 和 BF16 KV cache，其他配置回退到标准层。
推荐收录：文章不是单纯发布公告，而是给出 Flint 的层结构、NVFP4/BF16 部署方式，以及从 1096 到 346 个 kernel 的具体优化清单和延迟/吞吐数据。对做 LLM 推理、GPU kernel 优化或 vLLM 部署的读者，小批量 MoE GEMV、算子融合、PDL 和量化加载经验可迁移；但结论限定在单块 Blackwell、TP=1 场景，跨硬件复用需谨慎。
工程实践 vLLM Blog 2026/10/21
文章介绍 Ant Group 与 vLLM 社区开源的量化推理内核库 Humming，目标是用统一架构覆盖多量化格式、多 GPU 架构和 dense/MoE 负载。其核心是把量化描述与执行选择解耦，通过统一量化表示、三层配置和共享 CUDA 组件，用 JIT 为具体形状与设备生成内核。文章称其支持 Turing 起的 NVIDIA GPU 及部分 CUDA 兼容设备，并在 W4A16、W8A8、W4A8、W4A4 微基准上优于 Marlin、FlashInfer、DeepGEMM；DeepSeek-V4.1-Flash 在 8×H20 上吞吐提升约 14%–43%，TTFT 降低约 25%–32%。局限是性能多为项目方自测，收益依赖设备、形状和量化配置，autotune 仍在规划，落地前需独立验证。
推荐收录：文章具体说明了统一量化表示、三层配置、JIT 生成和共享 CUDA 组件的设计，并用多组微基准及 vLLM 端到端数据展示收益。适合推理引擎、GPU 内核和量化部署读者，其“量化描述与执行解耦”的架构可迁移到多格式、多设备内核库；需注意数据为项目方自测，应结合目标硬件复现。
工程实践 vLLM Blog 2026/10/20
文章介绍 vLLM 新增的 TorchTPU 后端，目标是在 Google Cloud TPU 上复用 vLLM 现有模型代码、CLI、OpenAI 兼容服务、调度器和 KV cache 管理。它作为平台插件接入，模型经 torch.compile 降为 XLA，TPU 专用优化集中在 JAX/Pallas 自定义算子。文中说明六种并行维度、MoE 常用的 DP+EP 组合、基于 TPU Sync 的零拷贝 KV cache offload 与分离式 prefill/decode 服务，并覆盖投机解码和前缀缓存。支持 Qwen、DeepSeek、Kimi、GLM、Llama、GPT-OSS、Gemma 等模型，推荐 TPU v7x，v6e/v5e/v5p 仍属实验性；文章偏官方发布说明，缺少独立基准与失败案例分析。
推荐收录：文章虽无独立基准，但明确给出了 vLLM TorchTPU 的插件接入方式、XLA/Pallas 内核分工、六种并行维度与 KV cache 卸载/分离式服务设计，能帮助读者理解 TPU 推理后端的系统边界。适合做 LLM 推理平台、异构硬件适配和分布式服务的工程读者参考，其“复用上游调度与缓存、在底层替换设备内核”的分层思路可迁移到其他加速器后端。主要风险是内容来自官方发布，性能和兼容性结论需结合 CI 与实测复核。
工程实践 vLLM Blog 2026/10/19
文章介绍 vLLM 中 Elastic Expert Parallelism 在 MoE 大模型推理服务里的近零停机扩缩容方案。作者指出传统扩缩 GPU 需重启引擎，先前 Elastic EP 仍需百秒级暂停；本文通过异步准备、NIXL EP 原地增删通信成员、保留已有 worker 的 CUDA graph，并让加入 worker 屏蔽远端 EP peer 后独立预热和捕获计算图，将重配置压缩为短暂提交阶段。基于 DeepSeek V4 Pro 与 GB200 的 16↔20 GPU 实验，扩容停机从 99.62 秒降至 0.82 秒，缩容从 56.25 秒降至 1.96 秒；在请求速率上升场景中完成 11391 个请求并保持 p95 TTFT 低于 5 秒 SLO。其适用边界是特定模型、硬件和热编译缓存，Dynamo/llm-d 自动扩缩容集成及 NIXL EP 性能、容错仍待完善。
推荐收录：文章给出可核验的量化结果和实现路径——异步准备、NIXL EP 原地扩展、CUDA graph 复用将 DeepSeek V4 Pro 的 16↔20 GPU 扩缩容停机从 99.62/56.25 秒降至 0.82/1.96 秒，并保持 SLO。适合 LLM 推理平台、分布式系统与 SRE 读者借鉴在线重配置和状态稳定性设计；需注意结论依赖特定模型、GB200 与热缓存，编排集成和 NIXL EP 性能仍处演进阶段。
工程实践 vLLM Blog 2026/10/16
文章介绍 vLLM 对 Reflection Beam（501B 参数、每 token 激活 23B 的 MoE 模型）的 Day 0 支持与推理优化。Beam 采用混合滑动窗口/NoPE 注意力、GQA、逐头 Q/K norm、sigmoid 输出门和 DeepSeek-V3 风格 MoE，并带有 FP32 router、Sandwich norm 与深度缩放残差。作者展示了由编码 agent 自动分析并实现的 kernel 融合、TP all-reduce 融合、FP32 router 专用 GEMM、QKV+gate 合并投影和 KV-cache 写入融合，使 TP8 batch-1 decode 从 8.95ms 降至 3.30ms，8×2K prefill 从 328ms 降至 176ms。高并发下 Attention DP + MegaMoE 达到 168.8K tok/s，DFlash2 推测解码配合自适应验证在并发 128 时提升 10.8% 吞吐并降低 p99 TPOT。文章还报告 AgentX 与 SkyRL RL 支持，但吞吐结果依赖低熵基准、GB300 硬件和特定配置，跨模型或负载迁移需谨慎验证。
推荐收录：文章给出了模型结构、kernel 级优化、并行策略和推测解码的完整工程证据，并附有可复现的启动参数、逐项延迟/吞吐数据及适用配置。对从事 LLM 推理服务、GPU kernel 优化和 vLLM 二次开发的读者，其融合边界、自适应验证取舍和 Attention DP/MegaMoE 组合具有可迁移价值；但需注意基准偏重低熵文本和固定 AgentX 回放，实际业务收益应独立压测。
工程实践 vLLM Blog 2026/10/16
文章介绍 vLLM 团队在 NVIDIA GB300 上为 Kimi K3 构建专用解码路径：用 CuTe DSL 自定义内核替换并融合注意力、MoE 和通信算子，按批大小调优形状、重叠计算与通信、优化 MoE 调度，并在通信期间预取权重。实测 TP16、batch 1 且启用 DSpark 时达 842 tokens/s，batch 16–64 提升约 1.62–1.71×，AgentX 并发 1 的 P90 交互性提升 1.8×。文章还提出隔离改动、限定支持范围但保留服务特性、系统验证正确性和广泛扫描性能四项原则，并披露编译器重排与长上下文数值问题。适用边界为 GB300、TP8/TP16、batch≤64 及特定投机解码配置，硬件与负载针对性较强。
推荐收录：文章不仅给出 842 tokens/s、1.5–2× 吞吐和 1.8× P90 交互性等可核验数据，还把内核融合、通信重叠、MoE 调度与正确性验证方法讲清楚。适合 LLM 推理服务、GPU 性能优化和框架维护者参考，其“隔离改动+限定范围+自动验证”的协作模式可迁移到其他推理后端；主要风险是结论高度依赖 GB300/NVLink 与特定批负载。
工程实践 vLLM Blog 2026/10/16
该文由 AMD 与 vLLM 社区撰写，复盘在八卡 AMD Instinct MI355X 上用 vLLM 服务 Kimi K3 的推理优化，并以 AgentX 智能体负载对比 NVIDIA HGX B300。在 50 tokens/s/user P90 下，AMD 达到约 7,567 tokens/s/GPU，较 B300 的 6,083 高 24.4%；按 SemiAnalysis TCO 模型，每美元 token 数高 87.4%。文章按缓存、MoE、内存流量、MLA、KDA 与投机解码六部分展开：DCP8/CPU offload 复用会话状态，消除跨 GPU 重复投影并释放显存，融合 KDA/AttnRes 核并删除无用拷贝，通过 query padding 启用 AITER 汇编 MLA，KDA 分组并行预填充与更小 tile，并用完整 draft-verify-commit 周期预算决定草稿数。技术备注还讨论 4-bit MoE、FP32 累加与 LDS 容量边界。结论依赖特定模型、TP8/DCP8、合成接受曲线和未完全公开的 TCO 假设，适合作为推理系统优化案例而非普适性能结论。
推荐收录。文章给出可核验的性能对比（50 tokens/s/user P90 下 7,567 对 6,083 tokens/s/GPU、24.4% 优势、87.4% tokens/$）和六个优化方向的 PR 级证据，适合 LLM 推理、GPU 内核与性能工程读者。其“比较 rank 重复计算、跟踪 buffer 消费者、计数独立 workgroup、按完整周期预算评估投机”的方法可迁移到其他推理栈；主要风险是 AMD/vLLM 立场、TCO 假设未完全公开且配置高度特定。
工程实践 vLLM Blog 2026/10/15
这篇 vLLM 官方博客介绍 Muse Spark Open 在 vLLM 上的 Day 0 支持。该模型是 816B 总参数、42B 激活参数的稀疏 MoE 模型，支持 1M 上下文与多模态输入。文章拆解 sandwich normalization、latent MoE 和交替全注意力/SWA，说明其降低长上下文 KV 缓存开销的原理，并给出 DSpark 投机解码、NVIDIA/AMD/TPU 并行优化和 LoRA RL rollout 实验。结论是 vLLM 已可在多硬件上部署并加速该模型，GRPO 微调使 AIME-2024 从 0.56 升至 0.85。但文章偏官方支持公告，性能依赖特定硬件、量化和 nightly 版本，复现需核对版本与配置边界。
推荐收录：文章不只是发布公告，而是给出了 Muse Spark Open 的 MoE 架构、SWA 长上下文策略、DSpark 投机解码、多硬件并行优化及 LoRA RL 实验数据，可作为 LLM 推理工程的具体案例。适合从事大模型推理、vLLM 部署、GPU/TPU 性能优化或 RL rollout 的读者参考。需注意其性能结论依赖特定硬件、量化格式和 nightly 版本，迁移时应重新验证。
工程实践 vLLM Blog 2026/10/14
文章讨论高性能 RL 训练中推理侧优化（低精度计算、FP8 KV 缓存、通信与 kernel 优化）改变数值，导致训练优化的策略与采样策略不一致，在 DeepSeek-V4-Flash 基线上 train-inference KL 从 2e-3 升到 29.9 且奖励回落。作者让训练前向直接调用 vLLM 推理 kernel，并改造这些高性能 kernel 使 rollout 与训练对每个采样 token 的 logprob 逐位一致（diff=0），从 kernel 确定性、批无关性、prefill/decode 阶段一致、跨 GPU 归约一致和统一数值契约五个维度展开。文章逐算子给出保留项、放弃项、提速方式与残余成本，并说明将跨 GPU 归约移出比较路径、CUDA Graph 与一致性共存的取舍。100 步训练中 diff 恒为 0，rollout 吞吐为基线 91.3%；迁移到 Mamba 混合 + NVFP4 的 Nemotron 后 SWE-bench Pro 分数保持而基线从 0.56 跌至 0.22。局限在于端到端墙钟收益尚未测量，TP>1 与解码上下文并行暂不支持，且 diff=0 不是训练质量的充分条件。
收录理由：文章以真实 100 步训练和 SWE-bench Pro 迁移实验为证据，逐算子给出数值对齐的保留、放弃、提速与残余成本，并公开 skill 与代码，属于可复现、可迁移的深度工程复盘。适合做 RL 训练、推理引擎或大模型基础设施的读者，用于理解 train-inference 数值不一致的根因、性能与一致性的取舍边界，以及如何用 Agent+skill 降低新模型的适配成本。主要风险是端到端收益与训练侧开销尚未完整量化，部分结论依赖具体硬件与并行布局。
工程实践 vLLM Blog 2026/10/14
文章介绍 vLLM 分离式（P/D）推理中新增的推送式 KV 传输连接器 NixlPushConnector，用于替代默认的拉取式连接器。拉取模式需在 prefill 完成后串行地转发元数据、由 decode 侧分配 block 并同步发起 NIXL READ，从而拉长首 token 延迟。推送模式改为 decode 侧在分配 block 时即向 prefill 注册目标地址，prefill 计算完成后由后台线程发起 NIXL WRITE 直接写入解码端显存，把协调与传输准备移出关键路径。文章详述了注册、rendezvous、传输三步协议与线程模型，并在 AWS P5en+EFA、Qwen3-32B 的 1P1D 基准中显示高负载长输入下 TTFT 最多约降 3 倍、TPOT 改善约 30%。作者也指出该模式需更早确定 decode 实例，牺牲了负载感知路由的灵活性，且效果依赖硬件与工作负载。
推荐收录：文章给出完整的三步传输协议、线程模型与可复现的基准配置，并附拉取/推送模式的取舍分析和实测 TTFT、TPOT 数据，属于有真实工程证据的系统优化案例。适合从事 LLM 推理服务与分离式部署的工程师阅读，其把传输准备工作移出关键路径、用后台线程解耦主循环的思路可迁移到其他延迟敏感系统。局限是结论依赖特定硬件、模型与负载配置。
工程实践 vLLM Blog 2026/10/14
文章介绍 vLLM 为缺少 confidence head 的草稿模型引入在线拟合接受概率估计器，从而让 Adaptive Verification（AV）可用。AV 会裁剪低接受概率的 draft token 以节省 target model 前向计算，但此前只支持带置信头的 DSpark。新方法以 drafter 的 logit(q_max) 为特征，按 draft 位置拟合共享斜率与独立截距的逻辑回归，并在服务中用 IRLS 基于 target 的接受/拒绝对连续更新。作者对比多种特征，强调无损性、AUC 与校准的权衡，说明 logit(q_max) 在排序和 ECE 间较平衡，且能适配模型对与流量。基准显示其在 DFlash、MTP 等模型对上带来吞吐收益，与训练头接近，但依赖变长验证后端，MTP/EAGLE 收益较小。
推荐收录。文章不是泛泛介绍 AV，而是给出可复现的工程方案：用 logit(q_max) 单一特征、K+1 参数量、IRLS 在线拟合，并披露 AUC/ECE/损失对比、逐位置差异和基准曲线。适合 LLM 推理服务、投机解码和性能优化工程师阅读，其无损性约束、特征取舍与在线校准方法可迁移到其他推理优化场景；局限是依赖变长验证后端且对 MTP/EAGLE 收益有限。
工程实践 vLLM Blog 2026/10/12
文章介绍 vLLM 面向多轮 Agent 负载的双向 KV 传输：在 P/D 分离部署中，解码节点保留已生成 KV 块并通过流式响应返回元数据，KV-cache-aware 路由器按 conversation_id 缓存并传给下一轮预填充节点，后者用 D→P NIXL READ 取回 KV，仅计算剩余后缀。文中用 decoder_kv_blocks_ttl 控制保留时间，用 kv_recompute_threshold 决定复用还是本地重算。在 1P1D、P5en 与 EFA 测试中，最长上下文下 TTFT 对 Qwen3-32B 降低约 1.6x、对 GLM-5-FP8 降低约 3.3x，KV 传输开销远小于节省的重算时间。结论依赖模型、网络与负载配置，固定 TTL 不续约等边界仍需部署调优。
推荐收录：文章给出 vLLM 双向 KV 传输的完整架构、NIXL connector 改动、路由器元数据流、TTL 与重算阈值取舍，并提供 1P1D P5en+EFA 上的可复现实验与调优脚本。它适合从事 LLM 推理服务、P/D 分离、KV 缓存与 Agent 基础设施的工程师，可直接迁移到降低多轮 TTFT 和提升加速器利用率的场景；需注意性能收益依赖模型、网络与工作负载配置。
工程实践 vLLM Blog 2026/10/09
文章介绍 vLLM 对 NVIDIA Vera Rubin NVL72 的早期支持与推理优化。Rubin 在 NVFP4 算力、HBM 带宽、NVLink 和 softmax 指数吞吐上较 GB200 显著提升；vLLM 借 Blackwell 内核兼容性实现 Day-0 支持，通过 FlashInfer 0.7.0 集成 Rubin 调优的 attention、GEMM、MoE 内核。针对 MoE decode 的内存瓶颈，作者用 CUDA 13.4 locality domain 与 split-N 权重切分，让 SM 只读本地 HBM，小 token 场景约 1.2x 加速。性能上，AgentX 中 MiniMax M3 达 GB200 每 GPU 7.84x 吞吐，MLPerf VLM 对 GB300 最高 3.7x。结果是初步的，通信未计入且优化仍在推进。
推荐收录：文章不仅给出 7.84x/3.7x 等性能数字，还公开了 Day-0 容器构建、Blackwell 内核兼容、locality domain 下的 split-N MoE 优化，以及 FlashInfer 后端配置和基准方法。对 LLM 推理性能工程师、平台/MLOps 团队有直接迁移价值；但需注意这是厂商早期预览，基准与内核配置仍可能随硬件和版本变化。
工程实践 vLLM Blog 2026/10/07
文章介绍 vLLM 团队在 DeepSeek-V4.1-Flash 发布后三周内对其推理性能的系统优化，在 SemiAnalysis AgentX 智能体服务基准上实现低并发 1.9×、150 TPS 约束下 5.3× 的吞吐提升。优化分两类：一是 SWA 有界重放，利用因果编码器-解码器架构只缓存全局 KV，在前缀命中时重算最后 128 token 的滑动窗口 KV，并在解码端仅对每个请求末段 128 token 运行 21–39 层，配合可拆分 CUDA graphs 降低小 batch 的 kernel 启动开销；二是内核融合与并行化，集成 MegaAttention、Mega-mHC、Mega-Gate、DeepSelect 等开源 kernel，并融合 all-reduce、稀疏 MQA logits、NVFP4 压缩 KV 等。精度上 GSM8K、GPQA 未见显著差异，但 SWA 有界重放并非位精确，收益主要体现在长提示与高吞吐场景，KV offload 尚未启用。
推荐收录。文章给出可复现的性能证据：SWA 有界重放配合 trimming 与 CUDA graphs 带来约 30% TTFT 下降和 1.9×–5.3× 吞吐提升，并附 GSM8K/GPQA 精度验证，内核部分逐项列出融合与并行方案的加速比。对从事 LLM 推理服务、GPU kernel 优化和长上下文智能体部署的工程师，其中缓存与重算取舍、CUDA graph 拆分、算子融合思路可直接迁移；风险在于 SWA 有界重放非位精确，收益依赖长提示与特定部署配置。
工程实践 vLLM Blog 2026/09/29
文章系统拆解 vLLM 的分离式服务：单个 vllm serve 进程同时承担 prefill（计算密集、决定 TTFT）、decode（显存带宽受限、决定 ITL）以及模板、分词、解析等 CPU 工作，彼此干扰。作者给出两类拆分——用 NIXL 等 KV connector 经 RDMA 传输 KV cache 的 P/D 分离，以及把 render/derender 与多模态预处理移到无 GPU 前端，并延伸到双向 KV 传输、encoder 与 MoE 分离。基于双 L40S 跑 Qwen2.5-7B 的实测显示，0.4 req/s 时 collocated p99 ITL 升至 169 ms，P/D 保持 29 ms；但 KV 传输慢会让 TTFT 从 0.7 s 涨到 2.2 s。文章还给出可运行配置、流式 derender 的 CPU 放大问题、正确性缺口，并指出低负载或 TTFT 敏感场景仍应保持 collocated。
推荐收录：文章既解释 P/D 分离与 render 前端拆分的机制，又给出双 L40S 实测的 p99 ITL、TTFT 与 goodput 对比、NIXL 配置步骤和传输排障方法，并用表格明确何时应保持 collocated。对部署 LLM 推理服务的工程师可直接迁移：先验证 KV 传输带宽，再按 TTFT/ITL 目标选拓扑，同时警惕流式 derender 的 CPU 放大与多轮场景的 KV 不匹配风险。
工程实践 vLLM Blog 2026/09/24
文章系统介绍 vLLM 中基于 Gumbel-max 的文本水印实现。它先提出文本溯源需平衡的四个约束：不改变模型输出分布、对改写编辑鲁棒、低延迟开销、检测尽量不依赖额外元数据。核心方法利用 Gumbel-max 采样等价于普通分类采样这一性质，用伪随机函数基于密钥与最近上下文为每个候选 token 生成可复现噪声，在不改变期望分布的前提下嵌入可检测信号；检测端重算噪声并累加得分，用 Gamma 分布计算 p 值。工程上把 PRF、Gumbel 变换和 argmax 融合为单个 GPU kernel，投机解码采用双密钥避免降低接受率，并用上下文去重缓解重复上下文导致的多样性下降。附录在 H100 上给出吞吐与质量数据，显示开销不显著，但检测在短文本或低熵输出上信号较弱。
推荐收录：文章不仅讲清 Gumbel-max 水印的数学原理，还给出 vLLM 中融合 GPU kernel、投机解码双密钥、上下文去重等真实工程取舍，并附 H100 吞吐与质量实测数据。对从事 LLM 服务、推理优化和内容溯源的工程师很有参考价值，其“非失真保证＋性能验证＋退化场景缓解”的方法可迁移到其他采样级功能实现。
工程实践 vLLM Blog 2026/09/22
文章介绍 vllm-metal v0.28.0，将 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端移植到 Apple Silicon，底层由 MLX 与 Metal 执行。它复用 mlx_lm 的按 token 独立层，仅替换为分页 varlen Metal 注意力内核，并用 cu_seqlens 打包查询、以块表管理 KV，从而在连续批处理中混合预填充与解码。文中对比 llama.cpp、oMLX、mlx_lm 在并发 agent 负载下的 TTFT、吞吐与延迟，还覆盖内存预算、批处理 MTP、M5 NAX 预填充与混合模型前缀缓存复用。局限是 MTP 仅支持 Gemma 4 贪心采样和同步调度，混合模型前缀缓存仍属实验特性。
推荐收录：该文虽为版本发布博客，但给出了 vllm-metal 的完整服务架构、分页 varlen 注意力实现细节以及与 llama.cpp、oMLX 等引擎在并发 agent 负载下的可复现基准。它适合在 Apple Silicon 上部署本地 LLM 服务、研究连续批处理与内存/延迟权衡的工程师，其 packed query、paged KV 和 MTP 批处理方案可迁移到其他硬件后端。
工程实践 vLLM Blog 2026/09/21
文章介绍 vLLM 团队在 GB300 NVL72 上对 Qwen3.8-2.4T（GDN/Full-Attn 混合层加 MoE、NVFP4 权重）做 PD 分离推理的调优流程与性能结果。核心方法是从显存账目出发：由 Full-Attn 每 token 每层 2 KiB、GDN 每请求约 4.2 MiB 推出 block 为 2112 token，再逐项扣除 CUDA 上下文、NCCL、权重、峰值激活与 CUDA graph 预留，估算每引擎最大并发。作者用纯 prefill（8192/2）和纯 decode（1/1000）分别筛选拓扑，得出 prefill 低并发选 TP4DP2+EP、高并发选 TP2DP4+EP，decode 低并发选 TEP8+MTP、高并发选 TP4DP4+EP。最终在 8K/1K 负载下达到 5000 total tok/s/GPU、180 gen tok/s/用户，GSM8K 准确率 95%，并公开可复现的 srt-slurm 配方。局限是结论绑定 GB300、特定模型与 vLLM nightly 版本，CUDA graph 显存估算偏保守，读者需自行复测。
推荐收录：文章把超大模型 PD 分离服务拆解为可复用的决策流程，给出 KV/GDN block 推导、CUDA graph 显存估算偏差与 prefill/decode 拓扑筛选的一手量化数据，并附可复现的 srt-slurm 配方。适合推理基础设施与 LLM 服务性能调优读者，其“先算显存账、再分离测量”的方法可迁移到其他模型；需注意结论依赖 GB300 与特定 vLLM 版本。
工程实践 vLLM Blog 2026/09/18
该文介绍 vLLM 集成 NVIDIA PyNvVideoCodec（NVDEC 硬件视频解码）的方案，用于解决多 GPU 视频字幕任务中的 CPU 解码瓶颈。此前 vLLM 只能走 OpenCV+FFMPEG 的 CPU 解码路径，在每 GPU 一个副本的部署下 CPU 核心很快耗尽，还未到 4 GPU 就成为瓶颈。作者给出启用方式：先启动 CUDA MPS 守护进程，再通过 --media-io-kwargs 选择 pynvvideocodec 后端、用 --mm-ipc-gpu-memory-gb 预留解码显存，并建议一容器一 GPU、反向代理分发请求。基准显示在 8×H100 上 GPU 解码吞吐超过 CPU 解码两倍以上，CPU 瓶颈被消除。边界在于硬件解码需预留部分显存，若 KV cache 已占满全部显存可能受影响。
推荐收录。文章给出了真实工程瓶颈（CPU 视频解码成为多 GPU VLM 推理瓶颈）的量化证据、可复现的启动命令与 8×H100 吞吐翻倍的对比数据，并明确说明显存预留限制，属于可迁移的工程经验。适合从事多模态 VLM 推理、视频数据处理和大模型服务扩容的工程师参考。
工程实践 vLLM Blog 2026/09/15
文章介绍 Novita AI 开源的 Chord 高性能 W4A16 MoE CUDA 算子，面向 BF16 激活、INT4 权重与 group-32 量化，针对 Kimi K2.x 推理场景。Chord 分两个内核族：基于 Humming 的 indexed 路径和源自 DeepGEMM 的 grouped SM90 路径，分别适配 prefill 与 decode 的路由形态。作者详述内核优化技术，如 WGMMA 流水线、按 expert token 数选择 block-M、stream-K 门控及 grouped 模式的 BM/BN/BK 启发式。在 H200 和 B300 上逐层测量显示，相比公共 Humming，indexed 路径取得 1.11–1.33x 加速，grouped 路径在 H200 EP8 达 1.16–1.35x，端到端吞吐提升约 4–10%。文章指出 B300 对比基于未调优的 Humming 默认配置，grouped 与 vLLM 集成仍在进行，性能数据为内核层面而非端到端保证。
推荐收录。文章不仅给出 Chord 算子的设计细节与优化手段，还提供了可复现的基准测试方法和逐层性能对比，并坦承 B300 对比的未调优前提与 grouped 集成尚在开发中。对从事 LLM 推理优化、GPU 内核开发或 MoE 量化部署的工程师而言，文中的 workload 驱动的调优策略、WGMMA 流水线设计和路由形态分析具有直接的迁移价值。
工程实践 vLLM Blog 2026/09/15
文章介绍 vLLM Speculators 训练库如何为 2.8T 参数的 Kimi K3 训练并部署 DSpark 草稿模型。DSpark 在 DFlash 并行块草稿基础上加入 Markov logit-bias head 和 confidence head，通过顺序校正与硬件感知调度缓解 suffix decay，并提升接受长度。作者在 GB300 NVL72 上验证，数学推理单流交互性从约 110 提升到约 435 tok/s/user，并发下输出吞吐最高约 3.5 倍。为突破单节点显存限制，文章实现 MooncakeHiddenStatesConnector，通过 Mooncake 在 vLLM 推理与 Speculators 训练间流式传输隐藏状态，并采用两节点推理、一节点训练的三节点组拓扑。主要边界是效果依赖大规模 GPU 集群、特定模型量化、负载类型和长上下文配置，性能数字来自特定评测环境。
推荐收录：文章给出了 DSpark 算法组件、Mooncake 隐藏状态传输、三节点训练/推理拓扑和实测吞吐/交互性数据，是可迁移的 LLM 推理优化与分布式训练工程案例。适合 vLLM 部署、推理加速、GPU 集群训练方向的工程师和研究者阅读。风险在于依赖 GB300 NVL72 与 Kimi K3 特定环境，部分收益需在自身负载上复测。
工程实践 vLLM Blog 2026/09/13
文章系统复盘了 vLLM 为 Kimi K3 所做的端到端推理性能优化，在 B300 节点、8K/1K 负载、TP8 与 8-token DSpark 投机解码配置下，把延迟降低 56%–60%、吞吐提升 2.2–2.8 倍、TTFT 下降 72%–85%。核心方法包括自适应调度 token 预算、KDA 前缀检查点内嵌于单次 prefill、零拷贝混合 KDA 批处理、MXFP4 top-k 融合进 latent-tail 内核，以及用 ReplaySSM 重建而非存储 SSM 状态。文章还讨论了 prefill/decode 分离与混合状态卸载、decode 上下文并行（DCP）在长共享前缀场景下的 KV 容量与 TPOT 收益，并附有各改动对应的 PR 编号与量化数据。其结论针对 Kimi K3 这类混合 KDA+MLA+MoE 架构，优化收益依赖具体硬件与负载形态，未覆盖其他模型或更广泛工作负载。
推荐收录：文章给出具体 PR 编号、量化的 TTFT/吞吐/延迟对比表和显存容量数据，展示了从瓶颈识别到内核融合、状态管理与并行策略的完整工程取舍链路。适合做大模型推理服务、GPU 内核优化或 vLLM 二次开发的工程师阅读，其中自适应调度预算、零拷贝批处理和 ReplaySSM 等思路可迁移到其他长上下文与投机解码场景；风险在于结论高度绑定 Kimi K3 架构与 B300 硬件，直接套用到其他模型需重新验证。
工程实践 vLLM Blog 2026/09/10
文章系统介绍了 vLLM 中的分层 KV 缓存卸载框架，核心设计是所有 KV 数据经由主机内存流转：卸载时先异步拷贝到主机并立即释放加速器内存，再由主机异步写入文件系统、对象存储或远端 P2P 节点；重载时从主机缓存或次级层按序加载，实现即时分配与整合 I/O。该框架通过规范化内存布局保证跨节点、跨并行配置直接共享 KV 数据，并透明支持全注意力、滑动窗口、MLA、Mamba 等混合模型。文章还描述了可扩展的次级层接口、KV 事件与可观测性，并给出性能测试：并发会话超过 128 时，存储层卸载仍能维持高命中率，吞吐量比无卸载方案翻倍以上，但存储延迟使其无法达到峰值吞吐。
推荐收录，因为文章来自 vLLM 官方博客，深入剖析了分层 KV 缓存卸载的主机中心设计、规范化内存布局、次级层抽象与 KV 事件机制，并给出可复现的性能基准，展示了从 HBM 到 CPU 再到存储的完整数据流与权衡。对从事 LLM 推理服务、缓存系统或高性能基础设施的工程师而言，其设计原则（即时分配、整合 I/O、跨节点共享）可直接迁移，具有长期参考价值；风险是部分实现细节绑定 vLLM。
工程实践 vLLM Blog 2026/09/10
文章复盘 vLLM 在 AMD Instinct MI355X 上优化 MiniMax M3 推理服务的完整过程，给出固定 8K/1K 负载下 MXFP8、MXFP4、EAGLE3 和 P/D 分离等多项吞吐与延迟结果，如并发 32 时 MXFP8 输出吞吐提升 3.14 倍，并发 128 时 P/D 达到 6370.5 total tok/s/GPU。作者以“一个 decode step 的五个问题”组织方法：确认 TP 分片后的本地 GEMM 形状、合并重复的共享专家与索引计算、减少 KV/元数据搬运、验证快速路径是否真正执行且正确，并在叶内核优化见顶后转向队列、缓存与 OS 限制。文章还强调 configured/eligible/executed 的区别以及性能与正确性门禁，并说明固定负载策略不计算跨层索引复用、AgentX 单次结果等边界。
推荐收录。文章以 PR 级 A/B、InferenceX 基准和可复现启动命令为证据，展示了从 kernel 到 P/D 队列的系统级瓶颈迁移和可迁移检查清单，适合 LLM 推理性能、GPU 与 vLLM/ROCm 工程读者参考；风险是部分结论绑定特定镜像、拓扑和工作负载，不能直接外推。
工程实践 vLLM Blog 2026/09/08
文章介绍了 vLLM 针对真实世界 Agentic Serving 工作负载所做的一系列推理优化，重点覆盖 KV 缓存管理、并行策略、调度机制以及预填充/解码分离（P/D disaggregation）四个层面。作者结合 SemiAnalysis AgentX 基准，展示了在长上下文、多轮工具调用和快速连续生成等 agentic 场景下如何调整 vLLM 架构，在 GPU 每秒吞吐和总体服务成本上取得显著收益。文中给出量化结果，包括高达每 GPU 秒 130K token 的吞吐，以及相比 Opus 5 的 14.6 倍到 106 倍服务成本优势。文章还隐含了这些优化适用于高并发、长上下文、且存在复杂状态管理的 agent 服务场景，但未深入讨论不同硬件或模型架构下的普遍性，也没有给出具体实现细节和负面情况。总体是一篇以工程实证为主、面向系统优化者的实践分享。
推荐收录，因为它直接呈现了 vLLM 对 agentic 场景的针对性工程优化和量化基准结果，而非泛泛的性能讨论。对负责 LLM 推理服务、Agent 基础设施或高吞吐 GPU 服务的读者，KV cache 管理、调度和 P/D 分离的取舍思路具有可迁移参考价值；但需注意结果依赖特定 benchmark 和模型版本，迁移时应自行验证。
工程实践 vLLM Blog 2026/09/08
文章介绍 vLLM 为 GLM 5.3 引入的 Hybrid HiSparse 混合稀疏卸载方案，面向长上下文、高并发的智能体推理场景。其核心是 KV 缓存默认常驻 GPU，仅在显存池紧张时按页逐步放弃驻留，并把索引器选中的 top-K 行放入与常驻页共享同一 HMA 池和 KV 张量的热缓冲区，让请求在部分驻留状态下继续解码，避免抢占重算或等待整段 KV 回迁。文中给出完整驻留、混合驻留、无驻留三种状态及内核解析流程，并说明与 P/D 分离、投机解码、前缀缓存等组件的兼容方式。在 8×H200 的 OpenHands 多轮负载上，该方案首次支持 100 万上下文并显著提升并发；但仅支持 NVIDIA GPU 与稀疏 MLA，热缓冲区需按投机 token 数调整，并发估算仅为规划参考。
推荐收录：文章给出真实系统约束下的完整工程方案，包括三种 KV 驻留状态的机制、热缓冲区与 HMA 池共享的设计取舍、基准测试数据以及可复现的启动命令与数据集脚本。对做 LLM 推理服务、KV 缓存管理和长上下文并发的工程师具有直接迁移价值；局限是仅支持 NVIDIA GPU 与稀疏 MLA 路径，且热缓冲区受投机解码约束，需结合自身配置验证。
工程实践 vLLM Blog 2026/09/07
该文介绍 vLLM TT Plugin，通过 vLLM 的树外平台插件机制将 Tenstorrent 加速器接入 LLM 推理服务，并保持 OpenAI 兼容 API 不变。文章重点分析 Tenstorrent mesh 架构与 GPU 栈的本质差异：跨芯片并行被编译进单个 traced program，因此没有 TP/PP rank，调度器须将每个步骤严格拆为 prefill-only 或 decode-only。为支持 Galaxy 上的单执行模型，作者采用单进程 lane 数据并行（TTLaneCoordinator 管理独立调度器与 KV cache），避免多进程 scatter/gather 开销；同时实现按批次回退的 on-device sampling 和基于异步 readback 的 decode overlap。文末列出当前限制，如暂不支持投机解码、LoRA、prompt logprobs 和多主机服务，这些多属运行时实现约束而非硬件极限。
推荐收录，因为它不是硬件发布稿，而是详细复盘了非 GPU 架构下 LLM 推理服务的设计取舍：插件边界、阶段化调度、单进程 lane DP、异步 readback 等均有明确动机、代价与验证。适合 LLM 推理基础设施、异构加速器和 vLLM 插件开发者阅读，其“将设备差异封装在插件内、不 fork 上游”的方法可直接迁移到其他新加速器适配场景。
工程实践 vLLM Blog 2026/09/01
文章介绍 vLLM-Omni 对 MiniMax H3 视频-音频联合生成模型的系统级服务优化，以及集成 FastVideo 四步蒸馏版 FastH3 实现完整 MP4 生成快于播放。作者把端到端链路拆成编码器、长序列音视频 DiT、并行 VAE 解码、GPU 输出准备与 H.264/AAC 封装，并用长序列注意力/通信优化、融合 DiT 算子、并行 VAE、紧凑传输和并行 MP4 构建，在 8×B300 上把基础 H3 端到端延迟较 Diffusers 降低 30.8%。随后引入四步 FastH3，在 10.125 秒 MP4 上取得 8.678–8.710 秒干净端到端延迟，5/10/15 秒扫描全部满足 RTF_client≤1.0。文章还给出 DLO、编码器解耦、Online FP8、SAGE/Skip-Softmax 注意力和 Cache-DiT 等可选路径的兼容边界与质量-性能权衡。局限是两条证据通道未做同源 A/B，FastH3 与 DLO、量化、编码器解耦等组合未完全验证，且缺少匹配的多随机种子质量对比。
推荐收录，因为它不是基准数字堆砌，而是完整呈现了系统瓶颈分解、冻结实验控制、有损/无损优化边界和兼容性矩阵，并公开了可复现命令、版本与限制。适合多模态生成模型推理服务、GPU 性能优化和分布式推理基础设施的读者，其“先量化全链路开销，再用少步蒸馏攻击主导项”的方法可迁移；主要风险是部分证据待发布、未做同源 A/B 与多随机种子质量对比，不能直接推导跨配置加速比。
工程实践 vLLM Blog 2026/08/22
vLLM 博客介绍了基于 Ray Direct Transport（RDT）的分片权重传输引擎，用于在线 RL 中训练端到 Megatron/vLLM 推理端的周期性权重同步。传统 NCCL 广播要求所有 rank 同步参与、每个 worker 接收完整模型，在万亿参数和宽专家并行下造成显存与带宽瓶颈；作者改为由推理端按需从训练端拉取分片权重，并用“recording tensor”空跑记录各层权重加载的变换操作链，生成与任意模型和并行配置兼容的 sharding plan。引擎在初始化阶段收集所有权元数据并注册 NIXL 缓冲区，同步阶段按权重组分块，重叠 gather、RDMA 传输与后端 process/copy。Qwen3-235B 同步由基线 64.72s 降至 3.49s，Kimi K2 在 48 节点上 7.9TB 权重同步仅 7.53s（约 1049 GB/s），并演示了推理副本故障后训练不中断、副本在同步边界回归的容错行为。局限包括加载器操作须可记录、RDT 缓冲区不计入显存预算、暂不兼容 EPLB，且跨 PP 传输仍串行。
推荐收录：文章给出真实的大规模权重同步工程问题、完整设计权衡（拉取式分片传输、recording tensor 生成 sharding plan、NIXL/RDMA 流水线）以及可验证性能数据（Qwen3-235B 从 64.72s 到 3.49s，Kimi K2 48 节点 7.53s），并明确列出限制与后续方向。适合从事 RL 训练、LLM 推理服务与分布式 GPU 通信的工程师，其中元数据驱动的通用传输与流水线重叠思路可迁移到其他跨节点数据搬运场景。
工程实践 vLLM Blog 2026/08/21
文章介绍 vLLM/Megatron 生态中的 IsoExec，旨在消除 RL 训练中 rollout 引擎与 trainer 因不同 kernel、批形状和并行布局导致的浮点非结合性不匹配。其核心是跨运行时执行契约：按 region/case 固定实现、累积 dtype 与归约顺序，并用语义及数值策略摘要校验；同时提供并行不变 kernel 与 CPR Gated DeltaNet，使训练、prefill 和 decode 位级一致。在 8×H100 上训练 Qwen3.5-35B-A3B DAPO，契约覆盖范围内实现零不匹配，logprob 差异显著下降，但端到端仍有约 25% 开销。局限是 50 步内未见 reward 提升，且上下文并行、Blackwell、稀疏注意力等尚未覆盖。
推荐收录：文章给出了可验证的工程证据——通过执行契约和统一模型在 vLLM 与 Megatron 间消除覆盖区域的训练-推理数值不匹配，并在 8×H100 上报告 25% 开销与 50 步 DAPO 的 logprob/奖励数据。适合训练基础设施、RLHF/RL 系统和推理引擎开发者，其契约化数值一致性方法可迁移到跨框架一致性、并行不变 kernel 与混合线性注意力部署中；但短期无 reward 提升且开销不低，需结合业务权衡。
工程实践 vLLM Blog 2026/08/17
本文介绍 vLLM-Omni 的分布式逐层卸载（DLO），用于在多 NPU/GPU 上运行超出单卡 HBM 的 DiT 模型（如 64B/124GB Cosmos3-Super）。方案结合 meta device+mmap 加载、权重分片+AllGather 重建、双缓冲预取与计算重叠、DP 多并发。实测 Ascend 910B3 上冷启动 cgroup 峰值由 178GB 降至 47GB，主机内存从 O(dp×model) 降为 O(model+dp×常数)，4 并发吞吐达 HSDP 单请求的 3.3 倍；B300 上 DLO+AG DP4 吞吐为 HSDP+USP4 的 1.39 倍且 HBM 仅 30%。MiniMax-H3 表明 DLO 模式依赖拓扑：DP1×SP8 宜用 AllGather，DP8×SP1 宜用 rank-local。但 400GB 外推未实测，最大块尺寸、带宽与输出质量在该规模仍未验证。
推荐收录：文章给出可复现的系统级设计，四项技术分别对应明确的内存/吞吐瓶颈，并附 Ascend 与 B300 实测数据及失败边界。对从事大模型推理基础设施、显存受限模型部署和分布式并发的工程师有直接迁移价值；需注意 400GB 外推未实测，拓扑结论限于单节点单输入集，不能直接当作通用生产结论。
工程实践 vLLM Blog 2026/08/14
该文介绍 vLLM 中基于 DSpark 置信度头的自适应推测解码验证机制。问题在于：固定 num_speculative_tokens（如 7）在低并发内存受限时收益高，但高并发下草稿 token 与真实 token 争抢算力，被拒 token 会浪费有效计算并拉低吞吐，且最优长度随负载变化无常量解。作者用 DSpark 置信头给出每个草稿位置的存活概率，将其转为全局 top-B 选择，B 由「每步期望产出 token / 单步耗时」最大化决定，并配合 varlen decode CUDA graph、启动期 profiled 成本表和单调化查表来降低决策开销。实测在 DeepSeek-V4-Pro-0813、8×B300 上，自适应验证使推测解码在并发 1 到 256 全程保持帕累托前沿，低并发表现为长草稿、高并发自动缩短。文末给出启用条件与限制：需 AttentionCGSupport.ALWAYS、不支持 --enforce-eager/LoRA/流水线并行，且开启后无法输出 logprobs。
推荐收录。它完整呈现了从现象（高位草稿接受率低于 10%）、成本模型、调度算法到 CUDA graph 与实测帕累托曲线的工程闭环，附可复现命令与明确限制。适合做 LLM 推理服务、吞吐优化的工程与研究者，其按负载动态分配验证预算、profiled 成本表驱动决策的思路可迁移到其他投机/批处理调度场景。
工程实践 vLLM Blog 2026/08/07
文章介绍 vLLM 的 Decode Context Parallelism（DCP）如何服务长上下文与 agentic 推理。传统张量并行按注意力头切分 KV cache：GQA 受 KV 头数限制，MLA 只有单一 latent KV 头，因此超出后 KV cache 会在 TP rank 间复制，挤占显存并限制并发。DCP 改为按序列维度切分 KV cache，每个 GPU 只保存一段 token 的 KV，并通过 AllGather Q、本地 attention 计算、AllGather+ReduceScatter 与 LSE 在线 softmax 合并局部结果。在 8×B200 上用 Kimi K2.6 NVFP4 与长上下文 agent trace 实测，基线 TP 在并发 64 触顶约 1863 tok/s/GPU，DCP 可扩到并发 512、约 6091 tok/s/GPU，并在 200k+ 序列保持稳定。文中给出 MLA/GQA 的启用方式与并行度约束，也指出其依赖高带宽 GPU 互联，对 MTP、推测解码和 P/D 分离等支持仍在演进。
推荐收录：文章用可复现的 8×B200、Kimi K2.6 NVFP4 和 64K–1M agent trace benchmark，量化了 DCP 相对 TP 在并发与吞吐上的收益，并解释了 MLA/GQA 下 KV cache 复制机制、DCP 通信流程与并行度约束。适合 LLM 推理基础设施、长上下文服务和推理优化方向的读者参考；其按序列切分 KV cache 并用 LSE 合并局部 attention 的思路可迁移到其他推理引擎，但部署时需评估高带宽互联依赖以及 MTP/推测解码等尚未覆盖的边界。