工程实践 NVIDIA Technical Blog 2026/10/29
文章评估在机器学习原子间势（MLIP）推理中，用 Tensor Core FP32 方法替代原生 FP32 GEMM 的可行性与收益。作者在 PET 模型上分别测试 Blackwell 的 BF16x9 和 Ampere 的 TF32x3：大体系 GEMM 分别加速 2.2–2.5 倍和 1.7–1.9 倍，完整 MD 步最高约 1.7 倍和 1.5 倍，且 BF16x9 的误差低于模型自身的非确定性。除单点能量和力误差外，文章还用 CO/Pt(111) 势能曲线、NVE 能量漂移及 539 原子 Cantor 合金结构弛豫验证数值稳定性，显示 TF32x3 接近 FP32，而单次 TF32 出现漂移和不收敛。结论指出收益取决于体系规模和 GEMM 占比，小体系提升有限，TF32x3 仍需按模型精度与物理稳定性要求验证。
推荐收录：文章给出可复现的基准数据、精度对比和分子动力学层面的稳定性验证，不是泛泛介绍 Tensor Core。对做科学计算、GPU 性能优化或精度敏感 ML 推理的读者，BF16x9/TF32x3 的评估方法和“先验证物理一致性再上线”的取舍可直接迁移；需注意其结论受体系规模、GEMM 占比和硬件代际限制。
工程实践 NVIDIA Technical Blog 2026/10/19
文章介绍 Jane Street 与 NVIDIA 合作，用 Python DSL cuTile 为 Mamba-2 状态空间模型实现并优化前向传播的三个自定义 kernel。作者先从 Mamba-2 的分块递推与衰减项出发，推导出 log-space 累积和、状态跳跃公式和输出矩阵形式，再分别实现 chunk_cumsum、fwd_pass_state 和 compute_out，利用 ct.cumsum、ct.mma、寄存器内融合、因果掩码和 TF32 Tensor Core 加速。优化涵盖 DRAM 延迟提示、A/B 操作数交换以适配 Blackwell 的 Tensor Memory、转置内存布局以启用 TMA，以及按输入形状搜索 block size 和 occupancy 的自动调优。在单张 B300 上与 Triton/mamba_ssm 对比，前向 kernel 获得 1.14x 到 1.82x 加速，且随序列长度和 state size 增长更明显。结论仅限 kernel 级前向性能，端到端训练还依赖反向传播实现，读者需具备 CUDA/Tensor Core 和 Mamba 基础。
推荐收录，因为文章不仅给出 Mamba-2 前向的分块数学推导，还提供了三个 cuTile kernel 的完整代码、Blackwell 上的内存/Tensor Core 优化取舍和可复现 benchmark。对做 GPU 算子优化、序列模型推理/训练加速或 CUDA Tile 迁移的工程师有直接参考价值；不过结论是 kernel 级前向加速，不能直接等同于端到端训练收益。
技术文章 NVIDIA Technical Blog 2026/10/07
文章介绍 NVIDIA cuOpt 新增的多 GPU 一阶线性规划求解器 mPDLP：它把大规模 LP 问题分布到通过 NVLink/NVSwitch 互连的多张 GPU 上，并用 NCCL 完成通信。文中先解释 PDLP 以稀疏矩阵-向量乘（SpMV）为核心热循环，再说明 mPDLP 采用 min-cut 图划分，把两次连续 SpMV 共享的 x、y 向量依赖联合考虑，通过减少二分依赖图的割边来降低跨 GPU 通信。在 100 多个 LP 实例、DGX B200 平台上，加速与问题规模强相关：非零元超过 10^7 才明显，PDLP 迭代本身最高约 11.4x，相对 D-PDLP 在多数大规模实例上有 1.2x–2.5x 提升。文章也指出小问题受迭代同步开销拖累、割边比例高的稀疏结构可能抵消加速，且三个超大实例上反而变慢、样本有限。
推荐收录。文章给出了分布式 LP 求解的完整方法链路——PDLP 迭代推导、min-cut 划分依据、二分依赖图割边与通信量的对应关系，并附 100+ 实例基准数据及“非零元 >10^7 才见效”“割边比例高会反向变慢”等可验证边界。适合做 GPU 加速优化、HPC/分布式数值计算或大规模决策系统的读者，其把算法通信模式映射到图划分的思路可迁移到其他分布式稀疏计算场景。
技术文章 NVIDIA Technical Blog 2026/10/07
文章介绍 NVIDIA cuPhoton 开源 CUDA-X 工具包，面向天文、X 射线等高吞吐科学成像，目标是把从传感器读取到分类的完整处理链保留在 GPU 上。核心模块包括 xDataReader 直接加载 FITS、xRep 图像对齐、xPois PSF 匹配与差分、xFit 偶极拟合、xScan 候选审查以及 xRay 时域分析。文章以 Rubin Observatory LSSTCam 每 39 秒产生 3.2 吉像素曝光、每晚约 20 TB 和千万候选为背景，说明处理需在 60 到 120 秒告警窗口内完成，并给出多 GPU 下读取最高 14900 倍、信号处理最高 14550 倍的加速，但强调这是单操作而非端到端流水线数据。随后用合成天文图像演示加载、WCS 对齐、卷积核匹配差分、偶极拟合和审阅界面，并说明多 GPU/多节点 MPI 扩展方式。边界上，xDataReader 不支持 Rice 压缩和抖动浮点量化，示例依赖 CUDA 13/Linux 与特定 GPU，性能数字会随负载、实现和硬件变化。
推荐收录，因为文章给出了具体模块 API、FITS/GPUDirect Storage/nvCOMP 路径、PSF 匹配与偶极拟合公式、可运行代码和明确的不支持项，不是产品发布或泛泛宣传。它适合做 GPU 科学计算、高吞吐图像流水线和多 GPU 扩展的工程与研究人员，可迁移到需要在设备端完成加载、对齐、差分和批拟合的场景；但性能数字为单操作且依赖特定硬件，外推时需谨慎。
技术文章 NVIDIA Technical Blog 2026/10/06
文章解析 NVIDIA DOCA GPUNetIO 与 GDA-KI 如何构成统一的 GPU 发起网络基础，使 CUDA 内核直接驱动 Ethernet、RDMA、Verbs 与 DMA，将 CPU 移出应用关键路径。文中说明 CPU 控制路径与 GPU 数据路径的分工、高/低层 API 差异，以及普通门铃、BlueFlame、CPU 协助门铃三种提交机制。它还比较开源 Verbs 版与完整 DOCA SDK 超集，指出前者可在运行时通过 dlopen 调用 SDK 功能。文章列举 NCCL GIN、NVSHMEM 3.7、NVQLink/Holoscan 等集成，并给出 Reduce-Scatter、shmem_put_bw 基准及约 2.6 微秒往返延迟数据。其边界是内容紧密绑定 NVIDIA GPU 与 ConnectX/DOCA 生态。
推荐收录，因为文章给出了统一 GDA-KI 架构的设计动机、控制/数据路径分工、门铃模式与 API 分层等可核验细节，并附 NCCL/NVSHMEM 基准数据说明 GDA-KI 对小消息和 CTA/QP 扩展的收益。适合从事分布式 GPU 通信、集合通信库或低延迟网络的工程师参考，其“共享实现点”与性能取舍思路可迁移到其他 GPU 网络栈评估，但需注意硬件与 DOCA 生态绑定。
技术文章 Ken Shirriff 2026/09/26
文章围绕 Intel 8087 浮点协处理器的 FPTAN 正切指令，作者通过开盖显微成像、微码 ROM 逆向和数值分析，解释其如何把 CORDIC 与 Padé 有理逼近结合起来。CORDIC 用 arctan(2^-n) 特角序列与移位加减实现旋转，但 16 步仅约 16 位精度；8087 先用 CORDIC 伪除法确定 16 个旋转决策位，再把剩余小角度交给 3x/(3-x^2) 有理逼近，最后通过伪乘法逆序应用旋转得到 X、Y。文中还给出微码级实现、隐式定点指数缩放、移位寄存器、SQUARE 子程序及 0.95 输入的分步示例，并讨论参数范围、精度异常和性能占比。结论是这种混合算法以较少硬件兼顾速度与 64 位精度，而 Pentium 后转向多项式是因为快速乘法器已普及。其边界在于历史硬件逆向，并非现代浮点库实现指南。
推荐收录。文章以开盖显微照片、微码 ROM 反汇编和逐步数值表为直接证据，完整还原 FPTAN 的 CORDIC 伪除法、有理逼近与伪乘法流程，技术细节可验证且远超一般科普。适合计算机体系结构、浮点运算、逆向工程与数值算法读者，可迁移价值在于混合算法设计、隐式定点指数管理和微码性能分析。
工程实践 NVIDIA Technical Blog 2026/09/22
本文由 NVIDIA 工程师撰写，介绍开源工具 Topograph 如何为 AI 工厂/GPU 集群提供拓扑感知的工作负载调度。核心问题是：分布式训练与推理需要通信局部性，若调度器不掌握当前的 GPU 与网络互连关系，工作负载会被打散到远端拓扑域，导致跨链路竞争、吞吐下降与成本上升。Topograph 通过 provider（从云 API 或本地 InfiniBand/Spectrum-X/MNNVL 发现拓扑）与 engine（输出 K8s 节点标签、NFD 资源、Slurm topology.conf 或 Slinky ConfigMap）两层抽象，把异构环境归一化为统一模型，并由 API Server、Node Observer、Node Data Broker 等组件在集群变化时自动重算。文章给出 Helm/native 包部署、节点标签校验、亲和性配置，以及与 KAI Scheduler、Kueue、Slurm、Slinky 集成的完整示例。主要边界是：它反映的是上报而非预期拓扑，部分能力依赖特定 provider、版本或 alpha 特性开关，且文中未给出量化性能收益。
推荐收录，因为它用可验证的仓库、Helm chart 和 API 端点具体展示了 GPU 集群拓扑感知调度的架构权衡与落地步骤，而非泛泛宣传。适合负责 AI 基础设施、GPU 调度、Kubernetes/Slurm 集群运维的工程师参考，其 provider/engine 抽象、标签层级与自动刷新机制可迁移到其他异构算力调度场景。风险在于其性能收益未量化，且部分特性依赖 alpha 开关与特定版本。
技术文章 Daniel Lemire 2026/09/15
文章用 C++ 微基准测试 IEEE 次正规浮点数在不同处理器上的性能代价，覆盖乘法、数组相加、除法和依赖乘法链，并对比正常、全部次正规及 1% 次正规输入。实验在 GCC 15/clang 17 的 O3 -march=native 下运行，覆盖 Intel Granite Rapids、Emerald Rapids、AMD Zen 5、AWS Graviton 5 和 Apple M4 Max。结果显示 Intel 上次正规乘法约慢 45–50 倍，除法约慢 18 倍，依赖链每步从约 1 ns 增至 30 ns 以上，乘法延迟从 4 周期升至 128 周期；加减法不受影响，正常输入产生次正规输出同样慢。AMD 乘加基本全速，依赖链约慢三分之一，除法约慢一倍；Arm 几乎无惩罚。作者认为最新 AMD/ARM 上可较少担心次正规性能，但 Intel 仍是显著问题；结论来自微基准，实际负载仍需验证。
推荐收录：文章给出跨 Intel、AMD、Arm 五款处理器的可复现微基准与源码，量化了次正规浮点在 Intel 上乘法约慢 45–50 倍、除法约慢 18 倍等关键数据。对做数值计算、HPC、机器学习或游戏引擎的读者，可用于判断何时规避次正规数；但结果属微基准，迁移到真实负载前需结合向量化和数据分布验证。
科研议题 Microsoft Research Blog 2026/08/20
文章介绍微软研究院推出的 Skala 1.1，一种基于深度学习训练的 DFT 交换关联泛函。相比上一版本，训练数据量扩大 2.5 倍，在 GMTKN55 基准上加权平均误差达到 2.8 kcal/mol，以 meta-GGA 计算成本超越全局杂化泛函，并改善了电子密度、偶极矩和分子几何结构预测。Skala 已集成到 CP2K，并正在接入 Psi4、FHI-aims、ORCA 和 VASP 等主流电子结构软件。文中展示了 CP2K 与 PySCF 实现之间的数值一致性验证，误差在 0.1 kcal/mol 以内，同时给出 CPU/GPU 性能对比，并推出持续更新的性能基准报告。整体体现了连续改进的模型迭代思路，但作为项目进展公告，未深入展开模型架构与训练细节。
推荐收录，因为文章提供了明确的基准数值、跨软件集成验证和性能对比，展示了深度学习 DFT 从研究原型走向工程可用的路径。对计算化学、材料科学和 AI for Science 的读者有参考价值，尤其有助于了解 Skala 的集成方式和验证方法。需要注意这是项目公告，适合作为发展脉络的长期记录，而非方法论详述。
技术文章 NVIDIA Technical Blog 2026/07/20
文章系统介绍了NVIDIA NVLink技术在AI工厂中的横向扩展网络角色，从第一代到第五代的演进，重点解析了第五代NVLink提供的1.8 TB/s总带宽、NVSwitch实现的GPU全互联拓扑，以及NVLink-C2C实现Grace CPU与Blackwell GPU间内存一致性的片间互连。作者结合DGX和HGX系统实例，展示了NVLink如何支撑万亿参数模型训练和实时推理，并概览了未来NVLink 6和7的性能指标。文章主要基于NVIDIA官方视角，对NVLink技术的原理、性能和系统架构提供了深入描述，但内容局限于NVIDIA生态系统，未涉及替代方案或成本权衡。
推荐收录，因为文章详细解释了NVLink的协议设计、拓扑演进和性能数据，并提供了具体的系统集成案例，对于需要理解大规模AI训练基础设施的工程师和架构师具有明确参考价值。尽管带有官方宣传色彩，但其技术深度仍可帮助读者掌握GPU互连对系统设计和可扩展性的影响，适合作为硬件架构和AI系统工程的学习材料。
技术文章 NVIDIA Technical Blog 2026/07/10
本文深入探讨了CUDA中的内核融合技术，旨在缓解GPU计算与内存带宽之间的瓶颈。文章从GPU内存带宽不足以完全利用计算能力这一常见问题出发，详细解释了内核融合如何通过合并多个CUDA内核来减少内存传输和内核启动开销。文中介绍了多种实现融合的方法，包括手工编写融合内核、利用CUDA图动态融合以及通过编译指示自动融合等，并对比了各自的适用场景和潜在局限。文章还指出，内核融合虽然能够提升性能，但可能增加寄存器使用量和代码复杂度，需在具体情况下权衡。整体而言，该文为GPU性能优化提供了系统性的实践指导，特别适用于受内存带宽或启动延迟限制的计算密集型应用。
本文来自NVIDIA官方技术博客，从问题背景、优化原理到多种实现方式进行了系统阐述，并提供了可操作的代码示例和权衡分析。对于从事GPU编程、性能优化或HPC领域的开发者，文中关于减少内存瓶颈和启动开销的策略具有直接指导意义，可迁移至其他受类似约束的计算架构中。因此，该文具备长期参考价值，适合收录为技术深文。
工程实践 NVIDIA Technical Blog 2026/05/21
文章围绕 NVIDIA GB200 NVL72 这类高密度 GPU 机架如何通过 Slurm 的拓扑感知调度来提升作业性能，核心关注点是“任务如何放置”而不仅是“硬件有多快”。它强调在共享集群里，调度器需要理解节点、机架和互联拓扑，才能更好地把大模型训练或推理作业映射到合适的资源上，从而更接近整机架的性能上限。文章的适用边界主要在于面向 AI/HPC 集群管理与 Slurm 调度实践，尤其是对 NVIDIA 这类高带宽、强拓扑约束平台的资源编排问题。
推荐收录，因为它讨论的是大规模 GPU 集群中非常典型且长期存在的问题：如何通过拓扑感知调度减少性能损失、提升资源利用率。对做 AI 基础设施、HPC 集群管理和高性能作业编排的读者来说，这类经验具有较强的可迁移价值。
工程实践 NVIDIA Technical Blog 2026/04/07
文章围绕 NVIDIA GB200/GB300 NVL72 这类 rack-scale 超级计算机，说明其以 Blackwell 架构、18 个紧耦合计算托盘、GPU fabric 和高带宽网络组成统一系统。作者强调，AI 任务在这种硬件上运行时，关键不只是“把机器装进机柜”，而是要理解通信拓扑并据此做作业放置与调度。文章从硬件层次、网络/互联特性讲到 topology-aware scheduling，重点讨论如何减少跨托盘通信、匹配计算与通信密集型负载，并提升整体吞吐和资源利用。结论是，软硬件协同设计能明显改善大模型训练与推理的扩展性，但方案强依赖特定 rack-scale 平台，不宜直接照搬到普通集群。
有明确的硬件细节与调度方法，不是单纯产品介绍：文章直接讨论 rack-scale 互联结构、负载拓扑感知放置和性能收益。适合 AI 基础设施、HPC 平台和集群调度读者参考，但迁移时要注意它主要针对 NVIDIA NVL72 这类特定架构。