英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍

调研机构 SemiAnalysis 报道称，英伟达通过上游 vLLM 优化让 2.8 万亿参数量的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度提升 1.68 倍，达到 423 tok/s/user。该优化由英伟达 CentML 工程师 Benjamin 完成，通过大规模 Megakernel 融合与 Cute DSL 编写解码专用内核，包含 1.2 万行代码。