DeepSeek 宣布将内部推理框架 DeepInfer 全面开源

DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，旨在帮助开发者与企业组织优化大规模推理的吞吐与延迟以降低算力成本。该框架集成高性能算子与深度优化推理引擎，支持分布式推理、推测解码、结构化输出等能力，兼容英伟达与华为昇腾平台，并同步开源了生产级 Token 编解码组件 deepseek-recipe。