DeepSeek 宣布全面开源内部推理框架 DeepInfer

DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，旨在帮助开发者与企业组织优化大规模推理的吞吐与延迟以降低算力成本。该框架集成高性能算子与深度优化推理引擎，支持分布式推理、推测解码、结构化输出等能力，兼容英伟达与华为昇腾平台，并同步开源了生产级 Token 编解码组件 deepseek-recipe。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。