DeepSeek 开源大规模推理框架 DeepInfer
10 月 20 日，DeepSeek 开源内部大规模推理框架 DeepInfer，并同步开源 Token 编解码组件 deepseek-recipe。基于该框架，V4.1 Flash 的单一集群吞吐达 155 万亿 Tokens/天。框架支持分布式推理、推测解码、结构化输出，可在英伟达与华为昇腾平台运行，KVCache 可保留 72 小时以上。
DeepSeek 开源大规模推理框架 DeepInfer
10 月 20 日，DeepSeek 开源内部大规模推理框架 DeepInfer，并同步开源 Token 编解码组件 deepseek-recipe。基于该框架，V4.1 Flash 的单一集群吞吐达 155 万亿 Tokens/天。
该框架支持分布式推理、推测解码、结构化输出等能力，可在英伟达与华为昇腾平台运行；KVCache 可保留 72 小时以上。
Github：deepseek-ai/DeepInfer | DeepSeek：相关文章
