Latent Space· Latent Space·· 19 天前精选AI 评分85
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155T tokens
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，覆盖 NVIDIA 与华为昇腾平台。
推荐理由
原文拆解了 DeepInfer 的缓存分层、调度与开源边界，并附 vLLM 的对照复现结果，便于判断生产级推理栈的可迁移部分。
来源：Latent Space · latent.space