Hacker News 首页(≥150分)· joshcsimmons·· 1 天前AI 评分62
llama-modchip 发布:64GB 内存纯 CPU 运行 284B DeepSeek-V4-Flash
Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
AI 导读
llama-modchip 发布 v2.4.0,通过 SwiGLU-H2 二阶 Hessian 压缩与 Fractal-64 转码,把 DeepSeek-V4-Flash 284B 从 76.87 GiB 压到 56.56 GiB,可在 64 GB 内存纯 CPU 上以 256K 上下文运行,prefill 约 44 tok/s、解码 9.06–14.7 tok/s。
来源:Hacker News 首页(≥150分) · github.com