llama-modchip 发布纯 CPU 运行 284B MoE 项目
先了解这件事
synchopate 发布 llama-modchip v2.4.0，称通过 SwiGLU-H2 二阶 Hessian 压缩与 Fractal-64 转码，把 DeepSeek-V4-Flash 284B 从 76.87 GiB 压到 56.56 GiB，可在 64 GB 内存纯 CPU 上以 256K 上下文运行，prefill 约 44 tok/s、解码 9.06–14.7 tok/s。 Fractal-64 模型使用自定义 block-64 BF16-scale Gray-coded 张量（GGML_TYPE_Q2_0，类型 ID 40）和自定义 deepseek4 / Stockfish-PVS 内核，因此用未打补丁的 llama.cpp、Ollama 或 LM Studio 打开会因未知张量类型 40 失败；需使用项目提供的 ./modchip 或 Hugging Face 仓库与 GitHub Release v2.4.0 中自带的单文件预编译二进制 llama-server-modchip-linux-x86_64。该启动器会自动检测 CPU 核心、空闲内存和 GPU 显存，下载官方 llama.cpp CUDA 12.4 / Vulkan 二进制，计算 --n-cpu-moe 拆分并打开 Web Chat UI。
AI 根据报道生成 · 16 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hacker News 首页(≥150分)llama-modchip 发布：64GB 内存纯 CPU 运行 284B DeepSeek-V4-Flash
llama-modchip 发布 v2.4.0，通过 SwiGLU-H2 二阶 Hessian 压缩与 Fractal-64 转码，把 DeepSeek-V4-Flash 284B 从 76.87 GiB 压到 56.56 GiB，可在 64 GB 内存纯 CPU 上以 256K 上下文运行，prefill 约 44 tok/s、解码 9.06–14.7 tok/s。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 811月9日 02:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。