Apple 如何在 iPhone 上装下 30 亿参数模型

文章解释 Apple 如何让 30 亿参数模型在 iPhone 上运行，包括用 palettization 量化把权重压到约 1.39GB、用 cross-layer KV sharing 将 KV cache 内存降低 37.5%，以及用 LoRA 适配器让多个功能共享同一基础模型。