跳到正文
量子位· 听雨·· 13 天前AI 评分73

百度开源文心Unlimited OCR 2,峰值KV缓存从47GB降至1.77GB

KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%

AI 导读

百度发布并开源文心Unlimited OCR 2,通过稀疏参考滑动窗口注意力机制SR-SWA和无限解码机制,在百页级单序列测试中把峰值KV缓存从47GB降至1.77GB,减少约96%。

来源:量子位 · qbitai.com