LLM 提示缓存与语义缓存对比：两种缓存机制的原理与配合方式

LLM 应用中的缓存分为提示缓存与语义缓存两类：前者匹配请求输入的相同前缀，复用已计算的 KV states，避免重复处理产品手册等长共享内容；后者则复用此前生成的相似问题答案。文章分析了语义缓存的难点、仅校验问题本身不足的原因以及缓存失效时机，并说明两者可在请求的不同阶段配合使用。