从一手来源到可审阅的 LaTeX 工件

Efficient Memory Management for Large Language Model Serving with PagedAttention

原论文报告

论文报告称，在其评测条件下，vLLM 相比 FasterTransformer 和 Orca 在延迟相当时将吞吐量提高了 2-4 倍。

适用范围

适用于论文所评测模型与工作负载下的服务期 KV 缓存内存管理和共享。

证据边界

这是原论文报告的对比结果，不是普适加速承诺，也不能证明语义级缓存等价。

H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models

原论文报告

在保留 20% 重 hitter 的设置下，论文报告相对三种指定推理系统的吞吐提升上限分别为 29 倍、29 倍和 3 倍，同批量下延迟最多降低 1.9 倍。

适用范围

适用于论文描述的 OPT-6.7B、OPT-30B 实验和对应基线中的 KV 缓存淘汰。

证据边界

这些上限依赖模型、20% 策略、工作负载和对比系统，不能与其他论文数字直接横向比较。

SnapKV: LLM Knows What You are Looking for Before Generation

原论文报告

针对 16K token 输入，论文报告生成速度提高 3.6 倍、内存效率提高 8.2 倍，并在 16 个长序列数据集上进行了评测。

适用范围

适用于 SnapKV 所研究的、利用提示末端观察窗口选择重要 KV 位置的免微调方法。

证据边界

报告数值受论文硬件、基线、输入长度和任务集约束，本页面不将其外推到所有部署。

SemShareKV: Efficient KVCache Sharing for Semantically Similar Prompts via Token-Level LSH Matching

原论文报告

在论文针对 5K token 输入的摘要实验中，SemShareKV 报告最高 6.25 倍加速和 42% 的 GPU 内存下降。

适用范围

适用于所评测摘要场景中，语义相似提示之间的模糊 token 匹配与选择性 KV 复用。

证据边界

证据受任务和配置约束，不能据此认定已实现生产范围的跨模型缓存共享。