RocketKV 创新性地提出了一种两阶段 KV 缓存压缩方法，-20250222055734

RocketKV 创新性地提出了一种两阶段 KV 缓存压缩方法，通过 SnapKV++ 进行粗粒度淘汰和混合注意力进行细粒度选择，在无需重新训练的情况下，显著加速了长上下文 LLM 的解码推理速度并降低了内存占用，同时保持了与全量 KV 缓存注意力相当的精度，有效突破了长上下文 LLM 推理的效率瓶颈。