【[29星]LongSpec：长文本场景下的高效解码方案，让大语言模型推理不再卡顿。亮点：1. 内存效率提升，常量级缓存占用，不受序列长度影响；2. 推理延迟降低，速度提升高达数倍；3. 适配长文本推理，无缝衔接短文本训练数据】
'LongSpec: Long-Context Speculative Decoding with Efficient Drafting and Verification'
GitHub: github.com/sail-sg/LongSpec
#长文本处理# #高效解码# #大语言模型优化# #AI创造营#
