首页   

这篇论文提出了一种名为CoLoR的创新压缩模型,通过在训练过程中-20241226060250

爱可可-爱生活  · AI  · 昨天

正文

2024-12-26 06:02

这篇论文提出了一种名为CoLoR的创新压缩模型,通过在训练过程中引入偏好优化和动态长度正则化,能够显著提高长上下文语言模型(LCLM)的信息检索效率和准确率,相比于传统方法,CoLoR不仅能将输入上下文大小压缩近一半,还能提升检索性能,有效缓解了LCLM检索中因长文本带来的计算瓶颈和信息冗余问题。
[IR]《Efficient Long Context Language Model Retrieval with Compression》M Seo, J Baek, S Lee, S J Hwang [KAIST] (2024) 网页链接 #机器学习##人工智能##论文##AI创造营#
© 2024 精读
删除内容请联系邮箱 2879853325@qq.com