本文提出的 DeepCrossAttention (DCA) 机-20250212070846

本文提出的 DeepCrossAttention (DCA) 机制，通过可学习的跨层注意力动态组合 Transformer 各层信息，在参数量几乎不变的情况下，显著提升了语言建模性能和训练效率，有力地证明了智能的信息选择和组合策略能够突破传统残差连接的信息稀释瓶颈，为更高效和稳定的深度模型设计提供了新思路。