【[618星]MoBA：名为 MoBA（Mixture of B-20250219193217

【[618星]MoBA：名为 MoBA（Mixture of Block Attention）的新型注意力机制，旨在提高大型语言模型（LLM）处理长文本上下文的效率和性能。亮点：1. 长文本处理效率提升，支持1M上下文长度；2. 参数无偏的Top-k门控机制，精准筛选关键信息；3. 无缝切换全注意力与稀疏注意力模式，性能与效率兼得】
'MoBA: Mixture of Block Attention for Long-Context LLMs'
GitHub: github.com/MoonshotAI/MoBA
#长文本处理# #注意力机制# #大语言模型# #AI创造营#