首页   

向AI未知之境出发,字节跳动启动 Seed Edge 研究计划!

字节跳动技术团队  · AI 科技自媒体  · 22 小时前

主要观点总结

豆包大模型团队启动了Seed Edge研究计划,旨在寻找通用智能的新方法。该计划鼓励探索更长周期、具有不确定性和大胆的AI研究课题,并提供单独算力资源保障。初步确定了五大研究方向,包括探索推理能力、感知能力、软硬一体模型设计、下一代学习范式和下一个Scaling方向的探索。

关键观点总结

关键观点1: Seed Edge研究计划的目标和特点

豆包大模型团队正式启动Seed Edge研究计划,以寻找通用智能的新方法为目标,鼓励探索更长周期、具有不确定性和大胆的AI研究课题,并提供宽松的研究环境和更长的考核周期。

关键观点2: 五大研究方向之一:探索推理能力的边界

包括探索预训练算力级别的大规模强化学习、预训练和强化学习的迭代以及可泛化的Test-Time Scaling等技术突破,这些都将推动智能边界的提升。

关键观点3: 五大研究方向之二:探索感知能力的边界

通用模型需要具备和人类沟通交流的能力,团队会统一生成和理解表示,探索世界模型建模,突破智能的边界受限于语言的约束。

关键观点4: 五大研究方向之三:软硬一体的下一代模型设计

团队希望面向下一代训练和推理硬件的结构特点设计下一代模型,从软硬件一体的角度思考未来的模型结构特性,实现多目标同时优化。

关键观点5: 五大研究方向之四:探索下一代学习范式

团队会探索未来的学习范式变化方向,挑战现有范式的共识,为更高效地实现通用智能提供基础和可能性。

关键观点6: 五大研究方向之五:探索下一个Scaling方向

团队认为下一个Scaling方向对未来智能边界的演化有重要作用,将推动智能边界的进步。


正文

为支持以更长周期攻坚 AI 课题,豆包大模型团队正式启动 Seed Edge 研究计划!
Seed Edge 以寻找通用智能的新方法为目标,专注于对智能边界的探索和长期研究挑战。
Seed Edge 鼓励探索更长周期、具有不确定性和大胆的 AI 研究课题,也鼓励跨模态、跨方向的交叉合作,为项目成员提供宽松的研究环境,并实行更长周期的考核方式,让大家可以放手去挑战真正颠覆性的 AI 课题!
目前,Seed Edge 初步确定了五大研究方向,将为所有入选课题提供单独的算力资源保障。Seed Edge 初步研究方向包括:

探索推理能力的边界

以 o1 为代表的技术路线证明了推理能力可以推动智能边界提升,我们也在实践中发现对推理能力的研究才刚刚开始,有大量未探索的问题值得去深耕。无论是预训练算力级别的大规模强化学习,还是预训练和强化学习的迭代,或是可泛化的 Test-Time Scaling ,每一项技术突破都会推动智能边界前进一步。

探索感知能力的边界

我们相信智能和交互是相辅相成的,通用模型除了有极高的智能水平,还需要具备极强的和人类沟通交流的能力。我们会统一生成和理解表示,探索世界模型建模;从真实世界原始数据直接进行压缩,探索比语言更好的对世界进行表示的建模,突破智能的边界受限于语言的约束。

探索软硬一体的下一代模型设计

Transformer 的高效很大程度上取决于它与 GPU 的适配性,能充分发挥 GPU 的性能。我们希望面向下一代训练和推理硬件的结构特点设计下一代模型,从软硬件一体的角度思考未来的模型结构特性,达到训练效率、推理效率、模型性能的多目标同时优化,并进一步压榨下一代硬件的能力,突破模型能力的边界

探索下一代学习范式

探索对未来的学习范式有变化的方向,挑战现有范式的“共识”,给更高效地实现通用智能提供基础和可能性。通过可解释性研究理解模型学习能力的来源,并进一步提出新的学习视角,探索模型在学习过程中的表现,和生物启发的学习过程对比,发现现有模型学习范式可以改进的空间:探索比 Next-Token Prediction 更高效的学习目标;探索比 Backpropagation 更高效的学习方法;探索比大数据 Pretraining + Alignment 更高效的学习范式。

探索下一个 Scaling 方向

继 Pretraining Scaling 和 Test-Time Scaling 之后,下一个 Scaling 方向对未来智能边界的演化会起到重要的作用。探索下一个 Scaling 方向,并推动智能边界的进步。
 点击“阅读原文”,加入豆包大模型团队 



© 2024 精读
删除内容请联系邮箱 2879853325@qq.com