首页   

今日开源(2025-02-25):TinyR1-Preview,32B推理模型,数学表现超越70B模型,5%参数接近完整R1性能

机器之心SOTA模型  · 科技自媒体  · 昨天

主要观点总结

本文主要介绍了多个项目,包括基座模型TinyR1-Preview、DeepEP、BFS-Prover、ACLaMP 3、MHA2MLA、SurveyX等,它们分别在推理、通信库、定理证明、音乐信息检索等领域有所应用。文章还提到了DeepSeek系列模型和其他模型的更新和API调用地址。

关键观点总结

关键观点1: 基座模型TinyR1-Preview的介绍

TinyR1-Preview是北京奇虎科技有限公司推出的第一代推理模型,在数学领域的表现超过了70B模型Deepseek-R1-Distill-Llama-70B,在参数仅为5%的情况下,几乎达到了完整R1模型的性能。

关键观点2: DeepEP项目的特点

DeepEP是一个专为专家并行(EP)和专家混合(MoE)设计的高效通信库,提供高吞吐量和低延迟的全对全GPU内核,支持非对称域带宽转发,适用于训练和推理任务。

关键观点3: BFS-Prover项目的特色

BFS-Prover是一个基于大语言模型的自动定理证明系统,专注于在Lean4环境中生成策略,通过集成多种组件实现可扩展的定理证明,并在MiniF2F测试基准上取得了最先进的性能。

关键观点4: ACLaMP 3项目的功能

ACLaMP 3是一个先进的音乐信息检索框架,支持多种模态和语言,利用对比学习将多样的音乐模态对齐到一个共享的表示空间,实现无缝的跨模态检索。

关键观点5: 其他项目的简介

文章还介绍了MHA2MLA、SurveyX等其他项目,以及DeepSeek系列模型的更新和API调用地址。


正文


🏆基座模型

①项目:TinyR1-Preview

★Tiny-R1-32B-Preview 是北京奇虎科技有限公司推出的第一代推理模型。该模型在数学领域的表现超过了70B模型 Deepseek-R1-Distill-Llama-70B,并且在参数仅为5%的情况下,几乎达到了完整R1模型的性能。项目通过在数学、编码和科学三个目标领域进行监督微调,结合多个领域的专用模型,最终使用合并工具创建了Tiny-R1-32B-Preview,展示了强大的整体性能。

☆一键收藏:

https://sota.jiqizhixin.com/project/tinyr1-preview


🛠️框架平台、必备工具

①项目:DeepEP

DeepEP 是一个专为专家并行(EP)和专家混合(MoE)设计的高效通信库。它提供高吞吐量和低延迟的全对全 GPU 内核,支持低精度操作如 FP8。该库优化了非对称域带宽转发,适用于训练和推理任务,并引入了基于钩子的通信计算重叠方法,以减少延迟。

☆一键收藏:

https://sota.jiqizhixin.com/project/deepep


②项目:BFS-Prover

★BFS-Prover是一个基于大语言模型的自动定理证明系统,专注于在Lean4环境中生成策略。该项目发布了其核心策略生成模型,能够在给定的证明状态下生成将当前证明状态转化为新状态的策略,逐步完成证明。BFS-Prover通过集成多种组件实现可扩展的定理证明,并在MiniF2F测试基准上取得了最先进的性能。

☆一键收藏:

https://sota.jiqizhixin.com/project/bfs-prover


③项目:ACLaMP 3

★ACLaMP 3 是一个先进的音乐信息检索框架,支持多种模态(如文本、乐谱、音频、MIDI 和图像)和语言(训练支持 27 种语言,通用支持 100 种语言)。该项目利用对比学习将多样的音乐模态对齐到一个共享的表示空间,实现无缝的跨模态检索。CLaMP 3 的性能显著优于之前的基线,支持所有主要的音乐模态和全球语言覆盖。

☆一键收藏:

https://sota.jiqizhixin.com/project/clamp3


④项目:MHA2MLA

★MHA2MLA项目旨在通过引入DeepSeek的多头潜在注意力机制,优化任何基于Transformer的LLM的推理效率。该项目提供了相关代码和模型,支持Llama的微调和评估,并计划通过FlashMLA框架进一步减少GPU内存使用。

☆一键收藏:

https://sota.jiqizhixin.com/project/mha2mla


⑤项目:SurveyX

★SurveyX 是一个先进的学术综述自动化系统,利用大语言模型(LLMs)的强大功能生成高质量、领域特定的学术论文和综述。用户只需提供论文标题和关键词,即可请求针对特定主题的综合学术论文或综述。该系统通过自动化论文创建简化了学术研究,节省了用户在编写研究内容上的时间和精力。

☆一键收藏:

https://sota.jiqizhixin.com/project/surveyx




今日大模型在线列表 · API 免费调用

2025年2月25日更新

上新啦!DeepSeek R1系列

  • DeepSeek-R1-Distill-Qwen-1.5B

  • DeepSeek-R1-Distill-Qwen-7B

  • DeepSeek-R1-Distill-Llama-8B

  • DeepSeek-R1-Distill-Qwen-14B

  • DeepSeek-R1-Distill-Qwen-32B

  • Qwen2.5-14B-DeepSeek-R1-1M

① 其他

  • Skywork-o1-Open-Llama-3.1-8B

  • DeepSeek-VL2-tiny

  • Sky-T1-32B-Preview

------------- 详细内容 -------------

【上新啦!DeepSeek R1系列】

DeepSeek-R1-Distill-Qwen-1.5B

清湛/湖州 4090 公共线路;推理用时~5s

API调用地址:

https://sota.jiqizhixin.com/model-api/DeepSeek-R1-Distill-Qwen-1_5B_bff1b79d9b/chat/completions

获取秘钥:

https://sota.jiqizhixin.com/xt-terminal/4eca9f21-1686-46ad-b531-915e316f57c6


DeepSeek-R1-Distill-Qwen-7B

清湛/湖州 4090 公共线路;推理用时~8s

API调用地址:

https://sota.jiqizhixin.com/model-api/DeepSeek-R1-Distill-Qwen-7B_d35da06f87/chat/completions

获取秘钥:

https://sota.jiqizhixin.com/xt-terminal/ff02de2b-827f-4aae-96eb-0ec8b7cc12fa


DeepSeek-R1-Distill-Qwen-8B

清湛/湖州 4090 公共线路;推理用时~8s

API调用地址:

https://sota.jiqizhixin.com/model-api/DeepSeek-R1-Distill-Llama-8B_32c1ec967c/chat/completions

获取秘钥:

https://sota.jiqizhixin.com/xt-terminal/b69d4ea8-03c9-48bb-875f-01fdc458454a


DeepSeek-R1-Distill-Qwen-14B

清湛/湖州 4090 公共线路;推理用时~10s

API调用地址:

https://sota.jiqizhixin.com/model-api/DeepSeek-R1-Distill-Qwen-14B_4282130940/chat/completions

获取秘钥:

https://sota.jiqizhixin.com/xt-terminal/007daf69-9d8d-4805-a0cb-7f96a78c998d


DeepSeek-R1-Distill-Qwen-32B

清湛/湖州 4090 公共线路;推理用时~15s

API调用地址:

https://sota.jiqizhixin.com/model-api/DeepSeek-R1-Distill-Qwen-32B_4dda2127a7/chat/completions

获取秘钥:

https://sota.jiqizhixin.com/xt-terminal/bf9b6504-8270-44ee-830c-a4c690ef304b


Qwen2.5-14B-DeepSeek-R1-1M

清湛/湖州 4090 公共线路;推理用时~6s

API调用地址:

https://sota.jiqizhixin.com/model-api/Qwen2_5-14B-DeepSeek-R1-1M_5466a793a5/chat/completions

获取秘钥:

https://sota.jiqizhixin.com/xt-terminal/79f906d9-3f99-40e2-ae77-b60855a7b9e4

① 其他

Skywork-o1-Open-Llama-3.1-8B

清湛/湖州 4090 公共线路;推理用时~10s

API调用地址:

https://sota.jiqizhixin.com/model-api/Skywork-o1-Open-Llama-31-8B_aa41bfa173/chat/completions

获取秘钥:

https://sota.jiqizhixin.com/xt-terminal/19943e6d-c0e9-4415-bdff-05b4415fa754


DeepSeek-VL2-tiny

清湛/湖州 4090 公共线路;推理用时~6s

API调用地址:

https://sota.jiqizhixin.com/model-api/DeepSeek-VL2-tiny_700f0f3afe/chat/completions

获取秘钥:

https://sota.jiqizhixin.com/xt-terminal/073d8aac-3ced-4106-9830-5a4ef3ad9e9a


Sky-T1-32B-Preview

清湛/湖州 4090 公共线路;推理用时~15s

API调用地址:

https://sota.jiqizhixin.com/model-api/Sky-T1-32B-Preview_9b2db1d0b8/chat/completions

获取秘钥:

https://sota.jiqizhixin.com/xt-terminal/6251ef73-b5cc-47fa-b5da-5fe03aa3a4df

📋 查看API调用文档:

https://jiqizhixin.feishu.cn/wiki/EfHwwEuXZimdgpkQLXLcrOwKnyb 

💻 试用更多模型API :

 https://sota.jiqizhixin.com/xt-terminal



© 2024 精读
删除内容请联系邮箱 2879853325@qq.com