首页   

回复@程序员叶帆:确实不能算满血版,24GB VRAM跑的是R1-20250214222618

黄建同学  · AI  · 4 天前

正文

2025-02-14 22:26

回复@程序员叶帆:确实不能算满血版,24GB VRAM跑的是R1-Q4_K_M,14GB那个是Q4_K_M的版本,而且是-Coder-R1。//@程序员叶帆:回复@黄建同学:我看他们官网介绍的好像是Q4量化版的deepseek,所以不能说是完全的满血版? // @黄建同学: KTransformers最大的亮点:通过异构计算划分策略,结合MoE架构的稀疏性特点,将模型参数分为稠密部分(GPU处理)和稀疏部分(CPU处理)。例如,仅需单卡24GB显存(如RTX 4090)即可运行671B参数的DeepSeek-R1满血版,显存需求降至传统方法的1/10。这个技术将GPU的需求降低到最大化,很适合我们
阿里云,火山引擎,腾讯云都已经支持DeepSeek R1 API 了,可以考虑注册一下接口,新用户赠送的额度也能用好久了!

阿里云:送100万tokens,bailian.console.aliyun.com

火山引擎:送50万tokens,console.volcengine.com

腾讯云:送50万tokens,cloud.tencent.com/act/pro/deepseek2025

#deepseek##ai创造营# #Deepseek预测有多靠谱#
© 2024 精读
删除内容请联系邮箱 2879853325@qq.com