Ai2 发布完全开源本地语言模型应用

主要观点总结

Ai2发布iOS应用OLMoE，从模型到应用完全开源。使用本地端侧OLMoE模型，旨在帮助开发人员提高本地模型推理效率。该应用主要面向iphone15 Pro及以上的手机用户，使用Q4_K_M量化模型，在iphone 16 Pro上每秒可输出41个Token。

关键观点总结

关键观点1: 新发布的iOS应用OLMoE

OLMoE是一个完全开源的iOS应用，使用本地端侧OLMoE模型，为开发人员提供探索提高本地模型推理效率的机会。

关键观点2: 模型参数和特点

OLMoE模型具有1B活跃参数和7B总参数。采用Q4_K_M量化模型，在高端设备上表现优秀，如iphone 16 Pro每秒可输出41个Token。

关键观点3: 应用的使用限制

目前该应用仅适用于iphone 15 Pro及以上的手机用户。

正文

一直致力于开源模型的 Ai2 整了个新活
发布 iOS 应用 OLMoE 从模型到应用完全开源
使用本地端侧 OLMoE 模型，1B 活跃参数，总参数 7B
主要目的是帮助开发人员探索提高本地模型推理效率
目前只能在 iphone 15 Pro 以上的手机使用
使用 Q4_K_M 量化模型，iphone 16 Pro 每秒输出 41 Token一直致力于开源模型的 Ai2 整了个新活
发布 iOS 应用 OLMoE 从模型到应用完全开源
使用本地端侧 OLMoE 模型，1B 活跃参数，总参数 7B
主要目的是帮助开发人员探索提高本地模型推理效率
目前只能在 iphone 15 Pro 以上的手机使用
使用 Q4_K_M 量化模型，iphone 16 Pro 每秒输出 41 Token