![]()
编辑：岑峰
天下武功唯快不破，但 OpenAI 不走寻常路，新出的 o1 系列宣告天下：o1 要花更多的时间思考问题，再做出反应，但在复杂推理层面直接窜了几个档位。在国际数学奥林匹克 (IMO) 资格考试中，GPT-4o 仅正确解决了 13% 的问题，而 o1 得分为 83%。好家伙，这数学水平，上一次见面还是小学生，现在直接博士毕业了？OpenAI 也很得意，表示 o1 已经达到AI能力新高度了，所以直接把计数重置到1，开启新的大模型系列 OpenAI o1。本次 OpenAI o1系列分为三个型号，最强但还未发布的 o1，o1 的预览版 o1-preview，和性价比最高的轻量版 o1-mini。之前的 GPT 系列还被诟病更新“挤牙膏”，没想到 OpenAI 一直都是老样子，不鸣则已一鸣惊人，直接给 AI 界来了个大大大地震。综合网络对于 o1 的报道和评论，我们注意到几个关键信息：- 这可能是Scaling Law提出以来，LLM领域最重要的发现。这一进展的核心是推理时间和参数规模两条曲线的协同作用，而不是单一曲线；
- 与强化学习的完美结合，可能为我们指明了通往人工通用智能（AGI）的有效路径（此前AI科技评论8月28日曾举办《大模型时代的强化学习》网络研讨会，讨论了强化学习与大模型的结合，感兴趣的朋友点击下方链接进行回看）；
- o1 并非 GPT-4o 的升级版本，目前仍然无法解决像黎曼假设这样极其复杂或开放的问题，也没能解决幻觉问题。
OpenAI 对大模型的这次重新构想，无疑将对大模型的未来走向和整个AI领域的格局产生深远影响。奥特曼表示，o1 是他们迄今为止功能最强大、最一致的模型系列，只是使用的时候要花更多时间（凡尔赛了）。（如图所示，o1 在绝大多数重推理任务中显著优于 GPT-4o）正在休长假、沉寂了一个月的 OpenAI 的另一位联创 Greg Brockman 洋洋洒洒写了一长段推文，表扬了 o1 的超强性能，并特别指出 o1 是第一个使用强化学习训练的模型，会在回答问题之前进行深入的思考。lmsys 也马上在 Chatbot Arena 更新了 o1-preview 和 o1-mini，欢迎大家测试。参与研发o1的 Shengjia Zhao 很谦虚地表示，o1 并不是完美的，也不会适合所有事情。不过人们能感受到它潜力无限，并再一次感受到 AGI。Jim Fan 认为，o1 透露出的研究进展可能是自 2022 年 OG Chinchilla 缩放定律以来 LLM 研究中最重要的发现。他还提到了两篇近期发表的关于 Scaling Law 的论文，并指出 OpenAI 早已意识到这一点，并通过 o1 证实了这些发现。大模型与强化学习的结合是近几年来的热门研究方向之一。大模型的泛化能力和背景知识与强化学习的交互学习和任务优化相结合，可以创建出能够更好地适应复杂环境、解决多任务问题、并提供更高效和可解释决策的智能系统。这种互补性使得两者的结合成为推动人工智能发展的重要方向。o1 大模型的发布，首次证明了语言模型可以进行真正的强化学习。而 OpenAI 的一位研究员说，o1 证明了强化学习才是通往 AGI 道路上的必备要素（RL研究者狂喜）。OpenAI 另一位专注推理的研究员也说，通过强化学习，o1 能够在做出反应进行“思考”，让他们不用再受预训练的瓶颈限制，终于可以做扩展推理计算了。强化学习和LLM可以说是非常适配了，只不过在 o1 之前还没有人能用 LLM 真正实现强化学习。之前就有人说，模仿是 LLM 训练的基础，而模仿其实就是强化学习的问题。DeepMind 的新论文也有提到，与监督学习相比，强化学习可以更好地利用序列结构、在线数据并进一步提取奖励。领导 DeepMind 强化学习研究小组的David Silver，也在前段时间的演讲中强调，“需要重新关注强化学习，才能走出 LLM 低谷。”不过，一众好评声中，也有人指出了 o1 存在的一些问题。Andrej Karpathy 在测试后发推特说，o1-mini 还是有大模型的老毛病，问它黎曼假设这类复杂问题就偷懒逃避。Gary Marcus 认为 o1 并不是通用人工智能（AGI），甚至离 AGI 还很远。他尖锐地点出了 o1 的八条问题，从多个方面批评了o1模型的细节披露不足、改进不够全面，认为实际测试与宣传间存在差距，并提醒消费者要慎重。Hugging Face 的 CEO 也表示，AI 并不是在思考，只是在在“处理”、“运行预测”……和谷歌或者计算机做的事情是一样的。这种技术系统是人类的错误印象，只是廉价的骗术和营销手段，让人误以为它比实际更聪明。OpenAI 自己也承认了 o1 的不足。在一些自然语言任务测试中，尤其是写作能力方面，GPT-4o 还是更胜一筹。并且，o1 的推理依然存在缺陷，在实现质的提升的同时也没能解决LLM的幻觉问题。著名程序员、Django Web 框架的联合创建者 Simon Willison 在推特上收集在 GPT-4o 上推理失败，但在 o1 成功的例子，只找到了几个让他满意的案例。他认为从推理来看，o1 并不是 GPT-4o 的升级版。他在博客中写道，o1 并不是简单的 GPT-4o 升级版，而是通过在成本和性能方面引入重大权衡，换取了更进一步的推理能力。很明显，o1 和 GPT-4o 代表大模型的两个不同方向。OpenAI 也提到，以后会分别研发升级两个模型，这意味着，过去适用于 GPT-4o 的 Prompt 技巧未必同样适用于 o1。在 Toqan 的排行榜中，我们可以看到 OpenAI O1 模型在 ProLLM StackUnseen 基准测试中表现出来的水平，比 SOTA 要高出 20%。elvis 做了详细测试，他提到 o1-preview 能够一次性解决很多难以回答的问题，包括很多当前大型语言模型（LLMs）难以处理的数学问题。他的完整测试视频已经上传YouTube，可以点击以下链接观看：https://www.youtube.com/watch?v=xJJ2h3wQBygOpenAI 首席研究官 Bob McGrew 在The Verge的采访中说，“从根本上说，o1 是一种新的模型模式，能够解决真正困难的问题，从而达到与人类相似的智能水平。”o1-preview和o1 mini已经带给我们这么多惊喜，不敢想最后发布的o1到底能有多强悍，让我们拭目以待。https://openai.com/index/introducing-openai-o1-preview/https://openai.com/index/learning-to-reason-with-llms/https://x.com/sama/status/1834283100639297910https://simonwillison.net/2024/Sep/12/openai-o1/
“”未来知识库“”是欧米伽未来研究所建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或点击本文左下角“阅读原文”进入。![]()
