12月3日,由人工智能科学家李飞飞创立的科技公司World Labs推出了第一个项目,仅通过一张图片,就能将图中的场景三维化,生成的场景符合基本空间原理和物理定律,用户可以在生成的空间内移动,转换视角。
他们称之为大世界模型(Large World Model,LWM)。
李飞飞表示,大型世界模型只是 Worlds Labs公司的第一步,后面他们准备把场景设计融入 AR、机器人甚至自动驾驶。
2天后,Google DeepMind发布Genie2,也展示了其可根据单图生成无限3D世界,用于AI游戏及智能体训练,这就意味着它可以模拟虚拟世界,带来了物体交互、复杂角色动画、物理以及建模和预测其他智能体行为的潜力能力。
又5天后,在OpenAI发布会直播第3天,此前被称为理解和模拟现实的基础性AI技术,迈出开发能够与物理世界互动模型重要一步的Sora,推出了Sora Turbo,在模拟运动中的物理世界时,进一步增强了它的可编辑能力。
2018年,世界模型的概念开始被广泛提及,科学家指出,人类使用有限的感官感知世界,并基于这些感知建立起一个内部的、简化的世界模型,这个简化的模型不仅帮助我们理解世界,更重要的,我们还会根据这个头脑中的简化世界决定预测未来走向。
而计算机领域的世界模型不仅包括观察、状态估计、动作建议和潜在变量建议四大核心元素,也采用了类似的思维模式,即在有限的、有选择性的信息基础上进行有效的决策和预测。
世界模型将会如何改变这个世界,对于身处变革中的智能汽车又意味着什么?
智能座舱:从被动到主动预测和推荐
随着越来越多产品升级为高通8295芯片,以及AR-HUD的普及,3D HMI正在成为智能座舱发展的新趋势之一。
从3D车模到3D的场景构建,到最终可能会演变的全3D架构,用户正在以3D的方式探索整个座舱的场景,实现多视角切换。一镜到底的场景变化,这种更加直接并具有连贯性的体验,正在颠覆整个座舱交互的方式和信息呈现的方式。
而汽车座舱的另一个变化,就是AI在智能座舱的快速应用和能力拓展,它正在重新构建视觉、听觉、语义等多模态融合的全新体验。
当前,虽然世界模型尚不成熟,但是它已经预示了很多的可能。
汽车商业评论了解到,今天AI在座舱的能力大多还是基于AI算法的拟合,也就是依赖于人提供大量的算法和数据进行训练,AI并没有真正的理解座舱内这个小世界的物理规律,也就无法主动预测用户行为。
但如果世界模型能够上车,打造成为座舱世界模型,就意味着车辆通过对外界环境的声音、光线、温度、位置、人体眼神、动作等信息的感知,能够知道外面是在刮风,还是在下雨,人什么时候会热,什么时候会冷。
它从一定概率的拟合转向成一种精确的计算,把人当做其中一个变量,在这个世界模型里去运行,主动调整车内的温度和湿度,包括声音、光线等,不仅让人保持最舒适、最愉悦、最高效的状态,也实现了在3D世界的沉浸。
它带来的的最大的价值点就在于,座舱未来会从被动接受指令,到主动推荐和预测,并且会更加精准。同时,将人、车、外部环境的众多感知信息相融合,真正将座舱拓展为千人千面。
智能驾驶:更快、更省、更安全
2024年,自动驾驶端到端大模型成为了车企开始竞逐的新焦点,它取代了此前用于感知、描述、预测以及规划的多个模块,让自动驾驶以深度学习和人工智能为基础,通过统一的神经网络架构实现环境感知到车辆控制的全流程自动化,更接近人类的真实驾驶。
而端到端大模型的潜力和能力挖掘,以及未来竞争的核心就在于谁的数据规模更大、谁的训练能力更强,谁的跨域融合应用能力更出众。
蔚来汽车曾在它的蔚来世界模型NWM的描述中表示,它能够在0.1秒内推演出216种车辆可能发生的轨迹,寻找最佳决策。然后在接下来的0.1秒内,根据外界的信息输入,重复更新内在时空的模型,再去预测216种可能性。以此循环,跟随驾驶轨迹持续预测,得到驾驶的最优解。
因此,世界模型为自动驾驶训练构建了更低成本、更快开发速度、以及复杂场景训练的可能。
首先,传统的自动驾驶训练依赖大量的实际道路测试数据来构建场景,但世界模型能够通过学习和生成,构建出更加丰富多样的虚拟驾驶场景,包括一些罕见的、难以在实际中频繁遇到的特殊场景和边缘情况,如极端天气条件下的驾驶场景、复杂交通流中的特殊事件等,为自动驾驶模型提供更全面的训练数据,从而提升其在各种场景下的应对能力。
其次,世界模型增强态势感知与决策能力。
世界模型可以模拟真实世界环境的动态变化,理解各元素之间的关联和因果关系,提前预判整个场景的演变。
第三,世界模型可以提高训练效率与降低成本。
基于世界模型的仿真平台相较于传统的单一道路测试,能够更加精准地满足日益增长的模拟需求,大幅削减重复采集和分析工作,按照需求快速生成特定场景,有效提高算法的精准度和迭代效率,从而缩短自动驾驶技术的研发周期,降低研发成本,加速其商业化应用的进程。
虽然,当下的世界模型尚不成熟,但对于汽车真正成为人们的智能出行伴侣或者移动智能机器人的美好想象来说,越来越多科技公司的技术推动和演进,让这个梦想又向前了一步。