新的神经网络更加准确且易于解释

现在，研究人员已经建造了一种全新形式的神经网络，它在某些方面超越了传统系统。证据表明，尽管这些新的网络规模小，但它们容易解释，而且准确性高。更重要的是，其开发者表示，这些柯尔莫戈洛夫-阿诺德网络（KAN）可以学习物理数据建模的简洁方式，有助于科学家发现新的自然规律。

约翰•霍普金斯大学的物理学家布利斯•梅纳德（Brice Ménard）说，十多年来，工程师们主要是通过反复试验来调整神经网络设计的。虽然他研究了神经网络的运作方式，但并没有参与这项新工作。“很高兴看到一种新的架构出现。”他说，尤其是一种根据基本原理设计的架构。

在传统神经网络中，两个神经元之间的每个连接或突触都会学习一个权重，权重是一个决定连接强度的数字。神经元是分层排列的，这样一层的神经元就可以接收来自前一层神经元的输入信号，并根据其突触连接的强度来进行加权。然后，每个神经元会对其输入的总和应用一个简单的“激活”函数，这个输出会以同样的方式传递给下一层神经元。

在新的架构中，突触扮演的角色更复杂。突触不会简单地学习两个神经元之间连接的权重，而是会学习一个将输入映射到输出的激活函数。这就会形成一个更复杂的激活函数，每个连接的激活函数都不同。另一方面，神经元变得更简单了，它们只是将之前所有突触的输出相加。

这种KAN以两位研究函数结合方式的数学家的名字命名，它在学习模型数据时更灵活，同时使用的学习参数更少。2024年4月，研究人员在arXiv预印本服务器上发表了他们的研究结果。

他们用相关科学任务测试了他们的KAN。在实验中，他们展示了一些简单的物理特性，例如控制两个有相对速度的物体擦肩而过的速度。他们使用这些方程式生成输入输出数据点，然后针对每个物理函数，用部分数据训练一个网络，并用其余数据进行测试。研究人员发现，与扩大传统神经网络规模相比，扩大KAN规模带来的性能速率提升更高。在求解偏微分方程时，KAN的精度是传统神经网络的100倍，而传统神经网络的参数是KAN的100倍。

在另一项实验中，他们训练了神经网络，使其根据一个数学扭结的属性（即它们的特征）来预测另一个数学扭结属性。使用约30万个参数的传统网络的准确率为78%，而KAN仅使用约200个参数，准确率就达到了81.6%。

此外，研究人员还可以直观地绘制出KAN，观察激活函数的形状，并了解每个连接的重要程度。他们可以修剪弱连接，用更简单的激活函数来取代一些激活函数。然后，用一个直观的单行函数总结整个KAN，在某些情况下，可以完美地重建创建数据集的物理函数。

“未来，我们希望它能够成为有用的日常科学研究工具。”麻省理工学院的物理学家、人工智能研究员刘子鸣（Ziming Liu，音）说，“如果我们不知道一个给定的数据集如何解释，就可以把它交给KAN，它可以为你生成一些假设。”

“这就像一个外星生命，它可以从不同角度看问题，但对人类来说也是可以理解的。 ”刘子鸣说。

已有几十篇论文引用了KAN的预印本。“我看到它的时候非常激动。”阿根廷圣安得利斯大学人工智能工程专业的本科生亚历山大•博德纳（Alexander Bodner）说。一周内，他和3个同学就将KAN与卷积神经网络结合在了一起，卷积神经网络是一种流行的图像处理架构。他们用手写数字或衣服分类，测试了这些卷积KAN的能力。最好的结果与传统卷积神经网络的性能大致相当，但使用的参数减少约40%。其他团队正在将KAN与转换器结合，转换器是支持流行大型语言模型的架构。

KAN的一个缺点是，尽管需要的参数少，但每个参数的训练时间长。在一定程度上，这是因为它们无法利用图形处理单元加速人工智能。刘子鸣说，即使训练瓶颈导致KAN无法取代大型卷积神经网络和转换器，在许多较小规模的物理问题方面它也不会有问题。

目前，刘子鸣正在寻找一种方法，让专家将他们的先验知识插入到KAN，比如手动选择激活函数等，并使用简单的界面轻松地从中提取知识。他说，有朝一日，KAN可能会帮助物理学家发现高温超导体或者控制核聚变的方法。

文章来源于悦智网，作者Matthew Hutson

原厂培训，扫码报名

LabVIEW 最新技术

（3月13日 西安 免费）

更多活动

芯片设计、制造工艺、测试测量等相关技术线上直播及线下活