结合深度神经网络和矢量符号模型的架构

IBM苏黎世研究院和苏黎世联邦理工学院的研究人员最近创建了一个新架构，结合了两种最著名的人工智能方法，即深度神经网络和矢量符号模型。他们的架构在Nature Machine Intelligence中提出，可以克服这两种方法的局限性，更有效地解决渐进矩阵和其他推理任务。

“我们最近的论文是基于我们早期的研究工作，旨在通过强大的矢量符号架构(VSA)机制来增强和增强神经网络，”进行研究的研究人员之一Abbas Rahimi告诉Tech Xplore。“这种组合以前应用于少镜头学习以及少镜头连续学习任务，以较低的计算复杂性实现最先进的准确性。在我们最近的论文中，我们通过专注于解决视觉抽象推理任务，特别是广泛使用的智商测试，称为Raven渐进矩阵，将这一概念超越了感知。

Raven的渐进矩阵是非语言测试，通常用于测试人们的智商和抽象推理能力。它们由一系列成套呈现的物品组成，其中缺少一个或多个物品。

为了求解 Raven 的渐进矩阵，受访者需要在几个可能的选择中正确识别给定集合中缺失的项目。这需要高级推理功能，例如能够检测对象之间的抽象关系，这些关系可能与其形状、大小、颜色或其他特征有关。

Rahimi及其同事开发的神经矢量符号架构(NVSA)将深度神经网络与VSA机制相结合，深度神经网络在感知任务中表现良好。VSA 是使用分布式高维向量执行符号计算的独特计算模型。

“虽然我们的方法听起来有点像神经符号AI方法，但神经符号AI继承了其个人深度学习和经典符号AI组件的局限性，”Rahimi解释说。“我们的主要目标是通过在神经和符号组件之间使用通用语言来解决NVSA中的这些限制，即神经结合问题和详尽搜索。

该团队的深度神经网络和VSA的组合得到了两个主要架构设计特征的支持。其中包括新的神经网络训练过程和执行 VSA 转换的方法。

“我们开发了两个关键的架构推动因素，”Rahimi说。“首先是使用一种新的神经网络训练方法作为通过VSA进行表征学习的灵活手段。第二种是实现适当VSA变换的方法，使得详尽的概率计算和搜索可以用VSA向量空间中更简单的代数运算代替。

在初步评估中，Rahimi和他的同事开发的架构取得了非常有希望的结果，比过去开发的其他架构更快、更有效地解决Raven的渐进矩阵。具体来说，它的表现优于最先进的深度神经网络和神经符号人工智能方法，在RAVEN数据集上实现了87.7%的新纪录精度，在I-RAVEN数据集上达到了88.1%的新纪录精度。

“为了解决Raven测试，需要一种称为概率绑架的东西，这个过程涉及在由测试的先前背景知识定义的空间中寻找解决方案，”Rahimi说。“先验知识以符号形式表示，通过描述可以控制Raven测试的所有可能的规则实现。纯符号推理方法需要遍历所有有效组合，计算规则概率，并将它们相加。这种搜索成为大型搜索空间中的计算瓶颈，因为大量组合将难以测试。

与现有架构相比，NVSA可以在单个向量操作中执行广泛的概率计算。这反过来又允许它解决抽象推理和类比相关问题，例如Raven的渐进矩阵，比其他单独基于深度神经网络或VSA的AI方法更快，更准确。

“我们的方法还解决了神经结合问题，使单个神经网络能够同时识别场景中多个物体的不同属性，”Rahimi说。“总体而言，NVSA提供透明，快速和高效的推理;这是第一个展示概率推理(作为纯逻辑推理的升级)如何由VSA的分布式表示和运算符有效地执行的示例。与神经符号方法的符号推理相比，NVSA的概率推理快了两个数量级，分布式表示的操作成本更低。

到目前为止，该团队创建的新架构已被证明在高效快速地解决复杂的推理任务方面非常有前途。将来，它可以被测试并应用于各种其他问题，同时也有可能激发其他类似方法的发展。

“NVSA是将不同的AI范式封装在一个统一的框架中的重要一步，以解决涉及感知和更高层次推理的任务，”Rahimi补充道。“有趣的是，NVSA已经对各种看不见的物体和物体属性组合表现出一定程度的泛化。在这个方向上的进一步推广仍然是一个悬而未决的问题。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！