文|脑极体

AI领域在近十年的进展神速，随着机器学习、深度学习的迭代，语音、图像、自然语言处理逐渐取得了很大的突破。集结了这些能力的智能设备越来越聪明，一些语音设备与人交流得越来越顺畅，自动驾驶、虚拟数字人等代表着最前沿的AI能力的应用也走向了落地。

在AI发展的过程中，基础的理论研究阶段，经常使用的是一些语音、图像、文本都很简单的序列或者网格数据，对于深度学习来说，这些简单的结构化数据很好处理。然而在AI应用的落地实践与产业应用中，非结构化的数据不少，从数据的角度来看，相比于图像和文本, 非结构的图类型数据分布更加广泛, 图结构也更加复杂。例如社交网络、知识图谱、复杂的文件系统等。

相比于简单的文本和图像，这种网络类型的非结构化数据处理非常复杂：图的大小是任意的，其拓扑结构复杂，没有像图像一样的空间局部性；图经常是动态变化的，包含着多模态的特征，没有可以参考的节点与顺序。

那么对于这类产业实际的问题，我们该如何建模？能否将深度学习进行扩展并建模该类非欧数据呢？这些问题促使了图神经网络的出现与发展。

十七年的万水千山

图神经网络 (GNN)的概念最早是Marco Gori等人在2005年提出的，发表在论文《The Graph Neural Network Model》。

在此之前，处理图数据的方法是在数据的预处理阶段将图转换为用一组向量表示。这种处理方法对于一些图丰富的数据来说弊端明显，会丢失很多结构信息，得到的结果严重依赖于对图的预处理。GNN的提出能够将数据处理的过程直接架构在图数据之上，不仅是拓展了已有的神经网络模型，也可以提高图数据处理的精度。

2009年Franco Scarselli博士在其论文中定义了图神经网络的理论基础，Scarselli 和 Micheli 等人继承和发展了 GNN 算法，并做了一定程度的改进。早期阶段的 GNN 主要是以 RNN 为主体框架，通过简单的特征映射和节点聚集为每个节点生成向量式表达，不能很好地应对现实中复杂多变的图数据。

针对此情况，YannLeCun的学生Bruna等人提出将 CNN 应用到图上，通过对卷积算子巧妙的转换，提出了基于频域和基于空域的图卷积网络（GCN），并衍生了许多变体。

GCN的提出可谓是图神经网络的“开山之作”，它首次将图像处理中的卷积操作简单用到图结构数据处理中来。降低了图神经网络模型计算的复杂度，此前在图网络计算过程中的拉普拉斯矩阵的计算从此成为过去式。

不过这个阶段的图卷积网络还有明显的弊端：扩展性比较差，在实际的落地中，需要处理的图都是工程领域中的大图，GCN并不能处理大图。再者就是GCN在各种实验中，被验证使用2层卷积GCN效果最好，这也意味着其只能局限于浅层的应用，如果深入使用其他残差连接等trick方式，只能勉强保存性能不下降，并不能提高应用计算的性能。

为了解决GCN的两个缺点问题，GraphSAGE模型被提了出来。这个模型是2017年斯坦福大学提出的一种基于图的inductive（归纳）学习方法。GraphSAGE可以利用采样机制，很好地解决GCN必须要知道全部图的信息问题，克服了GCN训练时内存的限制。模型的参数数量与图的节点个数无关，可以处理更大的图，并且即使对于未知的新节点，也能得到其表征。

当然GraphSAGE模型也有一些缺点，GraphSAGE的采样没有考虑到不同邻居节点的重要性不同，而且聚合计算的时候邻居节点的重要性和当前节点也是不同的。这也导致GraphSAGE在处理一些数据权重差异较大的图中，存在偏颇和局限。

图注意力网络（GAT）随之诞生，专门解决GNN聚合邻居节点过程中不同的邻居节点权重不同的问题。图注意力网络借鉴了Transformer模型中的注意力机制，在计算图中会根据邻居节点特征的不同来为其分配不同的权值。GAT训练GCN无需了解整个图结构，只需知道每个节点的邻居节点即可，计算的速度快，可以在不同的节点上进行并行计算也可以对未见过的图结构进行处理，既能处理有监督任务也能处理无监督任务。

在图神经网络发展的过程中，为了解决图网络计算过程中的精度与拓展问题，一代又一代的新模型被不断提出。在提出后的十几年里被不断扩展，先后发展出了图卷积网络、 图注意力网络、图自编码器、图生成网络和图时空网络等多个子领域。

在这其中，图卷积网络GCN、GraphSAGE、图注意力网络GAT可谓是图神经网络发展脉络过程中的重要经典，也是发展过程中的重要节点。图神经网络衍化生成的各类模型，在处理非结构化数据时的出色能力，使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破。

产业多领域的“开花结果”

在图神经网络的发展历程中，前文提及过其衍生的五个子领域，在这五个子方向中，近几年最火热的方向可谓是图卷积神经网络（GCN）与图注意力网络（GAT）的发展了。

GCN的起势得益于多层神经网络中卷积神经网络的发展。2015年微软研究院152层的ResNet的声名鹊噪，神经网络的“深度”首次突破了100层、最大的神经网络甚至超过了1000层。极大消除了深度过大的神经网络训练困难问题，验证了其在堆叠多层上训练的有效性，所以近几年图卷积神经网络也顺势成为研究热点。

GCN在图像分类、目标检测、语义分割、视觉问答等领域的应用，已被陆续发表在CVPR、ICCV、ECCV、NeurIPS等计算机视觉与神经网络的顶级会议中，成为各大计算机领域顶会常被刷到的“熟脸”。

在应用实践方面，比如在生物医疗领域，从药物分子的研发到蛋白质分子结构预测，从视觉推理到开放性的阅读理解问题，从自动驾驶系统感知层中的3D点云数据学习到交通流量的预测等，都可以看到图神经网络广阔的应用前景。

在音影娱乐领域，以我们熟悉的音乐平台网易云为例，不同于一般的聊天文本或图片，音乐的数据为各类跨域数据，维度非常多。再叠加上巨量的用户应用，传统的机器学习方法训练效率大受限制，变得十分低效。

而图神经网络技术的约束性较小，可以把每个用户当做点，用户的标签作为边，在此基础上建模分析，能更高效地表征、筛选某一类用户。网易云运用百度飞桨的PGL图神经网络能力，挖掘用户的特征、歌曲的特征、用户对歌曲的行为特征，实现精准的音乐推荐。百度飞桨的PGL图神经网络可以支持网易音乐超大规模数据的极低成本全图存储、灵活子图检索、高效图学习等，能够自如的处理网易百亿级别的大规模数据。

在交通领域，滴滴出行研究了一种基于时空多图卷积神经网络的网约车需求量预测模型。通过分析区域之间复杂的时空依赖关系，对网约车需求量进行准确预测，指导车辆的调度，提高车辆的利用率，减少等待时间，并在一定程度上缓解了交通的拥堵。

事实上，基于超大规模复杂数据的用户与内容理解是许多互联网内容企业所面临的共同课题。而图神经网络已经成为目前互联网企业高效表征用户与内容结构的关键技术。图神经网络已经被广泛应用在社交网络、推荐系统、科科学研究、化学分子预测、知识图谱等领域。

走向“多图”融合

在图神经网络的发展过程中，总结来说最终演化出了五个子领域：图卷积网络、图自编码器、图生成网络、图循环网络和图注意力网络。这些子领域的发展也代表着图神经网络的差异化的演绎方向。

图卷积网络、图注意力网络在前文都提及过，图循环网络是最早出现的GNN网络模型，通常将图数据转换为序列，在训练的过程中序列会不断地递归演进和变化。图生成网络是生成图数据的GNN，在使用一定的规则对节点和边进行重新组合,最终生成具有特定属性和要求的目标图，在建模生成图的科学研究、生物工程等领域应用广泛。

每种不同的图神经网络子领域发展都有自己对图结构数据处理的一套体系,其中的适用范围有差别，但它们之间也并不是相互孤立和排斥。图自编码器中包含着图卷积层,图注意力网络也大多以其他图神经网络框架为基础。目前比较主流的融合方式是图卷积神经网络与其他GNN子领域的结合比较多。在图神经网络的实际应用中,未来更需要解决复杂的工程问题，这也需要多图的融合：根据具体图的分布和特征信息,以及任务的需求,选择组合合适的图神经网络,来更加有效地学习图结构数据。

图神经网络的核心在于规范化的表示图结构数据与传递层内或层间数据信息。经过十几年的不断发展, 通过各行业内产业落地的应用以及实验室中理论的不断迭代，GNN 在理论上和实践上都被证实是对图结构数据处理的一种有效方法和框架。不过虽然图神经网络在实际应用中取得了不错的成绩，但也存在着一些需要完善的地方，这也是图神经网络未来可能的发展方向。

1.网络深度的扩展。在大规模数据集的不断增多发展中,图节点之间的边连接数量随之增多，这也极大增加了训练过程中的计算复杂度,可能导致过拟合的现象发生。如果加深网络层数,就必须限制每层节点数量。但这也会带来新的问题：网络层数的增加会使得特征聚集的量变少,导致节点之间信息传播受阻。这一矛盾性问题是未来研究的重点之一。

2.图数据动态性的处理能力欠缺。现有的 GNN 大多处理的是静态图，但在实际的工程应用中，数据的增加和改变是常态,在这些任务处理中,数据图的动态变化是不能忽视的。如何对图的动态性进行有效地适应是未来的研究方向之一。

3.多任务需求中，GNN能力融合性差。在实际的图处理任务中，多数的任务都比较复杂，抽象出的图结构多域多模态，而GNN的能力范围大多数的情况下只能处理其中的某一类型。复杂的多网络融合问题，GNN并不能处理。目前比较主流的多网络融合方式更多的是GCN与其他GNN算法相结合。

我们知道AI的关键能力就是识别与学习，在日新月异的数字技术发展中，图神经网络的发展在理论和实践中都证明了对于深度学习能力的补充。随着图数据的规模越来越大。如果图神经网络可以在深度学习的黑箱中既能处理大规模的图数据，又能表达出机器思考的逻辑因果，那么这对于AI的研究来说，就是极其重要的突破。说不定我们最期待的机器走向通用化强人工智能可能会从图神经网络开始。

不过这一切也是一种理想化的设定，图神经网络的发展虽然取得了一些成绩，但离我们触达通用化的强人工智能路仍道阻且长，技术的发展从理论到时间需要AI思维的打磨，产业的点点渗透与适应，这些都需要时间的灌溉才能开花结果。我们就期待着改变世界的超强大脑们带领我们普罗大众们尽快进入这个AI新世界。