4-2 可扩展的图神经结构搜索系统.pdf

1、张文涛北京大学博士，腾讯Angel Graph团队成员|PaSca:可扩展的图神经结构搜索系统1个人主页:https:/zwt233.github.io/01问题02实验03方法04总结目录 CONTENT|2问题01|3|图数据许多数据都是以图的形式存在:社交网络知识图谱药物和新材料推荐系统药物发现图神经网络被广泛应用于多个场景：异常检测蛋白质结构预测4|图神经网络图卷积神经网络(GCN)的表达形式：第 层的模型参数度矩阵含自环的邻接矩阵通过消息传播机制聚合高阶邻居的信息提升自身的表达能力GCNGATGraphSAGE1 Kipf T N,Welling M.Semi-supervised

2、classification with graph convolutional networks.ICLR,2017.2 Velikovi P,Cucurull G,Casanova A,et al.Graph Attention Networks.ICLR.2018.3 Hamilton W,Ying Z,Leskovec J.Inductive representation learning on large graphs.NeurIPS,2017.第 层的节点表示第+1 层的节点表示5|Neural Message Passing(消息传递机制)传统的GNN(如GCN1,GAT2)都遵循

3、 neural message passing(NMP，消息传递机制)paradigm:Aggregate the neighborhood information(通信)Update the message via neural networks(计算)缺点:频繁地从其他机器上拉取信息 大规模图数据上每个epoch都有的高通信开销Machine 1Machine 2Input Graph1 Thomas N Kipf and Max Welling.2017.Semi-Supervised Classification with Graph Convolutional Networks.In

4、 ICLR.2 Petar Velikovi,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Li,and Yoshua Bengio.2018.Graph Attention Networks.In ICLR.ABCDEFGIF from https:/ 系统大多数GNN系统使用消息传播机制DGL1PyG2大规模图数据带来的挑战NMP范式导致了高的训练/预测时间针对任务设计GNN需要知识丰富的专家1 https:/ https:/ GNN端到端系统，无需人为定义网络结构和训练流程10|消息传递(Message Passing)范

5、式Aggregate FunctionMessage FunctionUpdate Function消息传递范式从节点层次来刻画数据的流动，主要由三个操作构成：1.Message Function：定义了从生成信息的方式；2.Aggregate Function：定义了聚合信息的方式；3.Update Function：定义了更新中心节点特征的方式。The formula is from https:/pytorch-geometric.readthedocs.io/en/latest/notes/create_gnn.html不断迭代的“聚合-更新”流程。11|方法概览Scalable Gr

6、aph Neural Architecture Paradigm(SGAP建模范式)定义可扩展训练流程的抽象自动搜索系统(PaSca)预处理(Aggregating)模型训练(Updating)后处理(Aggregating)可扩展的设计AggregatingUpdating不可扩展的设计Fetch information during trainingFetch information before and after trainingTwiceThe number of training epochs12|SGAP范式=_(,)(1)!=_()(2)=_(!)(3)SGAP从图的层次刻画数