深入淺出圖神經(jīng)網(wǎng)絡：GNN原理解析

前言
第1章　圖的概述 1
1.1　圖的基本定義 1
1.1.1　圖的基本類型 2
1.1.2　鄰居和度 4
1.1.3　子圖與路徑 4
1.2　圖的存儲與遍歷 5
1.2.1　鄰接矩陣與關(guān)聯(lián)矩陣 5
1.2.2　圖的遍歷 6
1.3　圖數(shù)據(jù)的應用場景 7
1.4　圖數(shù)據(jù)深度學習 10
1.5　參考文獻 13
第2章　神經(jīng)網(wǎng)絡基礎 17
2.1　機器學習基本概念 17
2.1.1　機器學習分類 17
2.1.2　機器學習流程概述 18
2.1.3　常見的損失函數(shù) 21
2.1.4　梯度下降算法 23
2.2　神經(jīng)網(wǎng)絡 25
2.2.1　神經(jīng)元 25
2.2.2　多層感知器 27
2.3　激活函數(shù) 29
2.3.1　S型激活函數(shù) 30
2.3.2　ReLU及其變種 30
2.4　訓練神經(jīng)網(wǎng)絡 33
2.4.1　神經(jīng)網(wǎng)絡的運行過程 34
2.4.2　反向傳播 34
2.4.3　優(yōu)化困境 36
2.5　參考文獻 38
第3章　卷積神經(jīng)網(wǎng)絡 39
3.1　卷積與池化 39
3.1.1　信號處理中的卷積 39
3.1.2　深度學習中的卷積操作 42
3.1.3　池化 46
3.2　卷積神經(jīng)網(wǎng)絡 46
3.2.1　卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu) 47
3.2.2　卷積神經(jīng)網(wǎng)絡的特點 49
3.3　特殊的卷積形式 51
3.3.1　1×1卷積 51
3.3.2　轉(zhuǎn)置卷積 52
3.3.3　空洞卷積 54
3.3.4　分組卷積 55
3.3.5　深度可分離卷積 55
3.4　卷積網(wǎng)絡在圖像分類中的應用 56
3.4.1　VGG 56
3.4.2　Inception系列 57
3.4.3　ResNet 60
3.5　參考文獻 62
第4章　表示學習 65
4.1　表示學習 65
4.1.1　表示學習的意義 65
4.1.2　離散表示與分布式表示 66
4.1.3　端到端學習是一種強大的表示學習方法 68
4.2　基于重構(gòu)損失的方法—自編碼器 69
4.2.1　自編碼器 69
4.2.2　正則自編碼器 71
4.2.3　變分自編碼器 72
4.3　基于對比損失的方法—Word2vec 75
4.4　參考文獻 79
第5章　圖信號處理與圖卷積神經(jīng)網(wǎng)絡 81
5.1　矩陣乘法的三種方式 81
5.2　圖信號與圖的拉普拉斯矩陣 83
5.3　圖傅里葉變換 85
5.4　圖濾波器 90
5.4.1　空域角度 93
5.4.2　頻域角度 94
5.5　圖卷積神經(jīng)網(wǎng)絡 96
5.6　GCN實戰(zhàn) 101
5.7　參考文獻 109
第6章　GCN的性質(zhì) 111
6.1　GCN與CNN的聯(lián)系 111
6.2　GCN能夠?qū)D數(shù)據(jù)進行端對端學習 115
6.3　GCN是一個低通濾波器 120
6.4　GCN的問題—過平滑 122
6.5　參考文獻 127
第7章　GNN的變體與框架 129
7.1　GraphSAGE 129
7.1.1　采樣鄰居 130
7.1.2　聚合鄰居 131
7.1.3　GraphSAGE算法過程 132
7.2　GAT 134
7.2.1　注意力機制 134
7.2.2　圖注意力層 137
7.2.3　多頭圖注意力層 138
7.3　R-GCN 140
7.3.1　知識圖譜 140
7.3.2　R-GCN 141
7.4　GNN的通用框架 143
7.4.1　MPNN 143
7.4.2　NLNN 146
7.4.3　GN 147
7.5　GraphSAGE實戰(zhàn) 148
7.6　參考文獻 153
第8章　圖分類 155
8.1　基于全局池化的圖分類 155
8.2　基于層次化池化的圖分類 156
8.2.1　基于圖坍縮的池化機制 157
8.2.2　基于TopK的池化機制 165
8.2.3　基于邊收縮的池化機制 168
8.3　圖分類實戰(zhàn) 169
8.4　參考文獻 177
第9章　基于GNN的圖表示學習 179
9.1　圖表示學習 180
9.2　基于GNN的圖表示學習 182
9.2.1　基于重構(gòu)損失的GNN 183
9.2.2　基于對比損失的GNN 184
9.3　基于圖自編碼器的推薦系統(tǒng) 188
9.4　參考文獻 195
第10章　GNN的應用簡介 197
10.1　GNN的應用簡述 197
10.2　GNN的應用案例 199
10.2.1　3D視覺 199
10.2.2　基于社交網(wǎng)絡的推薦系統(tǒng) 203
10.2.3　視覺推理 205
10.3　GNN的未來展望 208
10.4　參考文獻 209
附錄A　符號聲明 211