123,123,123

內(nèi)容簡(jiǎn)介

　　本書(shū)首先從Python 基本語(yǔ)法開(kāi)始討論，逐步介紹必備的數(shù)學(xué)知識(shí)與神經(jīng)網(wǎng)絡(luò)的基本知識(shí)，并利用討論的內(nèi)容編寫(xiě)一個(gè)深度學(xué)習(xí)框架TensorPy，有了這些知識(shí)作為鋪墊后，就開(kāi)始討論生成對(duì)抗網(wǎng)絡(luò)（GAN）相關(guān)的內(nèi)容。然后，本書(shū)使用比較簡(jiǎn)單的語(yǔ)言來(lái)描述GAN 涉及的思想、模型與數(shù)學(xué)原理，接著便通過(guò)TensorFlow實(shí)現(xiàn)傳統(tǒng)的GAN，并討論為何一定需要生成器或判別器。接下來(lái)，重點(diǎn)介紹GAN 各種常見(jiàn)的變體，包括卷積生成對(duì)抗網(wǎng)絡(luò)、條件對(duì)抗生成網(wǎng)絡(luò)、循環(huán)一致性、改進(jìn)生成對(duì)抗網(wǎng)絡(luò)、漸近增強(qiáng)式生成對(duì)抗網(wǎng)絡(luò)等內(nèi)容。本書(shū)從模型與數(shù)學(xué)的角度來(lái)理解GAN 變體，希望通過(guò)數(shù)學(xué)符號(hào)表達(dá)出不同GAN 變體的核心思想，適合人工智能、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)相關(guān)專(zhuān)業(yè)的人員學(xué)習(xí)使用。

作者簡(jiǎn)介

　　廖茂文：游戲AI研究員、高級(jí)工程師、中國(guó)人工智能學(xué)會(huì)高級(jí)會(huì)員。研究興趣為自然語(yǔ)言處理、生成對(duì)抗網(wǎng)絡(luò)、游戲AI，曾參與多項(xiàng)機(jī)器學(xué)習(xí)項(xiàng)目。潘志宏：高級(jí)工程師，中山大學(xué)新華學(xué)院“百名骨干教師”，中國(guó)人工智能學(xué)會(huì)高級(jí)會(huì)員、中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)員。研究興趣為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、物聯(lián)網(wǎng)。主持和參與省市級(jí)、校級(jí)項(xiàng)目10余項(xiàng)，其中主持廣東省普通高校青年創(chuàng)新人才項(xiàng)目、教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目各一項(xiàng)。發(fā)表論文18篇，其中SCI、EI、北大核心期刊12篇，第一作者論文獲得北大核心期刊優(yōu)秀論文、東莞市計(jì)算機(jī)學(xué)會(huì)優(yōu)秀論文。申請(qǐng)發(fā)明專(zhuān)利、實(shí)用新型專(zhuān)利共8項(xiàng)，其中已授權(quán)3項(xiàng)，獲得軟件著作權(quán)3項(xiàng)，已出版教材3部。指導(dǎo)學(xué)生獲得***和省級(jí)競(jìng)賽獎(jiǎng)項(xiàng)50余項(xiàng)，多次獲得***和省級(jí)優(yōu)秀指導(dǎo)教師獎(jiǎng)。

圖書(shū)目錄

第 1 章優(yōu)雅Python 1
1．1　Anaconda　1
1．2　Python 基礎(chǔ)　4
1．2．1　常用數(shù)據(jù)類(lèi)型　5
1．2．2　流程控制　7
1．2．3　函數(shù)定義　8
1．3　Python 進(jìn)階　8
1．3．1　生成式　9
1．3．2　可迭代對(duì)象與迭代器　9
1．3．3　生成器　11
1．3．4　裝飾器　11
1．4　小結(jié)　13
第　2 章優(yōu)雅的數(shù)學(xué)　14
2．1　向量與矩陣　14
2．1．1　向量的概念　14
2．1．2　向量的基本運(yùn)算　15
2．1．3　矩陣的概念　17
2．1．4　矩陣的運(yùn)算　19
2．2　微積分　24
2．2．1　圓的面積　24
2．2．2　古典微積分　25
2．2．3　重建微積分　28
2．2．4　常用的公式　29
2．2．5　偏導(dǎo)數(shù)　31
2．2．6　方向?qū)?shù)　31
2．2．7　鏈?zhǔn)椒▌t　33
2．3　概率論　34
2．3．1　隨機(jī)變量　34
2．3．2　條件概率　36
2．3．3　貝葉斯定理　38
2．3．4　常見(jiàn)的概率分布　39
2．4　信息論　41
2．4．1　信息熵　41
2．4．2　條件熵　43
2．4．3　互信息　43
2．4．4　相對(duì)熵（KL 散度）　44
2．4．5　交叉熵　45
2．5　小結(jié)　46
第3　章初識(shí)神經(jīng)網(wǎng)絡(luò)　47
3．1　什么是神經(jīng)網(wǎng)絡(luò)　47
3．1．1　神經(jīng)網(wǎng)絡(luò)的歷史　47
3．1．2　神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)　54
3．2　神經(jīng)網(wǎng)絡(luò)中常見(jiàn)的概念　55
3．2．1　前向傳播算法　55
3．2．2　損失函數(shù)　57
3．2．3　梯度下降算法　58
3．2．4　各種梯度下降算法　63
3．2．5　反向傳播算法　67
3．2．6　過(guò)擬合與欠擬合　70
3．3　動(dòng)手實(shí)現(xiàn)深度學(xué)習(xí)框架TensorPy　71
3．3．1　實(shí)現(xiàn)計(jì)算圖　71
3．3．2　實(shí)現(xiàn)Session 對(duì)象　74
3．3．3　實(shí)現(xiàn)感知器前向傳播算法　76
3．3．4　實(shí)現(xiàn)對(duì)數(shù)損失　79
3．3．5　實(shí)現(xiàn)梯度下降算法與反向傳播算法　81
3．3．6　實(shí)現(xiàn)多層感知器　86
3．4　TensorFlow 簡(jiǎn)介　89
3．4．1　TensorFlow 安裝與介紹　89
3．4．2　TensorFlow 基本概念　90
3．4．3　TensorFlow 實(shí)現(xiàn)多層感知器　91
3．4．4　TensorBoard 可視化　93
3．4．5　TensorFlow 模型保存方法　98
3．5　小結(jié)　99
第4　章初識(shí)生成對(duì)抗網(wǎng)絡(luò)　101
4．1　什么是生成對(duì)抗網(wǎng)絡(luò)　101
4．1．1　什么是GAN　101
4．1．2　GAN 使用范圍　103
4．2　GAN 基本原理　104
4．2．1　GAN 模型詳情　104
4．2．2　對(duì)抗的本質(zhì)　106
4．3　TensorFlow 實(shí)現(xiàn)樸素GAN　108
4．3．1　樸素GAN 生成MNIST
數(shù)據(jù)集　108
4．3．2　訓(xùn)練與效果展示　114
4．4　關(guān)于GAN 的幾個(gè)問(wèn)題　117
4．4．1　為什么生成器G 生成數(shù)據(jù)需要判別器D 介入　117
4．4．2　為什么判別器D 不自己
生成數(shù)據(jù)　120
4．4．3　為什么選擇GAN　121
4．5　小結(jié)　122
第5　章生成對(duì)抗網(wǎng)絡(luò)的數(shù)學(xué)原理　123
5．1　擬合真實(shí)分布　123
5．1．1　最大似然估計(jì)　123
5．1．2　最大似然估計(jì)擬合分布　125
5．1．3　最大似然估計(jì)與KL散度的關(guān)系　126
5．2　生成對(duì)抗網(wǎng)絡(luò)　127
5．2．1　生成器擬合分布　127
5．2．2　判別器計(jì)算分布的差異　128
5．2．3　GAN 的數(shù)學(xué)推導(dǎo)　129
5．2．4　GAN 的本質(zhì)　131
5．3　統(tǒng)一框架F-GAN　134
5．3．1　f 散度　134
5．3．2　凸共軛　137
5．3．3　f 散度與GAN 之間的關(guān)系　138
5．4　GAN 訓(xùn)練過(guò)程可視化　139
5．5　小結(jié)　144
第6　章卷積生成對(duì)抗網(wǎng)絡(luò)　145
6．1　初識(shí)卷積神經(jīng)網(wǎng)絡(luò)　145
6．1．1　什么是卷積神經(jīng)網(wǎng)絡(luò)　145
6．1．2　CNN 識(shí)別圖像過(guò)程　147
6．1．3　CNN 核心概念　151
6．2　TensorFlow 實(shí)現(xiàn)卷積網(wǎng)絡(luò)　154
6．2．1　構(gòu)建CNN 計(jì)算圖　154
6．2．2　訓(xùn)練CNN 網(wǎng)絡(luò)　160
6．2．3　Dropout 操作　161
6．2．4　DCGAN：CNN 與GAN
有機(jī)結(jié)合　162
6．2．5　Batch Normalization　164
6．3　TensorFlow 實(shí)現(xiàn)DCGAN 網(wǎng)絡(luò)　166
6．3．1　TensorFlow 實(shí)現(xiàn)DCGAN 的生成器．167
6．3．2　TensorFlow 實(shí)現(xiàn)DCGAN 的
判別器　170
6．3．3　獲得測(cè)試樣例　171
6．3．4　構(gòu)建DCGAN 整體　172
6．3．5　訓(xùn)練DCGAN　173
6．3．6　RussellCould 使用　179
6．3．7　結(jié)果展示　185
6．4　小結(jié)　189
第7　章條件對(duì)抗生成網(wǎng)絡(luò)　190
7．1　如何實(shí)現(xiàn)圖像間風(fēng)格轉(zhuǎn)換　190
7．1．1　傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的缺陷　190
7．1．2　普通GAN 的缺陷　191
7．2　條件對(duì)抗生成網(wǎng)絡(luò)　192
7．2．1　GAN 詳解　192
7．2．2　CGAN 訓(xùn)練流程　193
7．3　ColorGAN 的實(shí)現(xiàn)　194
7．3．1　生成器與判別器的構(gòu)建　194
7．3．2　圖像數(shù)據(jù)預(yù)處理　197
7．3．3　ColorGAN 訓(xùn)練學(xué)習(xí)　200
7．3．4　ColorGAN 訓(xùn)練結(jié)果　203
7．3．5　圖像轉(zhuǎn)圖像的討論　208
7．4　實(shí)現(xiàn)文字轉(zhuǎn)圖像　209
7．4．1　獨(dú)熱向量　209
7．4．2　fashion-mnist 數(shù)據(jù)集　210
7．4．3　FashionCGAN 判別器和生成器　211
7．4．4　訓(xùn)練FashionCGAN　213
7．5　實(shí)現(xiàn)句子轉(zhuǎn)圖像　215
7．5．1　word2vec 技術(shù)　215
7．5．2　RNN、LSTM 與GRU　218
7．5．3　Skip-Thought Vector　223
7．5．4　實(shí)現(xiàn)Skip-Thought　226
7．5．5　實(shí)現(xiàn)句子轉(zhuǎn)圖像　234
7．6　小結(jié)　237
第8　章循環(huán)一致性　238
8．1　以無(wú)監(jiān)督的方式實(shí)現(xiàn)風(fēng)格轉(zhuǎn)換　238
8．2　CycleGAN　240
8．2．1　CycleGAN 的架構(gòu)與目標(biāo)函數(shù)　241
8．2．2　CycleGAN 做的改變　243
8．2．3　TensorFlow 實(shí)現(xiàn)CycleGAN生成器與判別器　251
8．2．4　TensorFlow 搭建與訓(xùn)練CycleGAN　254
8．2．5　效果展示　258
8．3　StarGAN　262
8．3．1　StarGAN 的結(jié)構(gòu)與目標(biāo)函數(shù)　262
8．3．2　TensorFlow 構(gòu)建StarGAN模型　265
8．3．3　構(gòu)建StarGAN 的損失　268
8．3．4　效果展示　272
8．4　語(yǔ)義樣式不變的圖像跨域轉(zhuǎn)換　275
8．4．1　Domain Transfer Network介紹　276
8．4．2　DTN 代碼結(jié)構(gòu)　278
8．4．3　XGAN 介紹　283
8．5　小結(jié)　287
第9　章改進(jìn)生成對(duì)抗網(wǎng)絡(luò)　289
9．1　傳統(tǒng)GAN 存在的問(wèn)題　289
9．1．1　梯度消失　289
9．1．2　模式崩潰　293
9．2　Wasserstein GAN　295
9．2．1　EM 距離　295
9．2．2　EM 距離使用在GAN 上　298
9．2．3　EM 距離與判別器的關(guān)系　299
9．2．4　TensorFlow 實(shí)現(xiàn)WGAN　302
9．3　Improved WGAN（WGAN-GP）　306
9．3．1　WGAN 存在的問(wèn)題　306
9．3．2　gradient penalty　308
9．3．3　TensorFlow 實(shí)現(xiàn)WGAN-GP　310
9．4　SN-GAN　314
9．4．1　SN-GAN 介紹　314
9．4．2　Spectral Normalization方法與SN-GAN　315
9．4．3　TensorFlow 實(shí)現(xiàn)SNGAN　321
9．5　小結(jié)　326
第　10 章漸近增強(qiáng)式生成對(duì)抗網(wǎng)絡(luò)　327
10．1　堆疊式生成對(duì)抗網(wǎng)絡(luò)StackGAN　327
10．1．1　StackGAN-v1　327
10．1．2　棋盤(pán)效應(yīng)　330
10．1．3　StackGAN-v2　333
10．1．4　TensorFlow 實(shí)現(xiàn)StackGAN-v2　335
10．2　TensorFlow 數(shù)據(jù)處理　348
10．2．1　placeholder 讀取數(shù)據(jù)　348
10．2．2　Queue 方式讀取數(shù)據(jù)　348
10．2．3　tf．data 讀取數(shù)據(jù)　353
10．3　漸近增長(zhǎng)生成對(duì)抗網(wǎng)絡(luò)PGGAN ．
10．3．1　PGGAN 介紹　355
10．3．2　PGGAN 的改進(jìn)點(diǎn)　356
10．3．3　TensorFlow 實(shí)現(xiàn)PGGAN　361
10．4　小結(jié)　369
第　11 章 GAN 進(jìn)行特征學(xué)習(xí)　370
11．1　近似推斷　370
11．1．1　變分推斷思想　371
11．1．2　平均場(chǎng)　372
11．2　InfoGAN　375
11．2．1　數(shù)據(jù)特征與互信息　376
11．2．2　InfoGAN 數(shù)學(xué)原理與模型結(jié)構(gòu)　377
11．2．3　TensorFlow 實(shí)現(xiàn)InfoGAN　381
11．2．4　使用InfoGAN 生成圖像　385
11．3　VAE-GAN　390
11．3．1　AutoEncoder 自編碼器　390
11．3．2　變分自編碼器　392
11．3．3　數(shù)學(xué)角度看VAE　394
11．3．4　TensorFlow 實(shí)現(xiàn)VAE　400
11．3．5　VAE 與GAN 的結(jié)合體VAE-GAN　405
11．3．6　TensorFlow 實(shí)現(xiàn)VAE-GAN　407
11．4　小結(jié)　414
第　12 章 GAN 在NLP 中的運(yùn)用　415
12．1　GAN 在文本生成中遇到的境　415
12．2　GAN 生成離散數(shù)據(jù)的方法　418
12．2．1　判別器直接獲取生成器的輸出　418
12．2．2　Gumbel-softmax　420
12．3　強(qiáng)化學(xué)習(xí)簡(jiǎn)述　422
12．3．1　強(qiáng)化學(xué)習(xí)算法　423
12．3．2　Policy Gradient　424
12．3．3　GAN+RL 作用于文本生成　428
12．3　SeqGAN　429
12．3．1　SeqGAN 結(jié)構(gòu)與算法　429
12．3．2　Highway Network　432
12．3．3　SeqGAM 生成器與rollout結(jié)構(gòu)的實(shí)現(xiàn)　434
12．3．4　SeqGAN 中目標(biāo)LSTM 與判別器的實(shí)現(xiàn)　445
12．3．5　SeqGAN 中生成器與判別器預(yù)訓(xùn)練　453
12．3．6　SeqGAN 對(duì)抗訓(xùn)練　459
12．4　MaskGAN　461
12．4．1　MaskGAN 結(jié)構(gòu)與算法　461
12．4．2　TensorFlow 實(shí)現(xiàn)MaskGAN 的生成器與判別器　465
12．4．3　TensorFlow 實(shí)現(xiàn)MaskGAN 的Actor-Critic 與目標(biāo)函數(shù)　472
12．4．4　TensorFlow 實(shí)現(xiàn)MaskGAN 的結(jié)構(gòu)與訓(xùn)練邏輯　476
12．5　小結(jié)　480