深度學習

01 緒論
1．1　機器學習與深度學習　2
1．2　機器學習方法類型　3
1．3　機器學習常見算法　4
1．4　深度學習的前世今生　6
1．5　深度學習的應用　8
1．6　深度學習開源工具簡介　10
1．6．1　TensorFlow　10
1．6．2　PyTorch　10
1．6．3　CNTK　10
1．6．4　Keras　11
1．6．5　MXNet　11
1．6．6　Caffe　11
1．6．7　OpenAI Gym　11
1．7　本書主要學習內(nèi)容　12
1．8　本章小結(jié)　13
1．9　習題　13
02　神經(jīng)網(wǎng)絡(luò)與深度神經(jīng)網(wǎng)絡(luò)
2．1　神經(jīng)元與感知器　16
2．1．1　生物神經(jīng)元與神經(jīng)元模型　16
2．1．2　感知器　18
2．2　反向傳播算法　19
2．2．1　前饋計算　19
2．2．2　反向傳播　20
2．3　神經(jīng)網(wǎng)絡(luò)的連接　23
2．3．1　前饋神經(jīng)網(wǎng)絡(luò)　23
2．3．2　反饋神經(jīng)網(wǎng)絡(luò)　24
2．3．3　全局逼近網(wǎng)絡(luò)和局部逼近網(wǎng)絡(luò)　24
2．3．4　自組織特征映射網(wǎng)絡(luò)　25
2．3．5　自適應共振理論ART模型　25
2．4　深度神經(jīng)網(wǎng)絡(luò)與深度學習　26
2．5　常用的函數(shù)模型　28
2．5．1　激活函數(shù)　28
2．5．2　損失函數(shù)　30
2．6　本章小結(jié)　32
2．7　習題　32
03　卷積神經(jīng)網(wǎng)絡(luò)
3．1　大腦視覺皮層的信息分層處理機制　34
3．2　感受野與權(quán)值共享　35
3．3　卷積神經(jīng)網(wǎng)絡(luò)的層級結(jié)構(gòu)和組成　37
3．3．1　卷積層　37
3．3．2　池化層　38
3．3．3　全連接層　38
3．4　卷積神經(jīng)網(wǎng)絡(luò)算法　39
3．4．1　算法的訓練　39
3．4．2　LeNet-5模型　40
3．5　網(wǎng)絡(luò)的卷積層設(shè)計　41
3．5．1　跨步卷積（Stride Convolution）　42
3．5．2　零填充（Zero Padding）　43
3．5．3　非共享卷積（Unshared Convolution）　44
3．5．4　平鋪卷積（Tiled Convolution）　44
3．6　CNN的經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)　45
3．6．1　AlexNet　45
3．6．2　VGGNet　46
3．6．3　GoogLeNet　46
3．6．4　ResNet　48
3．6．5　DenseNet　48
3．7　CNN用于人臉表情分類　49
3．7．1　圖像的預處理　49
3．7．2　用于分類的CNN網(wǎng)絡(luò)設(shè)計　50
3．7．3　實驗結(jié)果　51
3．8　本章小結(jié)　52
3．9　習題　52
04　循環(huán)神經(jīng)網(wǎng)絡(luò)
4．1　循環(huán)神經(jīng)網(wǎng)絡(luò)　54
4．1．1　循環(huán)神經(jīng)元展開　54
4．1．2　隨時間反向傳播算法　57
4．1．3　梯度消失和梯度爆炸　61
4．2　長短期記憶網(wǎng)絡(luò)　61
4．2．1　輸入門、遺忘門和輸出門　62
4．2．2　LSTM模型　62
4．2．3　LSTM的計算　64
4．3　循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)計　65
4．3．1　雙向循環(huán)網(wǎng)絡(luò)　66
4．3．2　深度循環(huán)神經(jīng)網(wǎng)絡(luò)　66
4．3．3　LSTM的變體　67
4．4　循環(huán)神經(jīng)網(wǎng)絡(luò)的應用　69
4．5　基于RNN的語言模型　69
4．6　本章小結(jié)　72
4．7　習題　72
05　目標檢測
5．1　基于候選區(qū)域的目標檢測算法　74
5．1．1　R-CNN算法　75
5．1．2　SPP-NET算法　75
5．1．3　Fast R-CNN算法　76
5．1．4　Faster R-CNN算法　77
5．1．5　Mask R-CNN算法　78
5．2　基于回歸預測的目標檢測算法　79
5．2．1　SSD算法　79
5．2．2　YOLO算法　80
5．2．3　YOLOv2算法　82
5．2．4　YOLOv3算法　84
5．3　目標檢測算法發(fā)展趨勢　85
5．4　人體行為檢測　86
5．4．1　網(wǎng)絡(luò)超參數(shù)的選擇　86
5．4．2　模型的訓練　87
5．4．3　模型測試　89
5．5　本章小結(jié)　91
5．6　習題　91
06　圖像描述
6．1　圖像描述方法　94
6．1．1　模板方法與檢索方法　94
6．1．2　編碼 解碼結(jié)構(gòu)方法　95
6．2　編碼 解碼圖像描述　96
6．2．1　編碼 解碼結(jié)構(gòu)原理　96
6．2．2　編碼 解碼結(jié)構(gòu)的圖像描述模型　97
6．3　注意力機制圖像描述方法　98
6．3．1　注意力機制原理　98
6．3．2　注意力機制在圖像描述中的應用　100
6．4　圖像描述示例　103
6．4．1　圖像描述的數(shù)據(jù)集　103
6．4．2　生成圖像描述　104
6．4．3　圖像描述代碼解析　106
6．5　圖像描述應用前景　110
6．5．1　圖像檢索　110
6．5．2　人機交互　110
6．5．3　智能監(jiān)控　111
6．6　本章小結(jié)　111
6．7　習題　111
07　生成對抗網(wǎng)絡(luò)
7．1　生成式模型　114
7．1．1　一個極具挑戰(zhàn)的機器學習問題　114
7．1．2　生成式模型分類　115
7．2　生成對抗網(wǎng)絡(luò)基本原理　115
7．2．1　GAN的思想與基本形式　115
7．2．2　GAN的優(yōu)勢與問題　116
7．3　生成式對抗網(wǎng)絡(luò)的設(shè)計　117
7．3．1　條件生成式對抗網(wǎng)絡(luò)　117
7．3．2　拉普拉斯金字塔生成式對抗網(wǎng)絡(luò)　118
7．3．3　深度卷積生成式對抗網(wǎng)絡(luò)　120
7．3．4　Wasserstein GAN　121
7．4　GAN的應用　122
7．4．1　計算機視覺領(lǐng)域　122
7．4．2　語言和語音領(lǐng)域　124
7．4．3　半監(jiān)督領(lǐng)域　125
7．5　基于DCGAN的手寫數(shù)字生成實例　125
7．6　本章小結(jié)　128
7．7　習題　128
08　深度遷移學習
8．1　遷移學習　130
8．1．1　遷移學習的分類　130
8．1．2　遷移學習的形式化定義　131
8．1．3　度量準則—距離和相似度　131
8．2　深度網(wǎng)絡(luò)的可遷移性　132
8．3　深度網(wǎng)絡(luò)的適配　134
8．3．1　核心思想—數(shù)據(jù)分布自適應　134
8．3．2　DDC方法　134
8．3．3　DAN方法　135
8．4　遷移學習的應用　136
8．5　VGG遷移—識別花朵類型　137
8．6　本章小結(jié)　140
8．7　習題　140
09　深度強化學習
9．1　強化學習　142
9．1．1　獎勵驅(qū)動行為思想　142
9．1．2　強化學習的基本框架　142
9．1．3　強化學習算法　143
9．2　深度強化學習的突破與問題　144
9．3　DRL算法—深度Q網(wǎng)絡(luò)　146
9．4　深度Q網(wǎng)絡(luò)的變體　148
9．4．1　深度雙Ｑ網(wǎng)絡(luò)　148
9．4．2　深度循環(huán)Q網(wǎng)絡(luò)　148
9．4．3　基于優(yōu)先級回放的深度Q網(wǎng)絡(luò)　149
9．4．4　異步多步深度Q網(wǎng)絡(luò)　150
9．4．5　彩虹深度Q網(wǎng)絡(luò)　150
9．5　深度強化學習的應用　151
9．5．1　機器人控制　151
9．5．2　計算機視覺　152
9．5．3　自然語言處理　152
9．5．4　博弈論領(lǐng)域　153
9．6　本章小結(jié)　153
9．7　習題　153
附錄1　CNN用于人臉表情分類　155
附錄2　基于DCGAN的手寫數(shù)字生成實例　159
附錄3　VGG遷移—識別花朵類型　165
附錄4　深度學習資源　171
參考文獻　175