Python深度學(xué)習(xí)與項(xiàng)目實(shí)戰(zhàn)

目　　錄

第　一部分 基礎(chǔ)知識(shí)
第　1章 線性回歸模型　3
1．1　線性回歸詳解　3
1．1．1　數(shù)據(jù)集的構(gòu)建　3
1．1．2　線性回歸模型的構(gòu)建　4
1．1．3　損失函數(shù)詳解　4
1．2　梯度下降算法　5
1．3　求損失函數(shù)的最小值　8
1．4　線性回歸代碼實(shí)戰(zhàn)　9
1．4．1　線性回歸模型的構(gòu)建與訓(xùn)練　9
1．4．2　復(fù)雜線性回歸模型的構(gòu)建　14
1．4．3　使用正則項(xiàng)防止過(guò)擬合　16
1．5　線性回歸項(xiàng)目實(shí)戰(zhàn)　18
1．5．1　波士頓房?jī)r(jià)數(shù)據(jù)集簡(jiǎn)介　18
1．5．2　數(shù)據(jù)集特征值的標(biāo)準(zhǔn)化　18
1．5．3　線性回歸模型的構(gòu)建與訓(xùn)練　20
1．6　本章小結(jié)　21
第　2章 邏輯回歸模型　22
2．1　邏輯回歸詳解　22
2．1．1　Sigmoid函數(shù)　22
2．1．2　邏輯回歸模型的工作原理　24
2．1．3　損失函數(shù)的構(gòu)建　25
2．1．4　二元交叉熵函數(shù)的代碼實(shí)戰(zhàn)　27
2．1．5　求模型的最優(yōu)參數(shù)　27
2．2　邏輯回歸項(xiàng)目實(shí)戰(zhàn)　29
2．2．1　泰坦尼克數(shù)據(jù)集簡(jiǎn)介　29
2．2．2　數(shù)據(jù)集的加載　30
2．2．3　模型的構(gòu)建與訓(xùn)練　30
2．2．4　模型的評(píng)估　32
2．2．5　使用矩陣的方式加速模型的
訓(xùn)練　33
2．3　邏輯回歸模型與神經(jīng)網(wǎng)絡(luò)的聯(lián)系　35
2．4　本章小結(jié)　36
第3章　Softmax多分類器　37
3．1　Softmax函數(shù)詳解　37
3．2　Softmax多分類器詳解　39
3．2．1　獨(dú)熱編碼詳解　39
3．2．2　Softmax多分類器工作原理　40
3．2．3　多元交叉熵函數(shù)詳解　41
3．2．4　多元交叉熵函數(shù)的代碼實(shí)戰(zhàn)　42
3．3　數(shù)據(jù)集的預(yù)處理　43
3．3．1　MNIST數(shù)據(jù)集詳解　43
3．3．2　數(shù)據(jù)集特征值的歸一化　44
3．3．3　圖片的扁平化　45
3．3．4　標(biāo)簽值的獨(dú)熱編碼處理　46
3．4　Softmax多分類器實(shí)戰(zhàn)　47
3．4．1　MNIST數(shù)據(jù)集的加載與
預(yù)處理　47
3．4．2　Softmax多分類器模型的構(gòu)建　48
3．4．3　Softmax多分類器模型的訓(xùn)練　49
3．5　本章小結(jié)　50
第二部分　進(jìn)階技術(shù)
第4章　全連接神經(jīng)網(wǎng)絡(luò)　53
4．1　深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介　53
4．2　全連接神經(jīng)網(wǎng)絡(luò)　54
4．3　激活函數(shù)　56
4．3．1　Sigmoid函數(shù)　56
4．3．2　tanh函數(shù)　56
4．3．3　ReLU函數(shù)　57
4．3．4　Softmax函數(shù)　58
4．4　模型參數(shù)的初始化　58
4．4．1　初始化為常數(shù)　58
4．4．2　隨機(jī)初始化模型參數(shù)　58
4．4．3　模型參數(shù)初始化實(shí)戰(zhàn)　59
4．5　模型的訓(xùn)練與損失函數(shù)　60
4．5．1　模型的訓(xùn)練過(guò)程　60
4．5．2　損失函數(shù)的定義　61
4．6　梯度下降算法　63
4．6．1　反向傳播算法　64
4．6．2　3種梯度下降算法的
計(jì)算方式　65
4．6．3　梯度下降優(yōu)化算法　66
4．7　MNIST手寫數(shù)字識(shí)別實(shí)戰(zhàn)——
分類項(xiàng)目　67
4．7．1　深度學(xué)習(xí)項(xiàng)目中數(shù)據(jù)集的
劃分　67
4．7．2　MNIST手寫數(shù)字識(shí)別項(xiàng)目　68
4．8　房?jī)r(jià)數(shù)據(jù)回歸分析——回歸分析
項(xiàng)目　70
4．9　本章小結(jié)　73
第5章　神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化　74
5．1　防止過(guò)擬合的方法　74
5．1．1　L1/L2正則化　74
5．1．2　增加訓(xùn)練集樣本個(gè)數(shù)　78
5．1．3　Dropout的應(yīng)用　80
5．1．4　早停法　82
5．2　批量標(biāo)準(zhǔn)化　85
5．3　CIFAR-10數(shù)據(jù)集分類項(xiàng)目實(shí)戰(zhàn)　87
5．3．1　CIFAR-10數(shù)據(jù)集簡(jiǎn)介　87
5．3．2　模型的構(gòu)建與訓(xùn)練　87
5．4　模型的使用、保存與加載　90
5．4．1　使用模型進(jìn)行預(yù)測(cè)　90
5．4．2　保存訓(xùn)練好的模型　91
5．4．3　加載模型　91
5．5　Keras 中的函數(shù)式API　92
5．6　本章小結(jié)　93
第6章　卷積神經(jīng)網(wǎng)絡(luò)　94
6．1　卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)　95
6．2　應(yīng)用CNN模型對(duì)MNIST
數(shù)據(jù)集分類　95
6．2．1　圖片的表示形式　95
6．2．2　MNIST數(shù)據(jù)集的分類　96
6．3　卷積層　99
6．3．1　卷積層的工作原理　99
6．3．2　實(shí)現(xiàn)卷積層的代碼　102
6．3．3　補(bǔ)零　105
6．4　池化層　107
6．4．1　池化層的工作原理　108
6．4．2　池化層對(duì)圖片的作用　109
6．5　應(yīng)用CNN模型對(duì)CIFAR-10
數(shù)據(jù)集圖片分類　112
6．6　貓與狗數(shù)據(jù)集分類項(xiàng)目實(shí)戰(zhàn)　114
6．6．1　貓與狗數(shù)據(jù)集簡(jiǎn)介　114
6．6．2　數(shù)據(jù)集的預(yù)處理　115
6．6．3　模型的構(gòu)建與訓(xùn)練　116
6．7　經(jīng)典的CNN模型　119
6．7．1　VGG網(wǎng)絡(luò)模型　119
6．7．2　ResNet模型　120
6．7．3　Inception網(wǎng)絡(luò)模型　122
6．8　遷移學(xué)習(xí)　125
6．8．1　遷移學(xué)習(xí)的原理　125
6．8．2　遷移學(xué)習(xí)項(xiàng)目實(shí)戰(zhàn)　126
6．9　本章小結(jié)　129
第7章　循環(huán)神經(jīng)網(wǎng)絡(luò)　130
7．1　時(shí)間序列數(shù)據(jù)詳解　131
7．2　自然語(yǔ)言數(shù)據(jù)的處理　131
7．2．1　詞的向量化表示　131
7．2．2　詞匯標(biāo)記化　133
7．2．3　序列填充　135
7．2．4　嵌入層的原理與應(yīng)用　136
7．3　情感分析項(xiàng)目　139
7．3．1　情感分析項(xiàng)目簡(jiǎn)介　139
7．3．2　數(shù)據(jù)集的處理　139
7．4　簡(jiǎn)單RNN　141
7．4．1　簡(jiǎn)單RNN的原理　141
7．4．2　簡(jiǎn)單RNN的應(yīng)用　143
7．4．3　簡(jiǎn)單RNN項(xiàng)目實(shí)戰(zhàn)　145
7．5　長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)　147
7．5．1　長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的原理　147
7．5．2　長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的應(yīng)用　148
7．6　門控循環(huán)神經(jīng)網(wǎng)絡(luò)　150
7．6．1　門控循環(huán)神經(jīng)網(wǎng)絡(luò)的原理　150
7．6．2　門控循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用　151
7．7　RNN進(jìn)階　152
7．7．1　RNN中防止過(guò)擬合的方式　152
7．7．2　疊加長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)　152
7．7．3　雙向長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)　154
7．7．4　注意力模型　156
7．8　文本生成項(xiàng)目　159
7．9　某公司股票價(jià)格預(yù)測(cè)項(xiàng)目　162
7．9．1　數(shù)據(jù)集的預(yù)處理　163
7．9．2　模型的構(gòu)建與訓(xùn)練　164
7．9．3　可視化預(yù)測(cè)的股票開盤價(jià)格與
實(shí)際的股票開盤價(jià)格　165
7．10　自然語(yǔ)言處理技術(shù)新進(jìn)展　166
7．10．1　遷移學(xué)習(xí)在自然語(yǔ)言處理
中的應(yīng)用　167
7．10．2　ELMo模型介紹與實(shí)戰(zhàn)應(yīng)用　167
7．10．3　BERT模型介紹與實(shí)戰(zhàn)應(yīng)用　171
7．10．4　GPT-2模型介紹　174
7．11　本章小結(jié)　175
第三部分　高級(jí)技術(shù)
第8章　自編碼模型　179
8．1　自編碼模型的原理詳解　179
8．2　應(yīng)用自編碼模型對(duì)數(shù)據(jù)降維　180
8．3　應(yīng)用自編碼模型進(jìn)行異常檢測(cè)　183
8．3．1　異常檢測(cè)的原理　183
8．3．2　檢測(cè)信用卡異常交易　184
8．4　應(yīng)用自編碼模型對(duì)圖片去噪　188
8．4．1　項(xiàng)目介紹　188
8．4．2　反卷積的原理與應(yīng)用　188
8．4．3　上采樣的原理與應(yīng)用　190
8．4．4　實(shí)現(xiàn)圖片去噪項(xiàng)目　191
8．5　本章小結(jié)　194
第9章　生成對(duì)抗網(wǎng)絡(luò)　195
9．1　生成對(duì)抗網(wǎng)絡(luò)的原理　195
9．1．1　生成對(duì)抗網(wǎng)絡(luò)的工作原理
簡(jiǎn)介　195
9．1．2　生成器與判別器的工作原理　197
9．1．3　生成對(duì)抗網(wǎng)絡(luò)模型的訓(xùn)練　197
9．2　生成對(duì)抗網(wǎng)絡(luò)模型的訓(xùn)練技巧　198
9．2．1　梯度值剪裁　199
9．2．2　批量標(biāo)準(zhǔn)化中的動(dòng)量　199
9．3　項(xiàng)目實(shí)戰(zhàn)　200
9．3．1　數(shù)據(jù)集介紹與加載　200
9．3．2　判別器模型的構(gòu)建　201
9．3．3　生成器模型的構(gòu)建　203
9．3．4　生成對(duì)抗網(wǎng)絡(luò)模型的構(gòu)建　206
9．3．5　生成對(duì)抗網(wǎng)絡(luò)模型的訓(xùn)練　206
9．4　本章小結(jié)　209
第　10章 深度強(qiáng)化學(xué)習(xí)　211
10．1　深度強(qiáng)化學(xué)習(xí)簡(jiǎn)介　212
10．2　深度強(qiáng)化學(xué)習(xí)詳解　213
10．3　Deep Q-Learning算法　215
10．3．1　Q-Learning算法詳解　215
10．3．2　Deep Q-Learning算法詳解　217
10．3．3　Deep Q-Learning算法的
應(yīng)用　219
10．4　策略梯度算法　224
10．4．1　策略梯度算法原理詳解　225
10．4．2　策略梯度算法項(xiàng)目實(shí)戰(zhàn)　227
10．5　演員-評(píng)判家算法　231
10．5．1　演員-評(píng)判家算法原理詳解　231
10．5．2　演員-評(píng)判家項(xiàng)目實(shí)戰(zhàn)　232
10．6　本章小結(jié)　235