TensorFlow+Keras自然語言處理實戰(zhàn)

第1章  自然語言之道     1
1.1  何謂自然語言處理     1
1.1.1  自然語言處理是門技術(shù)     1
1.1.2  傳統(tǒng)自然語言處理     2
1.2  自然語言處理為什么難——以簡單的情感分析為例     3
1.3  自然語言處理的展望     5
1.3.1  自然語言處理對于人工智能的意義     6
1.3.2  自然語言在金融、法律、醫(yī)療健康等方面的應(yīng)用     6
1.4  搭建環(huán)境1：安裝Python  7
1.4.1  Anaconda的下載與安裝     7
1.4.2  Python編譯器PyCharm的安裝     10
1.4.3  使用Python計算softmax函數(shù)     14
1.5  搭建環(huán)境2：安裝TensorFlow 2.1  15
1.5.1  安裝TensorFlow 2.1的CPU版本     15
1.5.2  安裝TensorFlow 2.1的GPU版本     15
1.5.3  練習(xí)——Hello TensorFlow   18
1.6  實戰(zhàn)——酒店評論的情感分類     19
1.6.1  步：數(shù)據(jù)的準(zhǔn)備     19
1.6.2  第二步：數(shù)據(jù)的處理     20
1.6.3  第三步：模型的設(shè)計     20
1.6.4  第四步：模型的訓(xùn)練     21
1.6.5  第五步：模型的結(jié)果和展示     22
1.7  本章小結(jié)     22
 
第2章  Hello TensorFlow & Keras  23
2.1  TensorFlow & Keras  23
2.1.1  模型！模型！還是模型！     24
2.1.2  使用Keras API實現(xiàn)鳶尾花分類的例子（順序模式）     24
2.1.3  使用Keras函數(shù)式編程實現(xiàn)鳶尾花分類的例子（重點）     27
2.1.4  使用保存的Keras模式對模型進(jìn)行復(fù)用     30
2.1.5  使用TensorFlow標(biāo)準(zhǔn)化編譯對iris模型進(jìn)行擬合     31
2.1.6  多輸入單一輸出TensorFlow編譯方法（選學(xué)）     35
2.1.7  多輸入多輸出TensorFlow編譯方法（選學(xué)）     38
2.2  全連接層詳解     40
2.2.1  全連接層的定義與實現(xiàn)     40
2.2.2  使用TensorFlow自帶的API實現(xiàn)全連接層     42
2.2.3  打印顯示已設(shè)計的model結(jié)構(gòu)和參數(shù)     45
2.3  懶人的福音——Keras模型庫     47
2.3.1  ResNet50模型和參數(shù)的載入     47
2.3.2  使用ResNet50作為特征提取層建立模型     49
2.4  本章小結(jié)     51
 
第3章  深度學(xué)習(xí)的理論基礎(chǔ)     52
3.1  BP神經(jīng)網(wǎng)絡(luò)簡介     53
3.2  BP神經(jīng)網(wǎng)絡(luò)兩個基礎(chǔ)算法詳解     56
3.2.1  小二乘法（LS算法）詳解     56
3.2.2  道士下山的故事——梯度下降算法     58
3.3  反饋神經(jīng)網(wǎng)絡(luò)反向傳播算法介紹     61
3.3.1  深度學(xué)習(xí)基礎(chǔ)     61
3.3.2  鏈?zhǔn)角髮?dǎo)法則     62
3.3.3  反饋神經(jīng)網(wǎng)絡(luò)原理與公式推導(dǎo)     64
3.3.4  反饋神經(jīng)網(wǎng)絡(luò)原理的激活函數(shù)     69
3.3.5  反饋神經(jīng)網(wǎng)絡(luò)原理的Python實現(xiàn)     70
3.4  本章小結(jié)     74
 
第4章  卷積層與MNIST實戰(zhàn)     75
4.1  卷積運算基本概念     75
4.1.1  卷積運算     76
4.1.2  TensorFlow中卷積函數(shù)實現(xiàn)詳解     78
4.1.3  池化運算     80
4.1.4  softmax激活函數(shù)     81
4.1.5  卷積神經(jīng)網(wǎng)絡(luò)原理     82
4.2  編程實戰(zhàn)：MNIST手寫體識別     85
4.2.1  MNIST數(shù)據(jù)集     85
4.2.2  MNIST數(shù)據(jù)集特征和標(biāo)簽介紹     87
4.2.3  TensorFlow 2.X編程實戰(zhàn)：MNIST數(shù)據(jù)集     89
4.2.4  使用自定義的卷積層實現(xiàn)MNIST識別     93
4.3  本章小結(jié)     96
 
第5章  TensorFlow Datasets和TensorBoard詳解     97
5.1  TensorFlow Datasets簡介     97
5.1.1  Datasets數(shù)據(jù)集的安裝     99
5.1.2  Datasets數(shù)據(jù)集的使用     99
5.2  Datasets數(shù)據(jù)集的使用——FashionMNIST  101
5.2.1  FashionMNIST數(shù)據(jù)集下載與展示     102
5.2.2  模型的建立與訓(xùn)練     104
5.3  使用Keras對FashionMNIST數(shù)據(jù)集進(jìn)行處理     106
5.3.1  獲取數(shù)據(jù)集     106
5.3.2  數(shù)據(jù)集的調(diào)整     107
5.3.3  使用Python類函數(shù)建立模型     107
5.3.4  Model的查看和參數(shù)打印     108
5.3.5  模型的訓(xùn)練和評估     110
5.4  使用TensorBoard可視化訓(xùn)練過程     112
5.4.1  TensorBoard文件夾的設(shè)置     113
5.4.2  TensorBoard的顯式調(diào)用     114
5.4.3  TensorBoard的使用     116
5.5  本章小結(jié)     119
 
第6章  從冠軍開始：ResNet  120
6.1  ResNet基礎(chǔ)原理與程序設(shè)計基礎(chǔ)     121
6.1.1  ResNet誕生的背景     121
6.1.2  模塊工具的TensorFlow實現(xiàn)——不要重復(fù)造輪子     124
6.1.3  TensorFlow高級模塊layers用法簡介     125
6.2  ResNet實戰(zhàn)：CIFAR100數(shù)據(jù)集分類     132
6.2.1  CIFAR100數(shù)據(jù)集簡介     132
6.2.2  ResNet殘差模塊的實現(xiàn)     135
6.2.3  ResNet網(wǎng)絡(luò)的實現(xiàn)     137
6.2.4  使用ResNet對CIFAR100數(shù)據(jù)集進(jìn)行分類     140
6.3  ResNet的兄弟——ResNeXt  141
6.3.1  ResNeXt誕生的背景     141
6.3.2  ResNeXt殘差模塊的實現(xiàn)     143
6.3.3  ResNeXt網(wǎng)絡(luò)的實現(xiàn)     145
6.3.4  ResNeXt和ResNet的比較     146
6.4  本章小結(jié)     147
 
第7章  有趣的word embedding  148
7.1  文本數(shù)據(jù)處理     148
7.1.1  數(shù)據(jù)集介紹和數(shù)據(jù)清洗     149
7.1.2  停用詞的使用     151
7.1.3  詞向量訓(xùn)練模型word2vec使用介紹     154
7.1.4  文本主題的提?。夯赥F-IDF（選學(xué)）     157
7.1.5  文本主題的提取：基于TextRank（選學(xué)）     161
7.2  更多的word embedding方法——fastText和預(yù)訓(xùn)練詞向量     164
7.2.1  fastText的原理與基礎(chǔ)算法     164
7.2.2  fastText訓(xùn)練以及與TensorFlow 2.X的協(xié)同使用     166
7.2.3  使用其他預(yù)訓(xùn)練參數(shù)做TensorFlow詞嵌入矩陣（中文）     172
7.3  針對文本的卷積神經(jīng)網(wǎng)絡(luò)模型簡介——字符卷積     173
7.3.1  字符（非單詞）文本的處理     173
7.3.2  卷積神經(jīng)網(wǎng)絡(luò)文本分類模型的實現(xiàn)——conv1d（一維卷積）     180
7.4  針對文本的卷積神經(jīng)網(wǎng)絡(luò)模型簡介——詞卷積     182
7.4.1  單詞的文本處理     183
7.4.2  卷積神經(jīng)網(wǎng)絡(luò)文本分類模型的實現(xiàn)——conv2d（二維卷積）     184
7.5  使用卷積對文本分類的補充內(nèi)容     188
7.5.1  漢字的文本處理     188
7.5.2  其他細(xì)節(jié)     191
7.6  本章小結(jié)     191
 
第8章  實戰(zhàn)——站在冠軍肩膀上的情感分類實戰(zhàn)     193
8.1  GRU與情感分類     193
8.1.1  什么是GRU   193
8.1.2  使用GRU的情感分類     195
8.1.3  TensorFlow中的GRU層詳解     196
8.1.4  單向不行就雙向     197
8.2  站在巨人肩膀上的情感分類     198
8.2.1  使用TensorFlow自帶的模型做文本分類     199
8.2.2  使用自定義的DPCNN做模型分類     203
8.3  本章小結(jié)     207
 
第9章  從0起步——自然語言處理的編碼器     208
9.1  編碼器的核心——注意力模型     209
9.1.1  輸入層——初始詞向量層和位置編碼器層     210
9.1.2  自注意力層（本書重點）     211
9.1.3  ticks和LayerNormalization  216
9.1.4  多頭自注意力     217
9.2  編碼器的實現(xiàn)     221
9.2.1  前饋層的實現(xiàn)     221
9.2.2  構(gòu)建編碼器架構(gòu)     223
9.3  實戰(zhàn)編碼器——漢字拼音轉(zhuǎn)化模型     226
9.3.1  漢字拼音數(shù)據(jù)集處理     227
9.3.2  漢字拼音轉(zhuǎn)化模型的確定     229
9.3.3  模型訓(xùn)練部分的編寫     232
9.3.4  推斷函數(shù)的編寫     233
9.4  本章小結(jié)     234
 
第10章  從1起步——自然語言處理的解碼器     236
10.1  解碼器的核心——注意力模型     236
10.1.1  解碼器的輸入和交互注意力層的掩碼     237
10.1.2  為什么通過掩碼操作能夠減少干擾     242
10.1.3  解碼器的輸出（移位訓(xùn)練方法）     243
10.1.4  解碼器的實現(xiàn)     244
10.2  解碼器實戰(zhàn)——拼音漢字翻譯模型     246
10.2.1  翻譯模型     246
10.2.2  拼音漢字模型的訓(xùn)練（注意訓(xùn)練過程的錯位數(shù)據(jù)輸入）     252
10.2.3  拼音漢字模型的使用（循環(huán)輸出的問題）     254
10.3  本章小結(jié)     256