TensorFlow自然語言處理及應用

第1章 TensorFlow與編程 1
1.1 語言與系統(tǒng)的支持 1
1.2 TensFlow的特點 2
1.3 TensorFlow的環(huán)境搭建 3
1.3.1 安裝環(huán)境介紹 3
1.3.2 安裝TensorFlow 5
1.3.3 安裝測試 6
1.4 張量 7
1.4.1 張量的概念 7
1.4.2 張量的使用 8
1.4.3 NumPy庫 9
1.4.4 張量的階 10
1.4.5 張量的形狀 10
1.5 認識變量 11
1.5.1 變量的創(chuàng)建 11
1.5.2 變量的初始化 19
1.6 矩陣的操作 21
1.6.1 矩陣的生成 22
1.6.2 矩陣的變換 25
1.7 圖的實現 31
1.8 會話的實現 34
1.9 讀取數據方式 36
1.9.1 列表格式 37
1.9.2 讀取圖像數據 38
第2章 自然語言處理與深度學習基礎 40
2.1 自然語言概述 40
2.1.1 自然語言處理面臨的困難 40
2.1.2 自然語言處理的發(fā)展趨勢 41
2.1.3 自然語言處理的特點 42
2.2 NLP技術前沿與未來趨勢 43
2.2.1 挑戰(zhàn)與突破 43
2.2.2 人機交互的未來 43
2.2.3 未來發(fā)展趨勢與展望 44
2.2.4 技術挑戰(zhàn)與解決路徑 44
2.3 深度學習 44
2.3.1 深度學習背景 45
2.3.2 深度學習的核心思想 46
2.3.3 深度學習的應用 47
2.4 深度學習的優(yōu)勢與劣勢 51
第3章 神經網絡算法基礎 52
3.1 激活函數及實現 53
3.1.1 激活函數的用途 53
3.1.2 幾種激活函數 53
3.1.3 幾種激活函數的繪圖 57
3.2 門函數及實現 59
3.3 單個神經元的擴展及實現 62
3.4 構建多層神經網絡 65
第4章 詞嵌入 69
4.1 詞嵌入概述 69
4.2 分布式表示 69
4.2.1 分布式假設 70
4.2.2 共現矩陣 70
4.2.3 存在的問題 73
4.3 jieba分詞處理 73
4.3.1 jieba庫的三種模式和常用函數 74
4.3.2 jieba庫分詞的其他操作 75
4.3.3 中文詞頻統(tǒng)計實例 81
4.4 離散表示 82
4.4.1 one-hot編碼 82
4.4.2 詞袋模型 87
4.4.3 TF-IDF算法 90
4.4.4 n-gram模型 92
4.5 word2vec模型 98
4.5.1 word2vec模型介紹 98
4.5.2 word2vec模型結構 103
4.5.3 Skip-gram算法 105
4.5.4 CBOW算法 106
4.5.5 CBOW算法與Skip-gram算法的對比 107
4.5.6 算法改進 108
4.5.7 訓練概率 109
4.5.8 word2vec實現 110
第5章 卷積神經網絡分析與文本分類 120
5.1 全連接網絡的局限性 120
5.2 卷積神經網絡的結構 121
5.2.1 卷積層 122
5.2.2 池化層 129
5.2.3 全連接層 131
5.3 卷積神經網絡的訓練 131
5.3.1 池化層反向傳播 132
5.3.2 卷積層反向傳播 134
5.4 卷積神經網絡的實現 139
5.4.1 識別0和1數字 139
5.4.2 預測MNIST數字 145
5.5 NLP的卷積 149
5.5.1 NLP卷積概述 149
5.5.2 用于文本分類的CNN 151
第6章 幾種經典的卷積神經網絡 161
6.1 AlexNet 161
6.1.1 AlexNet的結構 161
6.1.2 AlexNet的亮點 162
6.1.3 AlexNet的實現 163
6.2 DeepID網絡 168
6.3 VGGNet 169
6.3.1 VGGNet的特點 169
6.3.2 VGGNet的結構 169
6.3.3 VGGNet的實現 171
6.4 Inception Net 175
6.4.1 Inception Net的原理 175
6.4.2 Inception Net的經典應用 176
6.5 ResNet 181
6.5.1 ResNet的結構 181
6.5.2 ResNet的實現 184
第7章 循環(huán)神經網絡及語言模型 190
7.1 循環(huán)神經網絡概述 190
7.1.1 循環(huán)神經網絡的原理 191
7.1.2 循環(huán)神經網絡的簡單應用 194
7.2 損失函數 195
7.3 梯度求解 196
7.3.1 E3關于參數V的偏導數 197
7.3.2 E3關于參數W的偏導數 197
7.3.3 E3關于參數U的偏導數 197
7.3.4 梯度消失問題 198
7.4 循環(huán)神經網絡的經典應用 198
7.4.1 實現二進制數加法運算 198
7.4.2 實現擬合回聲信號序列 202
7.4.3 基于字符級循環(huán)神經網絡的語言模型 209
7.4.4 使用PyTorch實現基于字符級循環(huán)神經網絡的語言模型 213
第8章 長短期記憶及自動生成文本 220
8.1 長短期記憶網絡 220
8.1.1 LSTM核心思想 221
8.1.2 LSTM詳解與實現 222
8.2 窺視孔連接 230
8.3 GRU網絡對MNIST數據集分類 231
8.4 雙向循環(huán)神經網絡對MNIST數據集分類 233
8.5 CTC實現端到端訓練的語音識別模型 237
8.6 LSTM生成文本預測 244
8.6.1 模型訓練 244
8.6.2 預測文本 246
第9章 其他網絡的經典分析與應用 248
9.1 自編碼網絡及實現 248
9.1.1 自編碼網絡的結構 248
9.1.2 自編碼網絡的代碼實現 249
9.2 棧式自編碼器及實現 256
9.2.1 棧式自編碼概述 256
9.2.2 棧式自編碼訓練 256
9.2.3 棧式自編碼實現MNIST手寫數字分類 257
9.2.4 棧式自編碼器的應用場合與實現 259
9.3 變分自編碼及實現 268
9.3.1 變分自編碼原理 268
9.3.2 變分自編碼模擬生成MNIST數據 269
9.4 條件變分自編碼及實現 275
9.4.1 條件變分自編碼概述 275
9.4.2 條件變分自編碼網絡生成MNIST數據 275
參考文獻 281