深度學(xué)習(xí)：理論、方法與PyTorch實(shí)踐

基礎(chǔ)篇
第1章 什么是深度學(xué)習(xí)
1.1 通過應(yīng)用示例直觀理解深度學(xué)習(xí)
1.2 3個(gè)視角解釋深度學(xué)習(xí)
1.2.1 分層組合性
1.2.2 端到端學(xué)習(xí)
1.2.3 分布式表示
1.3 深度學(xué)習(xí)面臨的挑戰(zhàn)
1.3.1 深度學(xué)習(xí)的工作機(jī)制
1.3.2 非凸的問題
1.3.3 可解釋性的問題
第2章 圖像識(shí)別及K-NN算法
2.1 圖像分類
2.2 誤差分解和K-NN算法
2.2.1 誤差分解
2.2.2 K-NN算法運(yùn)行過程
第3章 線性分類器
3.1 線性分類器用于圖像分類的3個(gè)觀點(diǎn)
3.1.1 線性分類的代數(shù)觀點(diǎn)
3.1.2 線性分類的視覺觀點(diǎn)
3.1.3 線性分類的幾何觀點(diǎn)
3.2 合頁損失函數(shù)原理推導(dǎo)及圖像分類舉例
3.2.1 合頁損失函數(shù)的概念
3.2.2 多分類合頁損失函數(shù)的推導(dǎo)
3.3 Softmax損失函數(shù)與多分類SVM損失函數(shù)的比較
3.3.1 Softmax分類與損失函數(shù)
3.3.2 Softmax損失函數(shù)與合頁損失函數(shù)的比較
第4章 優(yōu)化與梯度
4.1 梯度下降法工作原理及3種普通梯度下降法
4.1.1 梯度下降的概念
4.1.2 梯度下降法求解目標(biāo)函數(shù)
4.1.3 學(xué)習(xí)率的重要性
4.1.4 3種梯度下降法
4.2 動(dòng)量SGD和Nesterov加速梯度法
4.2.1 SGD存在的問題
4.2.2 動(dòng)量法
4.2.3 Nesterov加速梯度法
4.3 自適應(yīng)學(xué)習(xí)速率優(yōu)化方法
4.3.1 指數(shù)加權(quán)平均值處理數(shù)字序列
4.3.2 自適應(yīng)學(xué)習(xí)速率AdaGrad方法
4.3.3 自適應(yīng)學(xué)習(xí)速率RMSProp方法
4.3.4 自適應(yīng)學(xué)習(xí)速率Adadelta方法
4.4 最強(qiáng)優(yōu)化方法Adam
4.4.1 為什么Adam性能如此卓越
4.4.2 偏差矯正
4.4.3 如何矯正偏差
第5章 卷積神經(jīng)網(wǎng)絡(luò)
5.1 卷積核
5.1.1 卷積核簡(jiǎn)介
5.1.2 卷積核的作用
5.2 卷積神經(jīng)網(wǎng)絡(luò)中步長、填充和通道的概念
5.2.1 步長
5.2.2 填充
5.2.3 通道
5.3 快速推導(dǎo)卷積層特征圖尺寸計(jì)算公式
5.3.1 計(jì)算過程直觀展示
5.3.2 計(jì)算過程總結(jié)
5.4 極簡(jiǎn)方法實(shí)現(xiàn)卷積層的誤差反傳
5.4.1 誤差反傳舉例說明
5.4.2 完全卷積過程簡(jiǎn)介
5.4.3 把卷積過程寫成神經(jīng)網(wǎng)絡(luò)形式
5.4.4 應(yīng)用計(jì)算圖的反向模式微分
5.5 極池化層的本質(zhì)思想及其過程
5.5.1 池化層的分類
5.5.2 池化后圖像尺寸
第6章 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練技巧
6.1 ReLU激活函數(shù)的優(yōu)勢(shì)
6.1.1 為什么需要激活函數(shù)
6.1.2 主流激活函數(shù)介紹
6.2 內(nèi)部協(xié)變量偏移
6.3 批歸一化
6.3.1 為什么需要批歸一化
6.3.2 批歸一化的工作原理
6.3.3 批歸一化的優(yōu)勢(shì)
6.4 Dropout正則化及其集成方法思想
6.4.1 特征共適應(yīng)性
6.4.2 Dropout正則化思想
6.4.3 Dropout集成思想
6.4.4 預(yù)測(cè)時(shí)需要恢復(fù)Dropout的隨機(jī)性
第7章 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)
7.1 掀起深度學(xué)習(xí)風(fēng)暴的AlexNet網(wǎng)絡(luò)架構(gòu)
7.1.1 卷積神經(jīng)網(wǎng)絡(luò)的開端LeNet
7.1.2 AlexNet架構(gòu)
7.2 神經(jīng)網(wǎng)絡(luò)感受野及其計(jì)算
7.2.1 生物學(xué)中的感受野
7.2.2 CNN中的感受野
7.3 VGGNet網(wǎng)絡(luò)結(jié)構(gòu)相比較AlexNet的優(yōu)勢(shì)
7.3.1 VGGNet簡(jiǎn)介
7.3.2 VGGNet與AlexNet網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比
7.4 GoogLeNet1×1卷積核的深刻意義及其作用
7.4.1 深度神經(jīng)網(wǎng)絡(luò)的缺陷
7.4.2 多通道卷積中特征圖映射太多的問題
7.4.3 1×1卷積核卷積過程
7.5 GoogLeNet初始模塊設(shè)計(jì)指導(dǎo)思想
7.5.1 赫布學(xué)習(xí)規(guī)則
7.5.2 人工神經(jīng)網(wǎng)絡(luò)中的赫布學(xué)習(xí)規(guī)則
7.6 透徹理解GoogLeNet全景架構(gòu)
7.7 ResNet關(guān)鍵結(jié)構(gòu)恒等映射背后的思想及原理
7.8 全面理解ResNet全景架構(gòu)
第8章 循環(huán)神經(jīng)網(wǎng)絡(luò)
8.1 為什么要用遞歸神經(jīng)網(wǎng)絡(luò)
8.1.1 為什么需要遞歸神經(jīng)網(wǎng)絡(luò)
8.1.2 RNN結(jié)構(gòu)以及應(yīng)用
8.2 RNN計(jì)算圖
8.3 RNN前向與反向傳播
8.3.1 前饋深度
8.3.2 循環(huán)深度
8.3.3 通過時(shí)間反向傳播
8.3.4 兩個(gè)和的反向傳播
8.3.5 梯度消失和梯度爆炸
8.4 長短期記憶（LSTM）及其變種的原理
8.4.1 LSTM網(wǎng)絡(luò)架構(gòu)
8.4.2 LSTM變體一
8.4.3 LSTM變體二
8.4.4 LSTM變體三
第9章 基于深度學(xué)習(xí)的語言模型
9.1 詞的各種向量表示
9.2 通過詞向量度量詞的相似性
9.3 潛在語義分析LSA
9.3.1 潛在語義分析的過程
9.3.2 潛在語義分析的SVD分解
9.4 Word2Vec詞嵌入原理
9.4.1 Word2Vec的指導(dǎo)思想
9.4.2 skip-gram算法的框架
9.4.3 skip-gram算法的輸入訓(xùn)練集
9.4.4 skip-gra