深度學(xué)習(xí)程序設(shè)計(jì)實(shí)戰(zhàn)

序

前言


第1 章 程序設(shè)計(jì)方法...00

1.1 自頂向下的程序設(shè)計(jì)...00

1.1.1 問題分解和自頂向下的程序設(shè)計(jì)方法...00

1.1.2 五猴分桃問題...00

1.1.3 猜姓氏問題...00

1.1.4 囚犯問題...00

1.1.5 撲克牌問題...0


1.2 遞歸程序設(shè)計(jì)...0

1.2.1 河內(nèi)塔問題...0

1.2.2 兔子問題...0

1.2.3 字符串匹配問題...0

1.2.4 組合問題...0

1.2.5 人字形鐵路問題...0


1.3 面向?qū)ο蟮某绦蛟O(shè)計(jì)...0

1.3.1 方法重定義和分?jǐn)?shù)...0

1.3.2 二十四點(diǎn)問題...0


1.4 結(jié)束語...0


第2 章 反向傳播算法...0

2.1 導(dǎo)數(shù)和導(dǎo)數(shù)的應(yīng)用...0

2.1.1 導(dǎo)數(shù)...0

2.1.2 梯度下降法求函數(shù)的最小值...0

2.1.3 牛頓法求平方根...0

2.1.4 復(fù)合函數(shù)和鏈?zhǔn)椒▌t...0

2.1.5 多元函數(shù)和全微分方程...0

2.1.6 反向傳播算法...0

2.1.7 梯度...0

2.1.8 分段求導(dǎo)...0


2.2 自動求導(dǎo)和人工智能框架...0

2.2.1 表達(dá)式和自動求偏導(dǎo)...0

2.2.2 表達(dá)式求值...0

2.2.3 求解任意方程...0

2.2.4 求解任意方程組...0

2.2.5 求解任意函數(shù)的極小值...0

2.2.6 張量、計(jì)算圖和人工智能框架...0


2.3 結(jié)束語...0


第3 章 神經(jīng)元網(wǎng)絡(luò)初步...0

3.1 Tensorflow基本概念...0

3.1.1 計(jì)算圖、張量、常數(shù)和變量...0

3.1.2 會話、運(yùn)行...0

3.1.3 占位符...0

3.1.4 矩陣算術(shù)運(yùn)算...0

3.1.5 矩陣運(yùn)算的廣播...0

3.1.6 TF矩陣運(yùn)算...0

3.1.7 形狀和操作...0

3.1.8 關(guān)系運(yùn)算和邏輯運(yùn)算...0


3.2 優(yōu)化器和計(jì)算圖...0

3.2.1 梯度和優(yōu)化器...0

3.2.2 求解平方根...0

3.2.3 計(jì)算圖...0


3.3 三層神經(jīng)網(wǎng)絡(luò)...0

3.3.1 神經(jīng)元網(wǎng)絡(luò)訓(xùn)練算法...0

3.3.2 線性變換和激活函數(shù)...0

3.3.3 矩陣乘法和全連接...0

3.3.4 激活函數(shù)...0

3.3.5 全連接和Relu的梯度...0

3.3.6 求正弦...0

3.3.7 BGD、SGD和MBGD...0

3.3.8 三層神經(jīng)網(wǎng)絡(luò)模型...0


3.4 用三層神經(jīng)網(wǎng)絡(luò)擬合任意一個(gè)函數(shù)...0

3.4.1 三層神經(jīng)網(wǎng)絡(luò)擬合一元函數(shù)...0

3.4.2 樣本、訓(xùn)練和預(yù)測...0

3.4.3 中間層神經(jīng)元個(gè)數(shù)和樣本數(shù)量之間
的關(guān)系...0

3.4.4 自變量越界會發(fā)生什么...0

3.4.5 同時(shí)擬合cos(x)、sin(x)...0

3.4.6 擬合多元函數(shù)...0

3.4.7 過擬合...0


3.5 手寫數(shù)字識別...0

3.5.1 手寫數(shù)字樣本集合MNIST...0

3.5.2 獨(dú)熱向量...0

3.5.3 3種損失函數(shù)...0

3.5.4 softmax函數(shù)...0

3.5.5 保存和恢復(fù)模型...0






3.5.6 驗(yàn)證模型...0

3.5.7 測試和使用模型...0


3.6 結(jié)束語...0


第4 章 卷積神經(jīng)網(wǎng)絡(luò)...0

4.1 卷積...0

4.1.1 一維卷積...0

4.1.2 二維卷積...

4.1.3 通道...

4.1.4 TF對卷積的第一種實(shí)現(xiàn)...

4.1.5 TF對卷積的第二種實(shí)現(xiàn)...

4.1.6 卷積的實(shí)質(zhì)...


4.2 池化操作...

4.2.1 最大值池化和平均值池化...

4.2.2 池化操作的梯度...


4.3 用CNN實(shí)現(xiàn)手寫數(shù)字識別...

4.3.1 模型的結(jié)構(gòu)...

4.3.2 模型參數(shù)數(shù)量和計(jì)算量...

4.3.3 關(guān)于全連接和Dropout...

4.3.4 用Tensorboard監(jiān)視訓(xùn)練...


4.4 手寫數(shù)字生成...

4.4.1 生成問題...

4.4.2 VAE模型和語義...

4.4.3 反卷積操作...

4.4.4 網(wǎng)絡(luò)的結(jié)構(gòu)...

4.4.5 動量...

4.4.6 控制依賴...

4.4.7 預(yù)測...


4.5 條件VAE模型...

4.5.1 CVAE模型...

4.5.2 條件式手寫數(shù)字生成模型...


4.6 使用GPU...

4.6.1 單GPU和nvidia-smi命令...

4.6.2 多GPU和重名問題...

4.6.3 多GPU的梯度...

4.6.4 多GPU訓(xùn)練...

4.6.5 多GPU預(yù)測...


4.7 殘差神經(jīng)網(wǎng)絡(luò)...

4.7.1 殘差神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)...

4.7.2 BN操作...


4.8 表情識別...

4.8.1 樣本...

4.8.2 通用超級框架...

4.8.3 模型...


4.9 人臉識別和人臉對比...

4.9.1 人臉識別...

4.9.2 簡單人臉對比...

4.9.3 簡單人臉對比的實(shí)現(xiàn)...

4.9.4 法向量和夾角余弦...

4.9.5 基于夾角余弦的人臉對比...


4.10 語義分割和實(shí)例分割...

4.10.1 什么是語義分割和實(shí)例分割...

4.10.2 多分類問題...

4.10.3 U型網(wǎng)絡(luò)...

4.10.4 語義分割和實(shí)例分割的實(shí)現(xiàn)...

4.10.5 點(diǎn)到點(diǎn)的語義分割和實(shí)例分割...


4.11 其他CNN模型...

4.12 優(yōu)化器...

4.12.1 GradientDescentOptimizer...

4.12.2 MomentumOptimizer...

4.12.3 RMSPropOptimizer...

4.12.4 AdamOptimizer...

4.12.5 AdagradOptimizer...

4.12.6 AdadeltaOptimizer...


4.13 結(jié)束語...


第5 章 循環(huán)神經(jīng)網(wǎng)絡(luò)...

5.1 什么是循環(huán)神經(jīng)網(wǎng)絡(luò)...

5.2 RNN的結(jié)構(gòu)...

5.2.1 簡單RNN模型...

5.2.2 多層RNN...


5.3 詩歌生成器...

5.3.1 樣本預(yù)處理...

5.3.2 字向量...

5.3.3 可洗牌的DataSet...

5.3.4 生成詩歌...


5.4 LSTM模型...

5.4.1 基本LSTM模型...

5.4.2 LSTM變體之一——Peephole...

5.4.3 LSTM變體之二——GRU...