TensorFlow深度學習及實踐

第1章人工智能簡介

1.1什么是人工智能

1.2AlphaGo的原理簡介

1.2.1MCTS算法

1.2.2AlphaGo的基本原理

1.3什么是深度學習

1.4深度學習的方法

1.5TensorFlow是什么

1.5.1TensorFlow的特點

1.5.2TensorFlow的使用公司和使用對象

1.5.3為什么Google要開源這個神器

1.6其他深度學習框架

1.7小結(jié)

1.8習題

第2章TensorFlow環(huán)境搭建

2.1安裝環(huán)境介紹

2.1.1CUDA簡介

2.1.2cuDNN簡介

2.1.3查看GPU信息

2.2安裝TensorFlow

2.2.1下載TensorFlow

2.2.2基于pip的安裝

2.2.3基于Java的安裝

2.2.4從源代碼安裝

2.3其他模塊

2.3.1numpy模塊

2.3.2matplotlib模塊

2.3.3jupyter模塊

2.3.4scikitimage模塊

2.3.5librosa模塊

2.3.6nltk模塊

2.3.7keras模塊

2.3.8tflearn模塊

2.4文本編輯器

2.4.1Geany

2.4.2Sublime Text

2.4.3IDLE

2.4.4PyCharm

2.5TensorFlow測試樣本

2.6小結(jié)

2.7習題

第3章TensorFlow可視化

3.1PlayGround

3.1.1數(shù)據(jù)

3.1.2特征

3.1.3隱藏層

3.1.4輸出

3.2TensorBoard

3.3TensorBoard代碼

3.4小結(jié)

3.5習題

第4章TensorFlow基礎知識

4.1張量

4.1.1張量的屬性

4.1.2張量的創(chuàng)建

4.1.3TensorFlow的交互式運行

4.2數(shù)據(jù)流圖

4.3操作

4.4會話

4.5變量

4.5.1初始化

4.5.2形變

4.5.3數(shù)據(jù)類型與維度

4.5.4其他操作

4.5.5共享變量

4.6矩陣的創(chuàng)建與操作

4.7模型的保存與讀取

4.7.1保存模型

4.7.2載入模型

4.7.3從磁盤讀取信息

4.8批標準化

4.9使用GPU

4.9.1指定GPU設備

4.9.2指定GPU的顯存占用

4.10神經(jīng)元函數(shù)

4.10.1激活函數(shù)

4.10.2卷積函數(shù)

4.10.3分類函數(shù)

4.11優(yōu)化方法

4.12隊列與線程

4.12.1隊列

4.12.2隊列管理器

4.12.3線程和協(xié)調(diào)器

4.13讀取數(shù)據(jù)源

4.13.1placeholder填充數(shù)據(jù)

4.13.2文件讀入數(shù)據(jù)

4.13.3預先讀入內(nèi)存方式

4.14創(chuàng)建分類器

4.15小結(jié)

4.16習題

第5章TensorFlow聚類分析

5.1無監(jiān)督學習

5.2聚類的概念

5.3k均值聚類算法

5.3.1k均值聚類算法迭代判據(jù)

5.3.2k均值聚類算法的機制

5.3.3k均值聚類算法的優(yōu)缺點

5.3.4k均值聚類算法的實現(xiàn)

5.4k最近鄰算法

5.4.1實例分析

5.4.2k最近鄰算法概述

5.4.3模型和三要素

5.4.4kNN算法的不足

5.5k均值聚類算法的典型應用

5.5.1實例： 對人工數(shù)據(jù)集使用k均值聚類算法

5.5.2實例： 對人工數(shù)據(jù)集使用k最近鄰算法

5.5.3實例： 對圖像識別使用k最近鄰算法

5.6小結(jié)

5.7習題

第6章TensorFlow回歸分析

6.1求逆矩陣

6.2矩陣分解

6.3實例： TensorFlow實現(xiàn)線性回歸算法

6.4選擇損失函數(shù)

6.4.1最小化損失函數(shù)

6.4.2實例： TensorFlow實現(xiàn)線性回歸損失函數(shù)

6.5TensorFlow的其他回歸算法

6.5.1戴明回歸算法

6.5.2嶺回歸與lasso回歸算法

6.5.3彈性網(wǎng)絡回歸算法

6.6邏輯回歸分析

6.6.1邏輯回歸

6.6.2損失函數(shù)

6.6.3實例： TensorFlow實現(xiàn)邏輯回歸算法

6.7小結(jié)

6.8習題

第7章TensorFlow支持向量機

7.1支持向量機簡介

7.1.1幾何間隔和函數(shù)間隔

7.1.2最大化間隔

7.1.3軟間隔

7.1.4SMO算法

7.1.5核函數(shù)

7.1.6實例： TensorFlow實現(xiàn)支持向量機

7.2非線性支持向量機

7.2.1風險最小化

7.2.2VC維

7.2.3結(jié)構(gòu)風險最小化

7.2.4松弛變量

7.2.5實例： TensorFlow實現(xiàn)非線性支持向量機

7.3實例： TensorFlow實現(xiàn)多類支持向量機

7.4小結(jié)

7.5習題

第8章深度神經(jīng)網(wǎng)絡基礎知識

8.1神經(jīng)元

8.1.1神經(jīng)元的結(jié)構(gòu)

8.1.2神經(jīng)元的功能

8.2簡單神經(jīng)網(wǎng)絡

8.3深度神經(jīng)網(wǎng)絡

8.4梯度下降

8.4.1批量梯度下降法

8.4.2隨機梯度下降法

8.4.3小批量梯度下降法

8.4.4實例： 梯度下降法

8.5前向傳播

8.5.1前向傳播算法數(shù)學原理

8.5.2DNN的前向傳播算法

8.6后向傳播

8.6.1求導鏈式法則

8.6.2后向傳播算法思路

8.6.3后向傳播算法的計算過程

8.6.4實例： 實現(xiàn)一個簡單的二值分類算法

8.7優(yōu)化函數(shù)

8.7.1隨機梯度下降優(yōu)化法

8.7.2動量優(yōu)化法

8.7.3Adagrad優(yōu)化法

8.7.4Adadelta優(yōu)化法

8.7.5Adam優(yōu)化法

8.8實例： TensorFlow實現(xiàn)簡單深度神經(jīng)網(wǎng)絡

8.9小結(jié)

8.10習題

第9章TensorFlow實現(xiàn)卷積神經(jīng)網(wǎng)絡

9.1卷積神經(jīng)網(wǎng)絡的概述

9.1.1什么是卷積神經(jīng)網(wǎng)絡

9.1.2為什么要用卷積神經(jīng)網(wǎng)絡

9.1.3卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)

9.1.4實例： 簡單卷積神經(jīng)網(wǎng)絡的實現(xiàn)

9.2卷積神經(jīng)網(wǎng)絡的函數(shù)

9.3AlexNet

9.4TensorFlow實現(xiàn)ResNet

9.4.1ResNet的基本原理

9.4.2實例： TensorFlow實現(xiàn)ResNet

9.5TesnorFlow卷積神經(jīng)網(wǎng)絡的典型應用

9.6反卷積神經(jīng)網(wǎng)絡

9.6.1反卷積原理

9.6.2反卷積操作

9.6.3實例： TensorFlow實現(xiàn)反卷積

9.6.4反池化原理

9.6.5實例： TensorFlow實現(xiàn)反池化

9.6.6偏導計算

9.6.7梯度停止

9.7深度學習的訓練技巧

9.7.1優(yōu)化卷積核技術(shù)

9.7.2多通道卷積技術(shù)

9.8小結(jié)

9.9習題

第10章TensorFlow實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡

10.1循環(huán)神經(jīng)網(wǎng)絡的概述

10.1.1循環(huán)神經(jīng)網(wǎng)絡的結(jié)構(gòu)

10.1.2實例： 簡單循環(huán)神經(jīng)網(wǎng)絡的實現(xiàn)

10.2長短時記憶網(wǎng)絡

10.2.1LSTM的網(wǎng)絡結(jié)構(gòu)

10.2.2LSTM的前向計算

10.2.3實例： LSTM的實現(xiàn)

10.3自然語言建模

10.4實例： BiRNN實現(xiàn)語音識別

10.4.1語音識別背景

10.4.2獲取并整理樣本

10.4.3訓練模型

10.5Seq2Seq任務

10.5.1Seq2Seq任務介紹

10.5.2EncoderDecoder框架

10.5.3實例： TensorFlow實現(xiàn)Seq2Seq翻譯

10.5.4實例： 比特幣市場的分析與預測

10.6小結(jié)

10.7習題

第11章TensorFlow實現(xiàn)深度神經(jīng)網(wǎng)絡

11.1深度神經(jīng)網(wǎng)絡的起源

11.2模型介紹

11.2.1AlexNet模型

11.2.2VGG模型

11.2.3GoogleNet模型

11.2.4殘差網(wǎng)絡

11.2.5InceptionResNetv2結(jié)構(gòu)

11.2.6其他的深度神經(jīng)網(wǎng)絡結(jié)構(gòu)

11.3實例： VGG藝術(shù)風格轉(zhuǎn)移

11.4生成式對抗網(wǎng)絡

11.4.1GAN的理論知識

11.4.2生成式模型的應用

11.4.3discriminator和generator損失計算

11.4.4基于深度卷積的GAN

11.4.5指定類別生成模擬樣本的GAN

11.5實例： 構(gòu)建InfoGAN生成MNIST模擬數(shù)據(jù)

11.6小結(jié)

11.7習題

參考文獻