智能計算系統(tǒng)

序言一

序言二

前　言第1章　概述1

　1.1　人工智能1

　　　1.1.1　什么是人工智能1

　　　1.1.2　人工智能的發(fā)展歷史1

　　　1.1.3　人工智能的主要方法4

　1.2　智能計算系統(tǒng)8

　　　1.2.1　什么是智能計算系統(tǒng)8

　　　1.2.2　為什么需要智能計算系統(tǒng)8

　　　1.2.3　智能計算系統(tǒng)的發(fā)展8

　1.3　驅(qū)動范例11

　1.4　本章小結(jié)13

　習(xí)題13

第2章　神經(jīng)網(wǎng)絡(luò)基礎(chǔ)14

　2.1　從機器學(xué)習(xí)到神經(jīng)網(wǎng)絡(luò)14

　　　2.1.1　基本概念14

　　　2.1.2　線性回歸15

　　　2.1.3　感知機17

　　　2.1.4　兩層神經(jīng)網(wǎng)絡(luò)——多層感知機19

　　　2.1.5　深度學(xué)習(xí)（深層神經(jīng)網(wǎng)絡(luò)）20

　　　2.1.6　神經(jīng)網(wǎng)絡(luò)發(fā)展歷程21

　2.2　神經(jīng)網(wǎng)絡(luò)訓(xùn)練23

　　　2.2.1　正向傳播24

　　　2.2.2　反向傳播25

　2.3　神經(jīng)網(wǎng)絡(luò)設(shè)計原則27

　　　2.3.1　網(wǎng)絡(luò)的拓撲結(jié)構(gòu)27

　　　2.3.2　激活函數(shù)27

　　　2.3.3　損失函數(shù)30

　2.4　過擬合與正則化32

　　　2.4.1　過擬合33

　　　2.4.2　正則化34

　2.5　交叉驗證37

　2.6　本章小結(jié)39

　習(xí)題39

第3章　深度學(xué)習(xí)41

　3.1　適合圖像處理的卷積神經(jīng)網(wǎng)絡(luò)41

　　　3.1.1　卷積神經(jīng)網(wǎng)絡(luò)的組成42

　　　3.1.2　卷積層43

　　　3.1.3　池化層48

　　　3.1.4　全連接層49

　　　3.1.5　softmax層50

　　　3.1.6　卷積神經(jīng)網(wǎng)絡(luò)總體結(jié)構(gòu)50

　3.2　基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法52

　　　3.2.1　AlexNet53

　　　3.2.2　VGG56

　　　3.2.3　Inception59

　　　3.2.4　ResNet66

　3.3　基于卷積神經(jīng)網(wǎng)絡(luò)的圖像目標(biāo)檢測算法69

　　　3.3.1　評價指標(biāo)69

　　　3.3.2　RCNN系列72

　　　3.3.3　YOLO78

　　　3.3.4　SSD81

　　　3.3.5　小結(jié)83

 3.4　序列模型：循環(huán)神經(jīng)網(wǎng)絡(luò)83

　　　3.4.1　RNN84

　　　3.4.2　LSTM88

　　　3.4.3　GRU89

　　　3.4.4　小結(jié)90

　3.5　生成對抗網(wǎng)絡(luò)91

　　　3.5.1　模型組成91

　　　3.5.2　GAN訓(xùn)練92

　　　3.5.3　GAN結(jié)構(gòu)94

　3.6　驅(qū)動范例96

　　　3.6.1　基于卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移算法96

　　　3.6.2　實時圖像風(fēng)格遷移算法98

　3.7　本章小結(jié)100

　習(xí)題100

第4章　編程框架使用101

　4.1　為什么需要編程框架101

　4.2　編程框架概述102

　　　4.2.1　通用編程框架概述102

　　　4.2.2　TensorFlow概述102

　4.3　TensorFlow編程模型及基本用法103

　　　4.3.1　計算圖104

　　　4.3.2　操作105

　　　4.3.3　張量106

　　　4.3.4　會話110

　　　4.3.5　變量114

　　　4.3.6　占位符116

　　　4.3.7　隊列117

　4.4　基于TensorFlow實現(xiàn)深度學(xué)習(xí)預(yù)測117

　　　4.4.1　讀取輸入樣本118

　　　4.4.2　定義基本運算單元118

　　　4.4.3　創(chuàng)建神經(jīng)網(wǎng)絡(luò)模型122

　　　4.4.4　計算神經(jīng)網(wǎng)絡(luò)模型輸出123

　4.5　基于TensorFlow實現(xiàn)深度學(xué)習(xí)訓(xùn)練123

　　　4.5.1　加載數(shù)據(jù)123

　　　4.5.2　模型訓(xùn)練129

　　　4.5.3　模型保存135

　　　4.5.4　圖像風(fēng)格遷移訓(xùn)練的實現(xiàn)137

　4.6　本章小結(jié)139

　習(xí)題139

第5章　編程框架機理141

　5.1　TensorFlow設(shè)計原則141

　　　5.1.1　高性能141

　　　5.1.2　易開發(fā)142

　　　5.1.3　可移植142

　5.2　TensorFlow計算圖機制142

　　　5.2.1　一切都是計算圖143

　　　5.2.2　計算圖本地執(zhí)行150

　　　5.2.3　計算圖分布式執(zhí)行154

　5.3　TensorFlow系統(tǒng)實現(xiàn)155

　　　5.3.1　整體架構(gòu)155

　　　5.3.2　計算圖執(zhí)行模塊156

　　　5.3.3　設(shè)備抽象和管理161

　　　5.3.4　網(wǎng)絡(luò)和通信162

　　　5.3.5　算子實現(xiàn)167

　5.4　編程框架對比169

　　　5.4.1　TensorFlow170

　　　5.4.2　PyTorch171

　　　5.4.3　MXNet171

　　　5.4.4　Caffe172

　5.5　本章小結(jié)172

　習(xí)題172

第6章　深度學(xué)習(xí)處理器原理174

　6.1　深度學(xué)習(xí)處理器概述174

　　　6.1.1　深度學(xué)習(xí)處理器的意義174

　　　6.1.2　深度學(xué)習(xí)處理器的發(fā)展歷史175

　　　6.1.3　設(shè)計思路177

　6.2　目標(biāo)算法分析178

　　　6.2.1　計算特征178

　　　6.2.2　訪存特征181

　6.3　深度學(xué)習(xí)處理器DLP結(jié)構(gòu)186

　　　6.3.1　指令集186

　　　6.3.2　流水線190

　　　6.3.3　運算部件190

　　　6.3.4　訪存部件193

　　　6.3.5　算法到芯片的映射194

　　　6.3.6　小結(jié)195

　6.4　優(yōu)化設(shè)計195

　　　6.4.1　基于標(biāo)量MAC的運算

部件195

　　　6.4.2　稀疏化198

　　　6.4.3　低位寬199

　6.5　性能評價201

　　　6.5.1　性能指標(biāo)201

　　　6.5.2　測試基準(zhǔn)程序202

　　　6.5.3　影響性能的因素203

　6.6　其他加速器203

　　　6.6.1　GPU架構(gòu)簡述204

　　　6.6.2　FPGA架構(gòu)簡述204

　　　6.6.3　DLP與GPU、FPGA的對比205

　6.7　本章小結(jié)206

　習(xí)題206

第7章　深度學(xué)習(xí)處理器架構(gòu)207

　7.1　單核深度學(xué)習(xí)處理器207

　　　7.1.1　總體架構(gòu)208

　　　7.1.2　控制模塊209

　　　7.1.3　運算模塊212

　　　7.1.4　存儲單元215

　　　7.1.5　小結(jié)215

　7.2　多核深度學(xué)習(xí)處理器216

　　　7.2.1　總體架構(gòu)216

　　　7.2.2　Cluster架構(gòu)217

　　　7.2.3　互聯(lián)架構(gòu)223

　　　7.2.4　小結(jié)224

　7.3　本章小結(jié)225

　習(xí)題225

第8章　智能編程語言227

　8.1　為什么需要智能編程語言227

　　　8.1.1　語義鴻溝228

　　　8.1.2　硬件鴻溝230

　　　8.1.3　平臺鴻溝232

　　　8.1.4　小結(jié)233

　8.2　智能計算系統(tǒng)抽象架構(gòu)234

　　　8.2.1　抽象硬件架構(gòu)234

　　　8.2.2　典型智能計算系統(tǒng)235

　　　8.2.3　控制模型236

　　　8.2.4　計算模型236

　　　8.2.5　存儲模型237

　8.3　智能編程模型238

　　　8.3.1　異構(gòu)編程模型239

　　　8.3.2　通用智能編程模型242

　8.4　智能編程語言基礎(chǔ)247

　　　8.4.1　語法概述247

　　　8.4.2　數(shù)據(jù)類型248

　　　8.4.3　宏、常量與內(nèi)置變量250

　　　8.4.4　I/O操作語句250

　　　8.4.5　標(biāo)量計算語句252

　　　8.4.6　張量計算語句252

　　　8.4.7　控制流語句252

　　　8.4.8　串行程序示例253

　　　8.4.9　并行程序示例254

　8.5　智能應(yīng)用編程接口255

　　　8.5.1　Kernel函數(shù)接口255

　　　8.5.2　運行時接口257

　　　8.5.3　使用示例259

　8.6　智能應(yīng)用功能調(diào)試262

　　　8.6.1　功能調(diào)試方法262

　　　8.6.2　功能調(diào)試接口266

　　　8.6.3　功能調(diào)試工具269

　　　8.6.4　精度調(diào)試方法272

　　　8.6.5　功能調(diào)試實踐272

　8.7　智能應(yīng)用性能調(diào)優(yōu)280

　　　8.7.1　性能調(diào)優(yōu)方法280

　　　8.7.2　性能調(diào)優(yōu)接口282

　　　8.7.3　性能調(diào)優(yōu)工具286

　　　8.7.4　性能調(diào)優(yōu)實踐287

　8.8　基于智能編程語言的系統(tǒng)開發(fā)294

　　　8.8.1　高性能庫算子開發(fā)294

　　　8.8.2　編程框架算子開發(fā)300

　　　8.8.3　系統(tǒng)開發(fā)與優(yōu)化實踐304

　習(xí)題321

第9章　實驗323

　9.1　基礎(chǔ)實驗：圖像風(fēng)格遷移323

　　　9.1.1　基于智能編程語言的算子實現(xiàn)323

　　　9.1.2　圖像風(fēng)格遷移的實現(xiàn)326

　　　9.1.3　風(fēng)格遷移實驗的操作步驟330

　9.2　拓展實驗：物體檢測333

　　　9.2.1　基于智能編程語言的算子實現(xiàn)333

　　　9.2.2　物體檢測的實現(xiàn)337

　9.3　拓展練習(xí)337

附錄A　計算機體系結(jié)構(gòu)基礎(chǔ)340

附錄B　實驗環(huán)境說明345

參考文獻348

后記356