C++模板元編程實(shí)戰(zhàn)：一個(gè)深度學(xué)習(xí)框架的初步實(shí)現(xiàn)

第 一部分　元編程基礎(chǔ)技術(shù)
第　1章 基本技巧　3
1．1　元函數(shù)與type_traits　3
1．1．1　元函數(shù)介紹　3
1．1．2　類(lèi)型元函數(shù)　4
1．1．3　各式各樣的元函數(shù)　6
1．1．4　type_traits　7
1．1．5　元函數(shù)與宏　7
1．1．6　本書(shū)中元函數(shù)的命名方式　8
1．2　模板型模板參數(shù)與容器模板　8
1．2．1　模板作為元函數(shù)的輸入　9
1．2．2　模板作為元函數(shù)的輸出　9
1．2．3　容器模板　10
1．3　順序、分支與循環(huán)代碼的編寫(xiě)　12
1．3．1　順序執(zhí)行的代碼　12
1．3．2　分支執(zhí)行的代碼　13
1．3．3　循環(huán)執(zhí)行的代碼　19
1．3．4　小心：實(shí)例化爆炸與編譯崩潰　21
1．3．5　分支選擇與短路邏輯　23
1．4　奇特的遞歸模板式　24
1．5　小結(jié)　25
1．6　練習(xí)　26
第　2章 異類(lèi)詞典與policy模板　28
2．1　具名參數(shù)簡(jiǎn)介　28
2．2　異類(lèi)詞典　30
2．2．1　模塊的使用方式　30
2．2．2　鍵的表示　32
2．2．3　異類(lèi)詞典的實(shí)現(xiàn)　34
2．2．4　VarTypeDict的性能簡(jiǎn)析　41
2．2．5　用std：：tuple作為緩存　41
2．3　policy模板　42
2．3．1　policy介紹　42
2．3．2　定義policy與policy對(duì)象（模板）　45
2．3．3　使用policy　47
2．3．4　背景知識(shí)：支配與虛繼承　49
2．3．5　policy對(duì)象與policy支配結(jié)構(gòu)　50
2．3．6　policy選擇元函數(shù)　52
2．3．7　使用宏簡(jiǎn)化policy對(duì)象的聲明　57
2．4　小結(jié)　58
2．5　練習(xí)　58
第二部分 深度學(xué)習(xí)框架
第3章　深度學(xué)習(xí)概述　63
3．1　深度學(xué)習(xí)簡(jiǎn)介　63
3．1．1　從機(jī)器學(xué)習(xí)到深度學(xué)習(xí)　64
3．1．2　各式各樣的人工神經(jīng)網(wǎng)絡(luò)　65
3．1．3　深度學(xué)習(xí)系統(tǒng)的組織與訓(xùn)練　68
3．2　本書(shū)所實(shí)現(xiàn)的框架：MetaNN　70
3．2．1　從矩陣計(jì)算工具到深度學(xué)習(xí)框架　70
3．2．2　MetaNN介紹　71
3．2．3　本書(shū)將要討論的內(nèi)容　72
3．2．4　本書(shū)不會(huì)涉及的主題　75
3．3　小結(jié)　75
第4章　類(lèi)型體系與基本數(shù)據(jù)類(lèi)型　76
4．1　類(lèi)型體系　77
4．1．1　類(lèi)型體系介紹　77
4．1．2　迭代器分類(lèi)體系　78
4．1．3　將標(biāo)簽作為模板參數(shù)　80
4．1．4　MetaNN的類(lèi)型體系　81
4．1．5　與類(lèi)型體系相關(guān)的元函數(shù)　82
4．2　設(shè)計(jì)理念　84
4．2．1　支持不同的計(jì)算設(shè)備與計(jì)算單元　84
4．2．2　存儲(chǔ)空間的分配與維護(hù)　85
4．2．3　淺拷貝與寫(xiě)操作檢測(cè)　88
4．2．4　底層接口擴(kuò)展　89
4．2．5　類(lèi)型轉(zhuǎn)換與求值　91
4．2．6　數(shù)據(jù)接口規(guī)范　92
4．3　標(biāo)量　92
4．3．1　類(lèi)模板的聲明　93
4．3．2　基于CPU的特化版本　94
4．3．3　標(biāo)量的主體類(lèi)型　95
4．4　矩陣　96
4．4．1　Matrix類(lèi)模板　96
4．4．2　特殊矩陣：平凡矩陣、全零矩陣與獨(dú)熱向量　101
4．4．3　引入新的矩陣類(lèi)　104
4．5　列表　105
4．5．1　Batch模板　105
4．5．2　Array模板　108
4．5．3　重復(fù)與Duplicate模板　113
4．6　小結(jié)　116
4．7　練習(xí)　116
第5章　運(yùn)算與表達(dá)式模板　119
5．1　表達(dá)式模板簡(jiǎn)介　119
5．2　MetaNN運(yùn)算模板的設(shè)計(jì)思想　122
5．2．1　Add模板的問(wèn)題　122
5．2．2　運(yùn)算模板的行為分析　122
5．3　運(yùn)算分類(lèi)　124
5．4　輔助模板　125
5．4．1　輔助類(lèi)模板OperElementType_/OperDeviceType_　125
5．4．2　輔助類(lèi)模板OperXXX_　126
5．4．3　輔助類(lèi)模板OperCateCal　126
5．4．4　輔助類(lèi)模板OperOrganizer　128
5．4．5　輔助類(lèi)模板OperSeq　130
5．5　運(yùn)算模板的框架　131
5．5．1　運(yùn)算模板的類(lèi)別標(biāo)簽　131
5．5．2　UnaryOp的定義　132
5．6　運(yùn)算實(shí)現(xiàn)示例　133
5．6．1　Sigmoid運(yùn)算　133
5．6．2　Add運(yùn)算　136
5．6．3　轉(zhuǎn)置運(yùn)算　139
5．6．4　折疊運(yùn)算　141
5．7　MetaNN已支持的運(yùn)算列表　141
5．7．1　一元運(yùn)算　141
5．7．2　二元運(yùn)算　142
5．7．3　三元運(yùn)算　144
5．8　運(yùn)算的折衷與局限性　144
5．8．1　運(yùn)算的折衷　144
5．8．2　運(yùn)算的局限性　145
5．9　小結(jié)　146
5．10　練習(xí)　146
第6章　基本層　148
6．1　層的設(shè)計(jì)理念　148
6．1．1　層的介紹　148
6．1．2　層對(duì)象的構(gòu)造　150
6．1．3　參數(shù)矩陣的初始化與加載　151
6．1．4　正向傳播　152
6．1．5　存儲(chǔ)中間結(jié)果　154
6．1．6　反向傳播　154
6．1．7　參數(shù)矩陣的更新　155
6．1．8　參數(shù)矩陣的獲取　155
6．1．9　層的中性檢測(cè)　156
6．2　層的輔助邏輯　156
6．2．1　初始化模塊　156
6．2．2　DynamicData類(lèi)模板　161
6．2．3　層的常用policy對(duì)象　166
6．2．4　InjectPolicy元函數(shù)　168
6．2．5　通用I/O結(jié)構(gòu)　168
6．2．6　通用操作函數(shù)　169
6．3　層的具體實(shí)現(xiàn)　170
6．3．1　AddLayer　170
6．3．2　ElementMulLayer　172
6．3．3　BiasLayer　176
6．4　MetaNN已實(shí)現(xiàn)的基本層　181
6．5　小結(jié)　183
6．6　練習(xí)　184
第7章　復(fù)合層與循環(huán)層　185
7．1　復(fù)合層的接口與設(shè)計(jì)理念　186
7．1．1　基本結(jié)構(gòu)　186
7．1．2　結(jié)構(gòu)描述語(yǔ)法　187
7．1．3　policy的繼承關(guān)系　188
7．1．4　policy的修正　189
7．1．5　復(fù)合層的構(gòu)造函數(shù)　190
7．1．6　一個(gè)完整的復(fù)合層構(gòu)造示例　190
7．2　policy繼承與修正邏輯的實(shí)現(xiàn)　191
7．2．1　policy繼承邏輯的實(shí)現(xiàn)　191
7．2．2　policy修正邏輯的實(shí)現(xiàn)　194
7．3　ComposeTopology的實(shí)現(xiàn)　195
7．3．1　功能介紹　195
7．3．2　拓?fù)渑判蛩惴ń榻B　195
7．3．3　ComposeTopology包含的主要步驟　196
7．3．4　結(jié)構(gòu)描述子句與其劃分　196
7．3．5　結(jié)構(gòu)合法性檢查　198
7．3．6　拓?fù)渑判虻膶?shí)現(xiàn)　200
7．3．7　子層實(shí)例化元函數(shù)　203
7．4　ComposeKernel的實(shí)現(xiàn)　207
7．4．1　類(lèi)模板的聲明　208
7．4．2　子層對(duì)象管理　208
7．4．3　參數(shù)獲取、梯度收集與中性檢測(cè)　211
7．4．4　參數(shù)初始化與加載　212
7．4．5　正向傳播　214
7．4．6　反向傳播　221
7．5　復(fù)合層實(shí)現(xiàn)示例　221
7．6　循環(huán)層　222
7．6．1　GruStep　222
7．6．2　構(gòu)建RecurrentLayer類(lèi)模板　224
7．6．3　RecurrentLayer的使用　230
7．7　小結(jié)　230
7．8　練習(xí)　230
第8章　求值與優(yōu)化　233
8．1　MetaNN的求值模型　234
8．1．1　運(yùn)算的層次結(jié)構(gòu)　234
8．1．2　求值子系統(tǒng)的模塊劃分　235
8．2　基本求值邏輯　242
8．2．1　主體類(lèi)型的求值接口　242
8．2．2　非主體基本數(shù)據(jù)類(lèi)型的求值　243
8．2．3　運(yùn)算模板的求值　245
8．2．4　DyanmicData與求值　248
8．3　求值過(guò)程的優(yōu)化　249
8．3．1　避免重復(fù)計(jì)算　249
8．3．2　同類(lèi)計(jì)算合并　250
8．3．3　多運(yùn)算協(xié)同優(yōu)化　251
8．4　小結(jié)　258
8．5　練習(xí)　259
后記—方家休見(jiàn)笑，吾道本艱難　260