123,123

內(nèi)容簡(jiǎn)介

　　本書(shū)針對(duì)不同應(yīng)用類(lèi)型，提出了兩套計(jì)算架構(gòu)，分別是面向通用神經(jīng)網(wǎng)絡(luò)近似的神經(jīng)網(wǎng)絡(luò)計(jì)算架構(gòu)RNA和面向?qū)Ｓ萌斯ぶ悄茴I(lǐng)域的神經(jīng)網(wǎng)絡(luò)計(jì)算架構(gòu)DNA。本書(shū)的三項(xiàng)研究工作與兩套優(yōu)化設(shè)計(jì)方法相輔相成。研究工作本身均已進(jìn)行充分的實(shí)驗(yàn)驗(yàn)證，具備很高的實(shí)用價(jià)值。優(yōu)化設(shè)計(jì)方法不僅為研究工作中提供了有力支撐，對(duì)神經(jīng)網(wǎng)絡(luò)加速器架構(gòu)未來(lái)的研究方向同樣具有指導(dǎo)意義。此外，為解決神經(jīng)網(wǎng)絡(luò)計(jì)算中的訪存瓶頸問(wèn)題，提出了基于數(shù)據(jù)保持時(shí)間的神經(jīng)網(wǎng)絡(luò)存儲(chǔ)優(yōu)化框架RANA。

作者簡(jiǎn)介

　　涂鋒斌，2019年于清華大學(xué)微納電子系獲得博士學(xué)位，現(xiàn)于加州大學(xué)圣塔芭芭拉分校電子與計(jì)算機(jī)工程系擔(dān)任博士后研究員。涂鋒斌長(zhǎng)期從事人工智能芯片方向的研究，連續(xù)做出世界的工作。涂鋒斌在2016年設(shè)計(jì)出一款基于可重構(gòu)計(jì)算架構(gòu)的人工智能芯片Thinker。該款芯片作為清華唯二的作品參加全國(guó)雙創(chuàng)周，獲得總理的高度贊許，先后被楊瀾訪談錄、雷鋒網(wǎng)AI科技評(píng)論和MIT科技評(píng)論報(bào)道。Thinker芯片在2017獲得ISLPED國(guó)際低功耗電子設(shè)計(jì)競(jìng)賽冠軍（中國(guó)大陸首次）。截止目前，涂鋒斌已發(fā)表18篇論文，其中包括計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域會(huì)議ISCA？

圖書(shū)目錄

第1章緒論 1
1.1 研究背景 1
1.2 研究現(xiàn)狀 3
1.2.1 神經(jīng)網(wǎng)絡(luò)算法的發(fā)展歷程 3
1.2.2 神經(jīng)網(wǎng)絡(luò)加速器的研究現(xiàn)狀 7
1.3 研究動(dòng)機(jī) 10
1.4 研究思路與研究?jī)?nèi)容 11
1.4.1 研究思路 11
1.4.2 研究?jī)?nèi)容 12
第2章面向通用神經(jīng)網(wǎng)絡(luò)近似的神經(jīng)網(wǎng)絡(luò)計(jì)算架構(gòu)RNA 14
2.1 引言 14
2.2 問(wèn)題背景 17
2.2.1 神經(jīng)網(wǎng)絡(luò)近似與加速 17
2.2.2 通用架構(gòu)模型 17
2.3 計(jì)算模式 19
2.3.1 RNA 架構(gòu)概覽 19
2.3.2 FP 計(jì)算模式 20
2.3.3 NE 計(jì)算模式 21
2.3.4 CE 計(jì)算模式 23
2.3.5 調(diào)度框架 24
2.4 RNA 架構(gòu)設(shè)計(jì) 31
2.4.1 RNA 架構(gòu)的PE 設(shè)計(jì) 31
2.4.2 RNA 架構(gòu)的互連設(shè)計(jì) 31
2.4.3 RNA 架構(gòu)的控制器設(shè)計(jì) 34
2.5 實(shí)驗(yàn)結(jié)果 37
2.5.1 實(shí)驗(yàn)設(shè)置 37
2.5.2 RNA 架構(gòu)的版圖和硬件指標(biāo) 38
2.5.3 RNA 架構(gòu)的性能分析 39
2.5.4 RNA 架構(gòu)的參數(shù)探索 47
2.6 小結(jié) 50
第3章面向?qū)Ｓ萌斯ぶ悄茴I(lǐng)域的神經(jīng)網(wǎng)絡(luò)計(jì)算架構(gòu)DNA 51
3.1 引言 51
3.2 問(wèn)題背景 53
3.2.1 CNN 模型 53
3.2.2 以CNN 加速器為中心的計(jì)算系統(tǒng)架構(gòu) 55
3.2.3 CNN 加速的兩大執(zhí)行目標(biāo)和挑戰(zhàn) 56
3.3 計(jì)算模式 57
3.3.1 計(jì)算模式概覽 57
3.3.2 數(shù)據(jù)復(fù)用模式 57
3.3.3 卷積映射方法 66
3.3.4 對(duì)全連接層的支持 70
3.4 DNA 架構(gòu)設(shè)計(jì) 71
3.4.1 可重構(gòu)數(shù)據(jù)通路設(shè)計(jì) 71
3.4.2 可重構(gòu)卷積引擎設(shè)計(jì) 73
3.4.3 DNA 架構(gòu)的工作流程和調(diào)度框架 77
3.5 實(shí)驗(yàn)結(jié)果 79
3.5.1 實(shí)驗(yàn)設(shè)置 79
3.5.2 DNA 架構(gòu)的版圖和硬件指標(biāo) 79
3.5.3 DNA 架構(gòu)的訪存和整體能耗分析 80
3.5.4 DNA 架構(gòu)的性能分析 84
3.5.5 DNA 架構(gòu)與國(guó)際工作的比較 85
3.5.6 基于DNA 架構(gòu)的人工智能計(jì)算芯片Thinker 88
3.6 小結(jié) 90
第4章基于數(shù)據(jù)保持時(shí)間的神經(jīng)網(wǎng)絡(luò)存儲(chǔ)優(yōu)化框架RANA 92
4.1 引言 92
4.2 問(wèn)題背景 95
4.2.1 CNN 模型 95
4.2.2 CNN 加速器 96
4.2.3 CNN 加速器的緩存容量問(wèn)題 97
4.2.4 eDRAM 及數(shù)據(jù)保持問(wèn)題 98
4.3 研究動(dòng)機(jī) 99
4.3.1 實(shí)驗(yàn)平臺(tái) 99
4.3.2 問(wèn)題分析 100
4.3.3 優(yōu)化機(jī)會(huì) 102
4.4 RANA 框架 102
4.4.1 RANA 框架概覽 102
4.4.2 基于數(shù)據(jù)保持時(shí)間的訓(xùn)練方法 104
4.4.3 混合計(jì)算模式 107
4.4.4 刷新優(yōu)化的eDRAM 控制器 113
4.5 實(shí)驗(yàn)結(jié)果 114
4.5.1 實(shí)驗(yàn)設(shè)置 114
4.5.2 對(duì)RANA 框架的評(píng)估 115
4.5.3 在DaDianNao 上的擴(kuò)展性分析 120
4.6 小結(jié) 121
第5章總結(jié)與展望 123
5.1 工作總結(jié) 123
5.2 未來(lái)工作展望 124
參考文獻(xiàn) 126
在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果 137
致謝 139