超級(jí)計(jì)算機(jī)原理與實(shí)踐

目錄
**部分 超級(jí)計(jì)算機(jī)的基礎(chǔ)知識(shí)
第1章 超級(jí)計(jì)算機(jī)入門 1
1.1 超級(jí)計(jì)算機(jī)簡(jiǎn)介 1
1.2 超級(jí)計(jì)算機(jī)的性能指標(biāo) 5
1.2.1 基本性能指標(biāo) 5
1.2.2 可擴(kuò)展性 6
1.2.3 峰值性能與持續(xù)性能 7
1.2.4 其他性能指標(biāo) 8
1.3 超級(jí)計(jì)算機(jī)的基準(zhǔn)評(píng)測(cè)集 8
1.3.1 計(jì)算性能評(píng)測(cè)集 9
1.3.2 I/O 性能評(píng)測(cè)集 15
1.3.3 網(wǎng)絡(luò)性能評(píng)測(cè)集 17
1.3.4 應(yīng)用評(píng)測(cè)集 18
1.4 超級(jí)計(jì)算機(jī)的發(fā)展歷程 19
1.4.1 “初生”時(shí)代 19
1.4.2 “克雷”時(shí)代 19
1.4.3 “多核”時(shí)代 20
1.4.4 “異構(gòu)”時(shí)代 21
1.4.5 國(guó)產(chǎn)超級(jí)計(jì)算機(jī)的發(fā)展歷程 21
1.5 超級(jí)計(jì)算機(jī)的應(yīng)用領(lǐng)域 22
1.6 本章小結(jié) 23
課后習(xí)題 23
第2章 超級(jí)計(jì)算機(jī)硬件與體系結(jié)構(gòu) 24
2.1 超級(jí)計(jì)算機(jī)硬件 24
2.1.1 計(jì)算陣列 25
2.1.2 存儲(chǔ)陣列 26
2.1.3 服務(wù)陣列 26
2.1.4 互連通信子系統(tǒng) 27
2.1.5 監(jiān)控診斷子系統(tǒng) 28
2.2 超級(jí)計(jì)算機(jī)體系結(jié)構(gòu) 28
2.2.1 Flynn 分類法 28
2.2.2 典型超級(jí)計(jì)算機(jī)體系結(jié)構(gòu)分類 29
2.3 本章小結(jié) 41
課后習(xí)題 42
第二部分 超級(jí)計(jì)算機(jī)的系統(tǒng)軟件
第3章 超算調(diào)度系統(tǒng) 43
3.1 超算調(diào)度系統(tǒng)的發(fā)展歷史 43
3.2 超算調(diào)度系統(tǒng)功能模型 45
3.3 典型超算調(diào)度系統(tǒng) 46
3.3.1 LSF 46
3.3.2 Slurm 52
3.4 本章小結(jié) 58
課后習(xí)題 58
第4章 超算存儲(chǔ)與文件系統(tǒng) 59
4.1 超算系統(tǒng)典型存儲(chǔ)結(jié)構(gòu) 59
4.2 并行文件系統(tǒng) 60
4.2.1 文件訪問接口 60
4.2.2 并行文件系統(tǒng)關(guān)鍵技術(shù) 62
4.2.3 Lustre 文件系統(tǒng) 64
4.2.4 BeeGFS 介紹 68
4.3 I/O 中間件 71
4.3.1 MPI I/O 72
4.3.2 PLFS 73
4.3.3 其他 74
4.4 本章小結(jié) 75
課后習(xí)題 75
第三部分 面向超級(jí)計(jì)算機(jī)的并行編程
第5章 并行編程基礎(chǔ) 77
5.1 并行編程模型 77
5.1.1 共享內(nèi)存編程模型 77
5.1.2 消息傳遞編程模型 78
5.1.3 數(shù)據(jù)并行編程模型 80
5.1.4 混合并行編程模型 81
5.1.5 隱式并行編程模型 82
5.2 并行程序執(zhí)行模式 82
5.2.1 主從模式 82
5.2.2 SPMD 模式 82
5.2.3 MPMD 模式 83
5.3 并行程序設(shè)計(jì)的方法論 83
5.3.1 Foster 方法論簡(jiǎn)介 83
5.3.2 并行算法 85
5.4 本章小結(jié) 88
課后習(xí)題 88
第6章 傳統(tǒng)并行編程 90
6.1 MPI 編程 90
6.1.1 MPI 基本概念 90
6.1.2 MPI 通信模式 93
6.2 Pthreads 編程 97
6.2.1 線程管理 98
6.2.2 線程同步 100
6.3 OpenMP 編程 108
6.3.1 編譯器指令 108
6.3.2 并行結(jié)構(gòu)與常用指令 108
6.3.3 數(shù)據(jù)范圍屬性子句 114
6.3.4 運(yùn)行時(shí)庫函數(shù)和環(huán)境變量 115
6.4 混合并行編程 115
6.4.1 混合并行編程的基本思想 116
6.4.2 混合并行編程方法 116
6.4.3 混合并行編程實(shí)例 120
6.5 本章小結(jié) 121
課后習(xí)題 121
第7章 異構(gòu)并行編程 123
7.1 CUDA 編程 123
7.1.1 CUDA 編程模型 125
7.1.2 CUDA 執(zhí)行模型 135
7.1.3 CUDA 函數(shù)庫 137
7.2 OpenCL 編程 138
7.2.1 OpenCL 平臺(tái)模型 138
7.2.2 OpenCL 編程模型 139
7.2.3 OpenCL 執(zhí)行模型 139
7.2.4 OpenCL 內(nèi)存模型 140
7.2.5 OpenCL 編程實(shí)例 141
7.3 本章小結(jié) 145
課后習(xí)題 146
第四部分 典型并行應(yīng)用案例與應(yīng)用軟件介紹
第8章 典型并行應(yīng)用案例 147
8.1 通用矩陣乘法并行化 147
8.1.1 基于 OpenMP 并行化實(shí)現(xiàn) 147
8.1.2 基于 Pthreads 并行化實(shí)現(xiàn) 148
8.1.3 基于 MPI 并行化實(shí)現(xiàn) 149
8.2 **排序算法并行化 152
8.2.1 奇偶排序并行化：消除數(shù)據(jù)相關(guān)性 152
8.2.2 二路歸并排序并行化 154
8.3 生產(chǎn)者消費(fèi)者問題并行化 155
8.4 分布式機(jī)器學(xué)習(xí)并行化 159
8.4.1 單機(jī)計(jì)算與并行模式 159
8.4.2 任務(wù)劃分與聚合 161
8.4.3 分布式架構(gòu)與網(wǎng)絡(luò)通信 164
8.5 本章小結(jié) 167
課后習(xí)題 167
第9章 超算基礎(chǔ)軟件庫和應(yīng)用開發(fā)框架 168
9.1 超算基礎(chǔ)軟件庫 168
9.1.1 ScaLAPACK 168
9.1.2 Trilinos 170
9.1.3 TAO 177
9.1.4 HPCToolkit 178
9.1.5 ADIOS 181
9.1.6 Kokkos 182
9.1.7 VTK-m 184
9.2 超算應(yīng)用開發(fā)框架 185
9.2.1 VASP 185
9.2.2 Gaussian 187
9.2.3 Fluent 190
9.2.4 OpenFOAM 192
9.2.5 GROMACS 196
9.2.6 NAMD 197
9.2.7 MATLAB 198
9.2.8 MOOSE 200
9.3 本章小結(jié) 203
課后習(xí)題 204
參考文獻(xiàn) 205