并行計(jì)算與實(shí)現(xiàn)技術(shù)

目錄
第1章并行計(jì)算基礎(chǔ)1
1.1什么是并行計(jì)算1
1.2為什么需要并行計(jì)算2
1.3并行計(jì)算機(jī)的發(fā)展4
1.4并行算法復(fù)雜性分析5
1.5并行計(jì)算的基本概念7
第2章基礎(chǔ)并行算法9
2.1并行算法設(shè)計(jì)基本原則9
2.2區(qū)域分解方法10
2.3功能分解方法11
2.4流水線技術(shù)12
2.5分而治之方法13
2.6同步并行算法14
2.7異步并行算法14
第3章經(jīng)典算法的并行計(jì)算16
3.1矩陣乘并行計(jì)算方法16
3.1.1矩陣卷簾存儲(chǔ)方式16
3.1.2并行矩陣乘法17
3.2線性方程組并行求解方法21
3.2.1分布式系統(tǒng)的并行LU分解算法22
3.2.2三角方程組的并行解法23
3.3經(jīng)典迭代算法的并行化25
3.3.1Jacobi迭代法25
3.3.2Gauss-Seidel迭代法26
3.4特征值問題并行計(jì)算方法27
3.4.1對稱三對角矩陣特征值問題27
3.4.2Householder變換28
3.4.3化對稱矩陣為三對角矩陣29
第4章消息傳遞編程接口MPI30
4.1并行環(huán)境函數(shù)30
4.2MPI進(jìn)程控制函數(shù)32
4.2.1MPI進(jìn)程組操作函數(shù)32
4.2.2MPI通信子操作36
4.3點(diǎn)到點(diǎn)通信函數(shù)39
4.3.1阻塞式通信函數(shù)39
4.3.2非阻塞式通信函數(shù)44
4.3.3特殊的點(diǎn)到點(diǎn)通信函數(shù)49
4.3.4MPI的通信模式50
4.4自定義數(shù)據(jù)類型51
4.4.1用戶定義的數(shù)據(jù)類型51
4.4.2MPI的數(shù)據(jù)打包與拆包59
4.5聚合通信函數(shù)62
4.5.1障礙同步62
4.5.2單點(diǎn)與多點(diǎn)通信函數(shù)62
4.5.3多點(diǎn)與多點(diǎn)通信函數(shù)66
4.6全局歸約操作函數(shù)70
第5章共享存儲(chǔ)并行編程OpenMP80
5.1OpenMP發(fā)展歷程80
5.2OpenMP執(zhí)行模型和存儲(chǔ)模型81
5.3OpenMP指導(dǎo)語句82
5.3.1parallel結(jié)構(gòu)83
5.3.2工作共享結(jié)構(gòu)85
5.3.3數(shù)據(jù)共享屬性子句98
5.3.4其他子句104
5.3.5Tasking結(jié)構(gòu)107
5.3.6結(jié)構(gòu)嵌套規(guī)則111
5.4OpenMP運(yùn)行時(shí)函數(shù)庫111
5.4.1運(yùn)行時(shí)函數(shù)定義111
5.4.2執(zhí)行環(huán)境函數(shù)111
5.4.3鎖函數(shù)116
5.4.4時(shí)間函數(shù)120
5.5OpenMP環(huán)境變量120
5.6OpenMP在MIC架構(gòu)上的優(yōu)化技術(shù)122
5.6.1offload模式下將Host環(huán)境傳播至MIC(target)計(jì)算節(jié)點(diǎn)122
5.6.2offload模式提供了多種關(guān)鍵字來實(shí)現(xiàn)多功能的需求122
5.6.3查看編譯器對程序中OpenMP區(qū)域的優(yōu)化處理123
5.6.4OpenMP在Offload及Native模式下的不同缺省值123
5.6.5設(shè)置OpenMP的?？臻g大小124
5.6.6分配部分計(jì)算資源給運(yùn)行的程序125
第6章GPU并行加速實(shí)現(xiàn)技術(shù)126
6.1GPU以及GPGPU發(fā)展簡介126
6.2CUDA并行編程模型129
6.2.1線程結(jié)構(gòu)129
6.2.2線程調(diào)度132
6.3CUDA軟件體系134
6.3.1CUDA函數(shù)定義以及變量類型限定符134
6.3.2CUDA算數(shù)指令與數(shù)學(xué)函數(shù)136
6.3.3CUDA內(nèi)置函數(shù)136
6.3.4CUDA軟件體系結(jié)構(gòu)137
6.3.5CUDA程序的編譯139
6.4CUDA存儲(chǔ)器模型139
6.4.1寄存器141
6.4.2全局存儲(chǔ)器141
6.4.3本地存儲(chǔ)器145
6.4.4共享存儲(chǔ)器145
6.4.5常量存儲(chǔ)器147
6.4.6紋理存儲(chǔ)器147
6.5CUDA程序的優(yōu)化151
6.5.1處理器利用率優(yōu)化152
6.5.2指令吞吐量優(yōu)化154
6.5.3存儲(chǔ)器訪問優(yōu)化157
6.5.4矩陣乘法程序優(yōu)化示例163
6.5.5矩陣轉(zhuǎn)置程序優(yōu)化示例165
6.6MPI/CUDA混合編程170
6.6.1MPI/CUDA混合編程模型171
6.6.2GPU集群上的數(shù)據(jù)傳輸模型172
6.6.3MPI/CUDA混合編程以及編譯運(yùn)行示例174
6.6.4MPI/OpenMP/CUDA混合編程177
6.6.5異構(gòu)平臺(tái)數(shù)學(xué)庫MAGMA簡介184
參考文獻(xiàn)186
索引189
《信息與計(jì)算科學(xué)叢書》已出版書目191