高能物理科學大數(shù)據(jù)系統(tǒng)與應用

目錄
前言
第1章 科學大數(shù)據(jù)基礎 1
1.1 大數(shù)據(jù)基本概念 1
1.1.1 大數(shù)據(jù)產(chǎn)生 1
1.1.2 大數(shù)據(jù)特點 2
1.1.3 大數(shù)據(jù)龍 4
1.1.4 科學大數(shù)據(jù) 4
1.2 高能物理大科學裝置 6
1.2.1 大型強子對撞機實驗 7
1.2.2 北京譜儀Ⅲ實驗 9
1.2.3 大亞灣和江門中微子實驗 10
1.2.4 高海拔宇繊觀測站 11
1.2.5 中國散列中子源 13
1.2.6 高能同步輻射光源 14
1.3 髙能物理離線數(shù)據(jù)處理 16
1.3.1 數(shù)據(jù)處理的基本過程 16
1.3.2 數(shù)據(jù)存儲 16
1.3.3 數(shù)據(jù)傳輸 18
1.3.4 計算集群 19
1.3.5 賄計算與分布式計算 20
1.3.6 數(shù)據(jù)長期保存與開放共享 22
1.4 高能物理科學大數(shù)據(jù)特點 22
1.5本章小結 24
思考題 24
參考文獻 24
第2章 高能物理大數(shù)據(jù)管理體系 26
2.1 大數(shù)據(jù)系統(tǒng)架構 26
2.1.1 IT基礎設施 26
2.1.2 數(shù)據(jù)采集與清洗 27
2.1.3 海量數(shù)據(jù)存儲 29
2.1.4 并行數(shù)據(jù)處理 32
2.1.5 數(shù)據(jù)分析和挖掘工具 35
2.2 大數(shù)據(jù)基礎設施 36
2.3 數(shù)據(jù)生命周期管理 38
2.4 高能物理計算平臺與發(fā)展 42
2.5 本章小結 44
思考題 44
參考文獻 44
第3章 存儲技術與系統(tǒng) 46
3.1 存儲硬件及發(fā)展 46
3.1.1 磁盤 46
3.1.2 固態(tài)釀 49
3.1.3 磁帶 52
3.1.4 光盤 53
3.2 磁盤陣列編碼 53
3.2.1 RAID 技術 53
3.2.2 動態(tài)磁盤池 57
3.2.3 糾刪碼 58
3.3 分布式文件系統(tǒng) 60
3.3.1 分布式文件系統(tǒng)的發(fā)展 60
3.3.2 文件訪語義 63
3.3.3 文件系統(tǒng)設計 64
3.4 磁帶管理與分層存儲 65
3.4.1 數(shù)據(jù)讀寫 66
3.4.2 讀寫指定位置的文件 66
3.4.3 磁帶文件元數(shù)據(jù)管理 68
3.4.4 磁帶庫、磁帶卷以及磁帶驅動器 69
3.4.5 虛擬磁帶文件系統(tǒng) 70
3.4.6 分層存儲 70
3.5 實際系統(tǒng)剖析 71
3.5.1 Lustre 71
3.5.2 EOS 74
3.6 本章小結 76
思考題 76
參考文獻 76
第4章 事例與元數(shù)據(jù)管理 78
4.1 高能物理事例組織 78
4.1.1 高能物理事例定義 78
4.1.2 事例結構 78
4.1.3 基于事例的高能物理數(shù)據(jù)分析 80
4.2 事例特征索引 81
4.2.1 正向索引 81
4.2.2 倒排索引 81
4.2.3 高能物理中的事例特征索引 84
4.3 高能物理元數(shù)據(jù)組織 85
4.3.1 元數(shù)據(jù)的概念及意義 85
4.3.2 元數(shù)據(jù)的組織管理方式 86
4.3.3 Bookkeeping系統(tǒng) 86
4.4 斜示系統(tǒng)剖析(EventDB) 87
4.4.1 事例特征抽取 88
4.4.2 事例索引數(shù)據(jù)庫及查詢條件歸并 89
4.4.3 面向事例的緩存 89
4.4.4 面向事例賺據(jù)傳輸 94
4.4.5 EventDB系統(tǒng)性能分析 95
4.4.6 基于EventDB的事例分析 97
4.5 本章小結 98
思考題 99
參考文獻 99
第5章 高能物理大數(shù)據(jù)處理模式 101
5.1 高通量計算 101
5.1.1 PBS 101
5.1.2 HTCondor 102
5.2 高性能計算 104
5.2.1 SLURM介紹 105
5.2.2 SLURM作業(yè)調度 105
5.2.3 SLURM資源管理 106
5.2.4 SLURM作業(yè)運行 106
5.3 流式計算 107
5.3.1 實時數(shù)據(jù)集成工具 108
5.3.2 消息隊列模型 111
5.3.3 流式計算過程 113
5.3.4 流式計算系統(tǒng) 115
5.4 交互式計算 116
5.4.1 JupyterLab 117
5.4.2 Kubemetes 118
5.5 本章小結 119
思考題 119
參考文獻 119
第6章 高能物理大數(shù)據(jù)分析工具 121
6.1 數(shù)學與統(tǒng)計工具 121
6.1.1 Python簡介 121
6.1.2 Julia簡介 121
6.1.3 Maxima簡介 122
6.2 數(shù)據(jù)可視化軟件 124
6.2.1 ROOT 124
6.2.2 gnuplot 128
6.2.3 Maxima 140
6.2.4 Julia 145
6.2.5 學習資源 149
6.3 粒子物理模擬工具 150
6.3.1 Geant4 簡介 150
6.3.2 安裝與配置 151
6.3.3 Geant4 IS 程簡介 154
6.3.4 學習資源 160
6.4 本章小結 160
思考題 161
參考文獻 161
第7章 高能物理云計算 162
7.1 云計算介紹 162
7.1.1 云計算概念 162
7.1.2 虛擬化技術 163
7.1.3 云計算與網(wǎng)格計算 165
7.1.4 高能物理與云計算 166
7.2 髙能物理云計算集群系統(tǒng) 169
7.2.1 KVM虛擬機的性能測試與優(yōu)化 169
7.2.2 高能物理作業(yè)在虛擬機上的性能測試 169
7.2.3 高能物理虛擬集群資源管理平臺 170
7.3 彈性計算資源管理調度 172
7.3.1 面向多個高能物理應用的彈性資源管理算法 172
7.3.2 面向高能物理應用的彈性資源管理框架 173
7.4 容器與調度 177
7.4.1 容器技術概述 177
7.4.2 容器與虛擬機 178
7.4.3 容器技術在國內外的應用 180
7.4.4 高能物理容器技術應用 180
7.5 案例介紹 184
7.6 本章小結 185
思考題 185
參考文獻 186
第8章 跨地域數(shù)據(jù)管理技術 188
8.1 網(wǎng)格數(shù)據(jù)管理 188
8.1.1 數(shù)據(jù)管理的目標 188
8.1.2 網(wǎng)絡數(shù)據(jù)管理架構 189
8.2 全局數(shù)據(jù)管理 191
8.2.1 統(tǒng)一命名空間 191
8.2.2 Kademlia算法 193
8.2.3 IPFS 194
8.3 存儲資源管理 196
8.3.1 存儲資源管理簡& 196
8.3.2 SRM定位 197
8.3.3 SRM文件和空間管理 198
8.3.4 SRM的應用示例 199
8.3.5 存儲資源記賬 200
8.4 數(shù)據(jù)聯(lián)盟與數(shù)據(jù)湖 201
8.4.1 數(shù)據(jù)聯(lián)盟 201
8.4.2 數(shù)據(jù)湖 202
8.5 實際系統(tǒng)剖分、析ff 203
8.5.1 Rucio分布式數(shù)據(jù)管理系$ 203
8.5.2 Dynafed 208
8.6本章小結 211
思考題 211
參考文獻 211
第9章 高能物理數(shù)據(jù)長期保存與開放 213
9.1 概述 213
9.2 高能物理數(shù)據(jù)分類 214
9.2.1 數(shù)據(jù)保存級別 214
9.2.2 數(shù)據(jù)共享模式 216
9.3 數(shù)據(jù)長期保存策略 217
9.3.1 數(shù)據(jù)長期保存目標 218
9.3.2 比特級數(shù)據(jù)的長期保存 219
9.3.3 計算環(huán)境的長期保存 220
9.3.4 分析過程的長期保存 221
9.4 數(shù)據(jù)標識 222
9.4.1 標識符的組織 222
9.4.2 幾種**的數(shù)據(jù)標識系統(tǒng) 223
9.5 數(shù)據(jù)檢索 224
9.5.1 HEPData 224
9.5.2 CERN Open Data 225
9.6 案例分析 225
9.7本章小結 228
思考題 228
參考文獻 228
第10章 高能物理大數(shù)據(jù)中的深度學習應用 230
10.1 深度學習及相關知識 230
10.1.1 深度學習的基本原理 230
10.1.2 基于深度神經(jīng)網(wǎng)絡的分類 232
10.1.3 基于卷積神經(jīng)網(wǎng)絡的分類和預測 .232
10.1.4 基于非監(jiān)督學習的分類 236
10.2 基于深度學習的數(shù)據(jù)壓縮 238
10.2.1 數(shù)據(jù)壓縮的基本方法 238
10.2.2 基于神經(jīng)網(wǎng)絡的數(shù)據(jù)壓縮 244
10.3 數(shù)據(jù)驅動的數(shù)據(jù)存儲管理 254
10.3.1 基于監(jiān)督學習的數(shù)據(jù)分層管理 254
10.3.2 基于強化學習的自動化調參 264
10.3.3 基于非監(jiān)督學習的異常檢測 269
10.4 本章小結 273
思考題 274
參考文獻 274
第11章 前沿技術展望 277
11.1 高性能存儲 277
11.1.1 存儲硬件雌展 277
11.1.2 固態(tài)硬盤存儲優(yōu)化 283
11.1.3 高性能存儲開發(fā)套件 287
11.1.4 基于閃存的文件系統(tǒng) 290
11.1.5 分布式異構對象存儲 294
11.2 可計算存儲 297
11.2.1 傳統(tǒng)體系架構的挑戰(zhàn) 297
11.2.2 可計算存儲體系架構 300
11.2.3 可計算存儲典型應用 302
11.3 數(shù)據(jù)組織與管理 305
11.3.1 未來的挑戰(zhàn) 305
11.3.2 數(shù)據(jù)組織 306
11.3.3 數(shù)據(jù)管理 308
11.3.4 數(shù)據(jù)訪問 309
11.4 本章小結 310
思考題 310
參考文獻 311