大數(shù)據(jù)治理與安全：從理論到開源實踐

Contents 目　　錄
前　言
第一篇　理論篇
第1章　大數(shù)據(jù)治理技術2
1.1　概述2
1.1.1　大數(shù)據(jù)治理的基本概念2
1.1.2　大數(shù)據(jù)治理的意義和重要作用5
1.2　框架7
1.2.1　大數(shù)據(jù)治理框架概述7
1.2.2　大數(shù)據(jù)治理的原則9
1.2.3　大數(shù)據(jù)治理的范圍11
1.2.4　大數(shù)據(jù)治理的實施與評估14
第2章　大數(shù)據(jù)安全、隱私保護和審計技術19
2.1　大數(shù)據(jù)安全19
2.1.1　大數(shù)據(jù)安全的意義和重要作用19
2.1.2　大數(shù)據(jù)安全面臨的問題與挑戰(zhàn)21
2.1.3　大數(shù)據(jù)安全防護技術23
2.2　大數(shù)據(jù)隱私保護26
2.2.1　大數(shù)據(jù)隱私保護的意義和重要作用26
2.2.2　大數(shù)據(jù)隱私保護面臨的問題與挑戰(zhàn)28
2.2.3　大數(shù)據(jù)隱私保護技術31
2.3　大數(shù)據(jù)治理審計34
2.3.1　大數(shù)據(jù)治理審計概述34
2.3.2　大數(shù)據(jù)治理審計內(nèi)容37
2.3.3　大數(shù)據(jù)治理審計方法和技術39
2.3.4　大數(shù)據(jù)治理審計流程43
第二篇　開源實現(xiàn)篇
第3章　大數(shù)據(jù)治理之Apache Falcon48
3.1　Apache Falcon概述48
3.1.1　Apache Falcon技術概況49
3.1.2　Apache Falcon發(fā)展近況50
3.1.3　Apache Falcon技術優(yōu)勢50
3.1.4　Apache Falcon架構51
3.2　Apache Falcon的使用53
3.2.1　Oozie的安裝與配置56
3.2.2　Falcon的安裝與配置61
3.2.3　實體XML的創(chuàng)建與聲明63
3.3　Apache Falcon場景設計與實現(xiàn)74
3.3.1　數(shù)據(jù)管道74
3.3.2　結構化數(shù)據(jù)導入分布式文件系統(tǒng)82
3.3.3　結構化數(shù)據(jù)庫與數(shù)據(jù)倉庫的交互89
3.3.4　跨集群數(shù)據(jù)傳輸104
3.3.5　數(shù)據(jù)鏡像109
3.3.6　數(shù)據(jù)倉庫中的數(shù)據(jù)操作113
3.4　Apache Falcon優(yōu)化與性能分析118
3.4.1　Apache Falcon控制流118
3.4.2　分布式部署119
3.4.3　安全模式120
3.4.4　Apache Falcon優(yōu)化122
3.5　Apache Falcon應用舉例123
3.5.1　InMobi基于Falcon的數(shù)據(jù)治理123
3.5.2　Expedia基于Falcon的數(shù)據(jù)治理125
3.6　本章小結126
第4章　大數(shù)據(jù)治理之Apache Atlas127
4.1　Apache Atlas概述127
4.1.1　Apache Atlas技術概況127
4.1.2　Apache Atlas發(fā)展近況130
4.1.3　Apache Atlas技術優(yōu)勢133
4.1.4　Apache Atlas架構136
4.2　Apache Atlas的配置與使用143
4.2.1　安裝配置Apache Atlas143
4.2.2　添加或修改Atlas Web UI的登錄賬戶158
4.2.3　配置Hive通過Hive HOOK導入數(shù)據(jù)159
4.2.4　配置Sqoop通過Sqoop HOOK導入數(shù)據(jù)163
4.2.5　配置Storm通過Storm HOOK導入數(shù)據(jù)167
4.2.6　配置Falcon通過Falcon HOOK導入數(shù)據(jù)173
4.3　Apache Atlas的場景設計176
4.3.1　Atlas總場景介紹176
4.3.2　Atlas非實時數(shù)據(jù)場景178
4.3.3　Atlas實時數(shù)據(jù)場景183
4.3.4　Hive數(shù)據(jù)表操作183
4.4　Apache Atlas優(yōu)化與性能分析190
4.5　本章小結193
第5章　大數(shù)據(jù)安全之Apache Ranger194
5.1　Apache Ranger概述194
5.1.1　Ranger技術概況194
5.1.2　Ranger發(fā)展史及近況196
5.1.3　Ranger的特點和作用197
5.1.4　Ranger架構199
5.1.5　Ranger應用場景200
5.2　Apache Ranger的安全認證配置201
5.2.1　Ranger安裝與部署201
5.2.2　安全及訪問權限控制機制206
5.2.3　Ranger集成HDFS的安全認證機制與配置208
5.2.4　Ranger集成YARN的安全認證機制與配置213
5.2.5　Ranger集成Hive的安全認證機制與配置217
5.2.6　Ranger集成HBase的安全認證機制與配置221
5.2.7　Ranger集成Kafka的安全認證機制與配置228
5.2.8　Ranger集成Atlas的安全認證機制與配置235
5.2.9　Ranger集成Storm的安全認證機制與配置238
5.2.10　Ranger集成Solr的安全認證機制與配置246
5.3　Apache Ranger的功能配置254
5.3.1　Tag同步驗證254
5.3.2　各類Policy驗證255
5.4　Apache Ranger優(yōu)化與性能分析262
5.5　本章小結263
第6章　大數(shù)據(jù)安全之Apache Sentry265
6.1　Apache Sentry 概述265
6.1.1　Apache Sentry技術概況265
6.1.2　Apache Sentry發(fā)展近況267
6.1.3　Apache Sentry技術優(yōu)勢269
6.1.4　Apache Sentry架構272
6.2　Apache Sentry的安裝與配置274
6.2.1　先決條件274
6.2.2　Impala的安裝與調(diào)試274
6.2.3　Apache Sentry的安裝和配置282
6.2.4　Apache Sentry與Impala的集成286
6.3　Apache Sentry場景設計之Sentry對Impala的控制288
6.3.1　場景數(shù)據(jù)準備288
6.3.2　基于文件存儲元數(shù)據(jù)的場景驗證288
6.3.3　基于數(shù)據(jù)庫存儲元數(shù)據(jù)的場景驗證292
6.4　Apache Sentry場景設計之Sentry對Hive的控制296
6.4.1　Hive與Sentry的集成配置296
6.4.2　準備實驗數(shù)據(jù)298
6.4.3　基于文件存儲方式的數(shù)據(jù)表操作298
6.4.4　基于數(shù)據(jù)庫存儲方式的數(shù)據(jù)表操作301
6.5　本章小結305
第7章　大數(shù)據(jù)安全之Kerberos認證306
7.1　Kerberos概述306
7.1.1　Kerberos技術概況306
7.1.2　Kerberos發(fā)展史及近況307
7.1.3　Kerberos架構308
7.1.4　Kerberos的認證流程309
7.1.5　Kerberos的風險與缺陷311
7.1.6　Kerberos應用舉例312
7.2　Kerberos使用操作說明314
7.2.1　名詞解釋314
7.2.2　KDC