大數據：規(guī)劃、實施、運維

第1篇 大數據導論\t1
第1章 初識大數據\t5
1．1 大數據概念談\t7
1．1．1 大數據的定義\t7
1．1．2 大數據發(fā)展現狀\t10
1．1．3 大數據建設需求分析\t10
1．1．4 大數據建設目標\t11
1．1．5 機器學習與人工智能\t11
1．2 大數據的科學性\t12
1．3 客戶關系管理\t18
1．4 大數據的理解誤區(qū)\t21
1．5 小結\t29
第2章 大數據產業(yè)鏈初探\t30
2．1 現金流與產業(yè)模式\t31
2．2 國外IT企業(yè)\t33
2．3 國內IT企業(yè)\t35
2．4 開源軟件\t36
2．5 小微企業(yè)\t39
2．6 政策制定者\t41
2．7 小結\t43
第2篇 規(guī)劃篇\t44
第3章 大數據體系規(guī)劃\t47
3．1 大數據技術體系\t48
3．1．1 大數據采集與預處理\t49
3．1．2 大數據存儲\t52
3．1．3 大數據計算\t56
3．1．4 大數據分析\t58
3．1．5 大數據治理\t64
3．1．6 大數據安全保障\t68
3．1．7 大數據應用支撐\t73
3．2 大數據共性技術重點課題\t76
3．2．1 開放域數據采集與共享\t76
3．2．2 多源異構數據分析技術\t78
3．2．3 異構計算模式集成技術\t82
3．2．4 數據安全與隱私保護\t86
3．3 大數據風險管控\t90
3．3．1 企業(yè)大數據建設風險分析\t90
3．3．2 大數據安全標準體系框架\t90
3．3．3 大數據安全標準規(guī)劃\t91
3．4 小結\t94
第4章 大數據技術要求\t95
4．1 大數據總體架構\t98
4．1．1 背景概述\t98
4．1．2 現狀分析\t98
4．1．3 總體目標\t99
4．1．4 技術架構\t100
4．1．5 實施指引\t102
4．2 采集要求\t104
4．2．1 功能架構\t104
4．2．2 技術架構\t105
4．2．3 處理技術\t106
4．2．4 場景應用\t111
4．2．5 接口協議\t113
4．2．6 接口約定\t113
4．2．7 性能指標\t116
4．3 基礎能力要求\t117
4．3．1 總體概述\t117
4．3．2 基礎框架\t119
4．3．3 能力開放\t135
4．3．4 性能指標\t141
4．4 核心處理能力要求\t142
4．4．1 總體概述\t142
4．4．2 數據模型\t149
4．4．3 數據處理\t152
4．4．4 數據質量\t155
4．4．5 系統(tǒng)性能\t158
4．5 需求與項目管理\t160
4．6 小結\t161
第3篇 實施篇\t163
第5章 大數據并行計算框架\t166
5．1 并行計算技術\t167
5．1．1 基本命題\t167
5．1．2 設計模式分類\t170
5．1．3 關鍵技術點\t173
5．2 MapReduce計算技術\t177
5．2．1 處理模型設計原則\t177
5．2．2 主要功能與技術設計\t178
5．3 Hadoop MapReduce設計與工作模式\t181
5．3．1 程序執(zhí)行模式\t181
5．3．2 作業(yè)調度模式\t183
5．3．3 執(zhí)行框架及流程設計\t186
5．4 Hadoop MapReduce組件接口\t187
5．4．1 InputFormat\t187
5．4．2 InputSplit\t188
5．4．3 RecordReader\t189
5．4．4 Mapper\t190
5．4．5 Combiner\t192
5．4．6 Partitioner\t193
5．5 小結\t193
第6章 大數據分布式處理系統(tǒng)\t194
6．1 Hadoop系統(tǒng)平臺\t195
6．1．1 分布式結構設計\t195
6．1．2 Hadoop生態(tài)系統(tǒng)\t196
6．2 HDFS分布式文件系統(tǒng)\t200
6．2．1 系統(tǒng)架構\t200
6．2．2 可靠性設計\t203
6．2．3 文件存儲組織\t205
6．2．4 數據讀寫過程\t207
6．2．5 文件系統(tǒng)操作\t209
6．3 HBase分布式數據庫\t211
6．3．1 技術特點\t211
6．3．2 系統(tǒng)結構設計\t212
6．3．3 數據存儲模型\t213
6．3．4 查詢模式\t215
6．3．5 數據表設計\t217
6．3．6 RegionServer配置\t218
6．4 小結\t222
第7章 大數據存儲\t223
7．1 磁盤陣列技術\t224
7．2 數據存儲接口\t225
7．2．1 對象存儲\t225
7．2．2 裸設備存儲\t226
7．2．3 塊存儲\t227
7．3 存儲集群架構\t228
7．3．1 共享與非共享型\t228
7．3．2 對稱與非對稱式\t229
7．3．3 自助式與服務式\t230
7．3．4 SPI與SFI\t231
7．3．5 串行方式與并行方式\t232
7．4 數據存儲技術本質\t233
7．4．1 三網統(tǒng)一理論\t234
7．4．2 并行概念理解\t236
7．4．3 集群分層架構\t238
7．5 數據分級存儲探討\t238
7．5．1 超融合\t238
7．5．2 冷數據\t239
7．5．3 平臺架構\t241
7．5．4 應用場景\t248
7．6 小結\t249
第8章 機器學習與人工智能\t250
8．1 數據挖掘\t251
8．1．1 數據分類采集\t253
8．1．2 模式類型設計\t258
8．1．3 模式價值分析\t261
8．1．4 系統(tǒng)關鍵技術\t262
8．2 機器學習\t264
8．2．1 算法分類\t265
8．2．2 合適算法選擇\t265
8．2．3 程序開發(fā)設計\t266
8．3 人工智能\t267
8．3．1 模式定義\t268
8．3．2 人工智能舉例\t269
8．4 小結\t276
第4篇 運維篇\t277
第9章 大數據集群網絡架構\t280
9．1 現有數據中心網絡架構\t281
9．1．1 架構分析\t281
9．1．2 存在弊端\t281
9．2 大數據網絡設計要點\t283
9．2．1 大數據業(yè)務分析\t283
9．2．2 大數據網絡流量模型\t284
9．2．3 大數據網絡新需求\t286
9．3 新興網絡技術\t287
9．3．1 SDN\t287
9．3．2 NFV\t291
9．3．3 VXLAN\t292
9．3．4 InfiniBand\t295
9．4 小結\t297
第10章 大數據安全\t298
10．1 大數據安全挑戰(zhàn)\t299
10．2 基礎設施安全\t300
10．2．1 存在威脅\t300
10．2．2 虛擬化安全\t301
10．3 數據安全\t302
10．3．1 數據采集安全技術\t302
10．3．2 數據存儲安全技術\t303
10．3．3 數據挖掘安全技術\t307
10．3．4 數據發(fā)布安全技術\t309
10．4 大數據平臺Hadoop安全\t311
10．4．1 Hadoop安全問題概述\t311
10．4．2 Kerberos概述\t313
10．4．3 Kerberos認證過程\t313
10．4．4 Hadoop安全機制\t314
10．4．5 Kerberos的優(yōu)缺點\t316
10．5 小結\t317
第11章 大數據備份與恢復\t318
11．1 數據備份與恢復\t319
11．1．1 數據備份\t319
11．1．2 數據恢復\t323
11．2 分布式存儲系統(tǒng)備份與恢復\t324
11．2．1 概述\t324
11．2．2 HDFS數據備份策略\t328
11．3 小結\t330
第12章 大數據環(huán)境的監(jiān)管\t331
12．1 概述\t332
12．2 大數據集群配置管理\t333
12．3 大數據集群監(jiān)控\t337
12．3．1 大數據監(jiān)控特點\t337
12．3．2 監(jiān)控系統(tǒng)\t338
12．3．3 監(jiān)控系統(tǒng)建立途徑\t341
12．3．4 商業(yè)監(jiān)控軟件\t342
12．3．5 開源監(jiān)控軟件\t343
12．3．6 傳統(tǒng)網絡管理軟件：NetEagle\t352
12．3．7 統(tǒng)一管理平臺：UMP\t354
12．4 大數據日志分析\t356
12．5 小結\t359
第13章 大數據的運維方法\t361
13．1 運維服務\t362
13．2 運維流程模型\t363
13．2．1 故障排查\t363
13．2．2 緊急事故管理\t366
13．2．3 處理連鎖故障\t368
13．3 運維人員\t371
13．3．1 需要具備的能力\t371
13．3．2 任務內容\t372
13．4 自動化運維\t374
13．4．1 自動化運維價值\t374
13．4．2 自動化運維工具\t376
13．5 小結\t379
第5篇 實例篇\t380
第14章 Oracle MoviePlex 大數據規(guī)劃\t383
14．1 案例概述\t384
14．1．1 案例背景\t386
14．1．2 架構規(guī)劃\t387
14．2 大數據組件介紹\t395
14．2．1 Cloudera的CDH\t396
14．2．2 Cloudera管理器\t397
14．2．3 Oracle大數據連接器\t398
14．2．4 Oracle大數據加載器\t398
14．2．5 Oracle大數據整合器\t400
14．2．6 Oracle R語言連接器\t400
14．2．7 Oracle NoSQL數據庫\t401
14．3 小結\t402
第15章 Oracle MoviePlex大數據實施\t404
15．1 環(huán)境準備\t405
15．1．1 MoviePlex環(huán)境部署\t405
15．1．2 MoviePlex環(huán)境初始化\t409
15．2 案例演示\t413
15．2．1 配置Oracle Big Data SQL\t413
15．2．2 建立存放在HDFS日志表\t414
15．2．3 HIVE訪問HDFS和NoSQL\t416
15．2．4 Oracle Big Data SQL新功能\t418
15．2．5 Oracle Big Data安全策略\t420
15．2．6 Oracle分析SQL\t422
15．2．7 Oracle SQL模式匹配\t423
15．2．8 創(chuàng)建匯總數據集\t425
15．2．9 Oracle 12c SQL解析特點\t426
15．3 推薦系統(tǒng)\t428
15．3．1 百萬美元大獎賽\t428
15．3．2 技術細節(jié)\t429
15．4 小結\t433
第16章 Oracle MoviePlex大數據運維\t434
16．1 集群\t436
16．1．1 Hadoop\t436
16．1．2 ZooKeeper\t439
16．2 文件系統(tǒng)和非關系數據庫\t442
16．2．1 HDFS\t443
16．2．2 HBase\t444
16．2．3 NoSQL\t446
16．2．4 Kafka\t449
16．3 中間件\t451
16．3．1 WebLogic\t451
16．3．2 HUE\t454
16．3．3 Solr\t456
16．4 數據轉換\t458
16．4．1 Hive\t458
16．4．2 Impala\t460
16．4．3 Sqoop2\t462
16．5 資源整合調度\t463
16．5．1 Oozie\t463
16．5．2 YARN\t464
16．6 小結\t467
第6篇 明天的大數據\t468
第17章 大數據面臨的挑戰(zhàn)\t470
17．1 可靠性挑戰(zhàn)\t472
17．2 可擴展性挑戰(zhàn)\t473
17．3 系統(tǒng)安全挑戰(zhàn)\t473
17．4 節(jié)能降耗\t475
17．5 算法挑戰(zhàn)\t477
17．6 測不準原理\t477
17．7 小結\t478
第18章 大數據應用\t479
18．1 客戶關系與供求管理\t480
18．2 科學研究\t483
18．3 教育大數據應用\t485
18．4 區(qū)塊鏈與加密貨幣\t490
18．5 小結\t493
結束語\t494
附錄A 安裝Cloudera Apache Hadoop\t502
A．1 環(huán)境準備\t504
A．1．1 Cloudera Manager架構\t504
A．1．2 服務器環(huán)境準備\t504
A．1．3 安裝介質下載\t505
A．1．4 本地yum源搭建\t505
A．2 安裝Cloudera Manager Server\t506
A．3 部署Hadoop集群\t507
A．4 安裝結果\t508
附錄B 在Matlab中應用 MapReduce\t509
B．1 datastore簡介\t510
B．2 搜尋需要的項\t511
B．3 MapReduce簡介\t512
B．4 如何運用MapReduce進行運算\t512
B．5 MapReduce中對于鍵的使用\t514
B．6 使用mapreduce計算分組指標\t514
B．7 輸出結果可視化\t516
附錄C 從AlphaGo到 AlphaZero\t518
參考文獻\t526