云計算與大數(shù)據(jù)技術(shù)（微課版）

第 1章 云計算和大數(shù)據(jù)基礎(chǔ)　1
【本章知識結(jié)構(gòu)圖】　1
【本章學習目標】　1
1.1 云計算概述　1
1.1.1 云計算發(fā)展歷程　2
1.1.2 云計算基本概念　3
1.1.3 云計算基本特征　4
1.1.4 云計算關(guān)鍵技術(shù)　4
1.2 大數(shù)據(jù)技術(shù)概述　8
1.2.1 大數(shù)據(jù)發(fā)展歷程　8
1.2.2 大數(shù)據(jù)基本概念　9
1.2.3 大數(shù)據(jù)基本特征　10
1.2.4 大數(shù)據(jù)關(guān)鍵技術(shù)　11
1.3 云計算、大數(shù)據(jù)與其他技術(shù)的關(guān)系　13
習題　14
第 2章 云計算架構(gòu)　16
【本章知識結(jié)構(gòu)圖】　16
【本章學習目標】　17
2.1 云計算架構(gòu)概述　17
2.2 云計算架構(gòu)設(shè)計與部署　18
2.2.1 通用架構(gòu)設(shè)計與部署　18
2.2.2 高可用性架構(gòu)設(shè)計與部署　19
2.2.3 高性能架構(gòu)設(shè)計與部署　21
2.2.4 容災(zāi)架構(gòu)設(shè)計與部署　22
2.2.5 云安全架構(gòu)設(shè)計與部署　23
2.2.6 云桌面架構(gòu)設(shè)計與部署　26
2.3 云計算架構(gòu)優(yōu)化　27
2.3.1 云計算架構(gòu)優(yōu)化概念　27
2.3.2 云計算架構(gòu)優(yōu)化案例　27
2.4 幾種典型的云計算架構(gòu)　29
2.4.1 谷歌云計算架構(gòu)　30
2.4.2 阿里云計算架構(gòu)　30
2.4.3 騰訊云計算架構(gòu)　32
2.4.4 華為云計算架構(gòu)　33
2.5 實踐：騰訊云部署Web應(yīng)用　35
2.5.1 概述　35
2.5.2 基礎(chǔ)環(huán)境　36
2.5.3 實踐條件　36
2.5.4 實踐流程　36
習題　39
第3章 虛擬化技術(shù)　41
【本章知識結(jié)構(gòu)圖】　41
【本章學習目標】　41
3.1 虛擬化概述　42
3.1.1 虛擬化發(fā)展歷程　42
3.1.2 虛擬化的幾個重要概念　42
3.1.3 虛擬化的主要特性　44
3.1.4 虛擬化常見的架構(gòu)類型　44
3.2 虛擬化的關(guān)鍵技術(shù)　47
3.2.1 CPU虛擬化　47
3.2.2 存儲虛擬化　49
3.2.3 網(wǎng)絡(luò)虛擬化　51
3.2.4 服務(wù)器虛擬化　54
3.2.5 虛擬桌面　54
3.2.6 應(yīng)用程序虛擬化　55
3.3 幾種典型的虛擬化軟件　56
3.3.1 KVM　57
3.3.2 Xen　57
3.3.3 VMware ESXi　58
3.3.4 Microsoft Hyper-V　58
3.4 實踐：輕量級虛擬化——Docker容器實戰(zhàn)　58
3.4.1 Docker簡述　58
3.4.2 Docker案例　59
習題　61
第4章 云計算技術(shù)　64
【本章知識結(jié)構(gòu)圖】　64
【本章學習目標】　65
4.1 云計算技術(shù)概述　65
4.2 分布式存儲技術(shù)　66
4.2.1 GFS　66
4.2.2 Swift　68
4.2.3 Ceph　71
4.2.4 Lustre　75
4.2.5 主流分布式存儲技術(shù)的比較　76
4.3 云計算網(wǎng)絡(luò)　76
4.3.1 數(shù)據(jù)中心網(wǎng)絡(luò)　77
4.3.2 軟件定義網(wǎng)絡(luò)　77
4.3.3 租戶網(wǎng)絡(luò)管理　81
4.4 云計算安全　82
4.4.1 云安全風險　82
4.4.2 云計算安全技術(shù)　82
4.5 云操作系統(tǒng)　85
4.5.1 云操作系統(tǒng)基本概念　85
4.5.2 云操作系統(tǒng)管理平臺功能　85
4.5.3 云操作系統(tǒng)資源調(diào)度　86
4.5.4 云操作系統(tǒng)實例　87
4.6 云開發(fā)　87
4.6.1 云開發(fā)與傳統(tǒng)開發(fā)　87
4.6.2 一站式后端Serverless服務(wù)　88
4.6.3 應(yīng)用場景　88
4.7 云計算運維　89
4.8 實踐　89
4.8.1 使用OpenStack搭建云計算管理平臺　89
4.8.2 云開發(fā)實踐　91
習題　91
第5章 大數(shù)據(jù)技術(shù)架構(gòu)　93
【本章知識結(jié)構(gòu)圖】　93
【本章學習目標】　94
5.1 大數(shù)據(jù)技術(shù)架構(gòu)概述　94
5.1.1 大數(shù)據(jù)技術(shù)參考模型　94
5.1.2 大數(shù)據(jù)技術(shù)處理平臺　95
5.2 大數(shù)據(jù)技術(shù)架構(gòu)設(shè)計　97
5.2.1 Lambda架構(gòu)　97
5.2.2 Kappa架構(gòu)　98
5.2.3 IOTA架構(gòu)　99
5.3 Hadoop生態(tài)架構(gòu)　101
5.3.1 Hadoop基本概念　101
5.3.2 Hadoop生態(tài)系統(tǒng)　101
5.3.3 Hadoop生態(tài)架構(gòu)特點　103
5.3.4 Hadoop生態(tài)架構(gòu)缺點　103
5.4 Spark生態(tài)架構(gòu)　103
5.4.1 Spark基本概念　103
5.4.2 Spark生態(tài)系統(tǒng)　104
5.4.3 Spark基本流程　105
5.4.4 Spark適用場景　106
5.4.5 Spark與Hadoop的區(qū)別　106
5.5 Flink生態(tài)架構(gòu)　106
5.5.1 Flink基本概念　106
5.5.2 Flink架構(gòu)體系　107
5.5.3 Flink架構(gòu)特性　108
5.5.4 流處理應(yīng)用的基本組件　108
5.5.5 Flink API　109
5.5.6 Flink擴展庫　110
5.5.7 Flink基礎(chǔ)編程模型　111
5.5.8 Flink作業(yè)執(zhí)行過程　112
5.5.9 Flink應(yīng)用場景　112
5.5.10 Flink和Spark Streaming的區(qū)別　113
5.6 實踐：Hadoop安裝與配置　114
5.6.1 Hadoop基礎(chǔ)環(huán)境配置　114
5.6.2 Hadoop配置　114
5.6.3 格式化文件系統(tǒng)　116
5.6.4 啟動和驗證Hadoop　116
5.6.5 Hadoop Web管理工具　116
習題　117
第6章 大數(shù)據(jù)技術(shù)　119
【本章知識結(jié)構(gòu)圖】　119
【本章學習目標】　120
6.1 大數(shù)據(jù)處理過程　120
6.2 大數(shù)據(jù)采集與預(yù)處理　120
6.2.1 大數(shù)據(jù)采集概述　121
6.2.2 數(shù)據(jù)采集　121
6.2.3 數(shù)據(jù)預(yù)處理　122
6.3 大數(shù)據(jù)存儲技術(shù)　123
6.3.1 HDFS　123
6.3.2 NoSQL數(shù)據(jù)庫　125
6.4 大數(shù)據(jù)計算技術(shù)　128
6.4.1 批處理計算　128
6.4.2 流計算　130
6.4.3 查詢分析計算　131
6.4.4 圖計算　133
6.5 數(shù)據(jù)挖掘與可視化分析　133
6.5.1 數(shù)據(jù)挖掘　133
6.5.2 可視化分析　134
6.6 實踐：某招聘網(wǎng)站信息抓取可視化分析　135
6.6.1 爬蟲概述　135
6.6.2 基本數(shù)據(jù)概述　136
6.6.3 模塊及庫文件　137
6.6.4 數(shù)據(jù)爬取　137
6.6.5 利用pyecharts進行數(shù)據(jù)可視化　142
習題　146
第7章 云計算與大數(shù)據(jù)應(yīng)用　148
【本章知識結(jié)構(gòu)圖】　148
【本章學習目標】　148
7.1 云計算與大數(shù)據(jù)在數(shù)字政府中的應(yīng)用　149
7.1.1 城市智能運行中心　149
7.1.2 社會治理　150
7.1.3 互聯(lián)網(wǎng)+監(jiān)管　152
7.2 云計算與大數(shù)據(jù)在工業(yè)領(lǐng)域中的應(yīng)用　153
7.2.1 工業(yè)互聯(lián)網(wǎng)　153
7.2.2 生產(chǎn)過程優(yōu)化　154
7.2.3 工業(yè)數(shù)字孿生　155
7.3 云計算與大數(shù)據(jù)在醫(yī)療健康中的應(yīng)用　157
7.3.1 數(shù)字化醫(yī)院　157
7.3.2 醫(yī)藥云　158
7.3.3 基因測序　160
7.4 云計算與大數(shù)據(jù)在教育行業(yè)中的應(yīng)用　161
7.4.1 智慧校園　161
7.4.2 科研云　163
7.4.3 智慧教學　164
7.5 云計算與大數(shù)據(jù)在金融領(lǐng)域中的應(yīng)用　165
7.5.1 互聯(lián)網(wǎng)銀行　166
7.5.2 證券智能營銷　167
7.5.3 保險　168
習題　169
第8章 綜合實踐：搭建云平臺并進行大數(shù)據(jù)處理分析　171
【本章知識結(jié)構(gòu)圖】　171
【本章學習目標】　172
8.1 案例介紹　172
8.2 搭建云平臺　172
8.2.1 OpenStack概述　172
8.2.2 OpenStack基礎(chǔ)環(huán)境　174
8.2.3 安裝和部署Keystone身份服務(wù)　178
8.2.4 安裝和部署Glance鏡像服務(wù)　180
8.2.5 安裝和部署Placement放置服務(wù)　182
8.2.6 安裝和部署Nova計算服務(wù)　183
8.2.7 安裝和部署Neutron網(wǎng)絡(luò)服務(wù)　186
8.2.8 安裝和部署Horizon儀表板　193
8.2.9 創(chuàng)建和操作虛擬機實例　195
8.3 搭建大數(shù)據(jù)平臺　196
8.3.1 數(shù)據(jù)倉庫　196
8.3.2 安裝Hive　197
8.3.3 安裝Spark　197
8.3.4 安裝Zeppelin　198
8.3.5 安裝Sqoop　198
8.3.6 安裝Flume　199
8.4 大數(shù)據(jù)采集與預(yù)處理　199
8.4.1 數(shù)據(jù)采集　199
8.4.2 數(shù)據(jù)預(yù)處理　200
8.5 大數(shù)據(jù)實時分析　200
8.5.1 訂單指標分析——訂單總數(shù)量　201
8.5.2 訂單指標分析——預(yù)約訂單/非預(yù)約訂單占比　201
8.5.3 訂單指標分析——不同時段訂單占比　202
8.5.4 訂單指標分析——不同地域訂單占比　202
8.5.5 訂單指標分析——不同年齡段/時段訂單占比　203
8.6 用戶行為可視化　204
習題　206
參考文獻　208