云計(jì)算與大數(shù)據(jù)技術(shù)（微課版）

第 1章 云計(jì)算和大數(shù)據(jù)基礎(chǔ)　1
【本章知識(shí)結(jié)構(gòu)圖】　1
【本章學(xué)習(xí)目標(biāo)】　1
1.1 云計(jì)算概述　1
1.1.1 云計(jì)算發(fā)展歷程　2
1.1.2 云計(jì)算基本概念　3
1.1.3 云計(jì)算基本特征　4
1.1.4 云計(jì)算關(guān)鍵技術(shù)　4
1.2 大數(shù)據(jù)技術(shù)概述　8
1.2.1 大數(shù)據(jù)發(fā)展歷程　8
1.2.2 大數(shù)據(jù)基本概念　9
1.2.3 大數(shù)據(jù)基本特征　10
1.2.4 大數(shù)據(jù)關(guān)鍵技術(shù)　11
1.3 云計(jì)算、大數(shù)據(jù)與其他技術(shù)的關(guān)系　13
習(xí)題　14
第 2章 云計(jì)算架構(gòu)　16
【本章知識(shí)結(jié)構(gòu)圖】　16
【本章學(xué)習(xí)目標(biāo)】　17
2.1 云計(jì)算架構(gòu)概述　17
2.2 云計(jì)算架構(gòu)設(shè)計(jì)與部署　18
2.2.1 通用架構(gòu)設(shè)計(jì)與部署　18
2.2.2 高可用性架構(gòu)設(shè)計(jì)與部署　19
2.2.3 高性能架構(gòu)設(shè)計(jì)與部署　21
2.2.4 容災(zāi)架構(gòu)設(shè)計(jì)與部署　22
2.2.5 云安全架構(gòu)設(shè)計(jì)與部署　23
2.2.6 云桌面架構(gòu)設(shè)計(jì)與部署　26
2.3 云計(jì)算架構(gòu)優(yōu)化　27
2.3.1 云計(jì)算架構(gòu)優(yōu)化概念　27
2.3.2 云計(jì)算架構(gòu)優(yōu)化案例　27
2.4 幾種典型的云計(jì)算架構(gòu)　29
2.4.1 谷歌云計(jì)算架構(gòu)　30
2.4.2 阿里云計(jì)算架構(gòu)　30
2.4.3 騰訊云計(jì)算架構(gòu)　32
2.4.4 華為云計(jì)算架構(gòu)　33
2.5 實(shí)踐：騰訊云部署Web應(yīng)用　35
2.5.1 概述　35
2.5.2 基礎(chǔ)環(huán)境　36
2.5.3 實(shí)踐條件　36
2.5.4 實(shí)踐流程　36
習(xí)題　39
第3章 虛擬化技術(shù)　41
【本章知識(shí)結(jié)構(gòu)圖】　41
【本章學(xué)習(xí)目標(biāo)】　41
3.1 虛擬化概述　42
3.1.1 虛擬化發(fā)展歷程　42
3.1.2 虛擬化的幾個(gè)重要概念　42
3.1.3 虛擬化的主要特性　44
3.1.4 虛擬化常見的架構(gòu)類型　44
3.2 虛擬化的關(guān)鍵技術(shù)　47
3.2.1 CPU虛擬化　47
3.2.2 存儲(chǔ)虛擬化　49
3.2.3 網(wǎng)絡(luò)虛擬化　51
3.2.4 服務(wù)器虛擬化　54
3.2.5 虛擬桌面　54
3.2.6 應(yīng)用程序虛擬化　55
3.3 幾種典型的虛擬化軟件　56
3.3.1 KVM　57
3.3.2 Xen　57
3.3.3 VMware ESXi　58
3.3.4 Microsoft Hyper-V　58
3.4 實(shí)踐：輕量級(jí)虛擬化——Docker容器實(shí)戰(zhàn)　58
3.4.1 Docker簡(jiǎn)述　58
3.4.2 Docker案例　59
習(xí)題　61
第4章 云計(jì)算技術(shù)　64
【本章知識(shí)結(jié)構(gòu)圖】　64
【本章學(xué)習(xí)目標(biāo)】　65
4.1 云計(jì)算技術(shù)概述　65
4.2 分布式存儲(chǔ)技術(shù)　66
4.2.1 GFS　66
4.2.2 Swift　68
4.2.3 Ceph　71
4.2.4 Lustre　75
4.2.5 主流分布式存儲(chǔ)技術(shù)的比較　76
4.3 云計(jì)算網(wǎng)絡(luò)　76
4.3.1 數(shù)據(jù)中心網(wǎng)絡(luò)　77
4.3.2 軟件定義網(wǎng)絡(luò)　77
4.3.3 租戶網(wǎng)絡(luò)管理　81
4.4 云計(jì)算安全　82
4.4.1 云安全風(fēng)險(xiǎn)　82
4.4.2 云計(jì)算安全技術(shù)　82
4.5 云操作系統(tǒng)　85
4.5.1 云操作系統(tǒng)基本概念　85
4.5.2 云操作系統(tǒng)管理平臺(tái)功能　85
4.5.3 云操作系統(tǒng)資源調(diào)度　86
4.5.4 云操作系統(tǒng)實(shí)例　87
4.6 云開發(fā)　87
4.6.1 云開發(fā)與傳統(tǒng)開發(fā)　87
4.6.2 一站式后端Serverless服務(wù)　88
4.6.3 應(yīng)用場(chǎng)景　88
4.7 云計(jì)算運(yùn)維　89
4.8 實(shí)踐　89
4.8.1 使用OpenStack搭建云計(jì)算管理平臺(tái)　89
4.8.2 云開發(fā)實(shí)踐　91
習(xí)題　91
第5章 大數(shù)據(jù)技術(shù)架構(gòu)　93
【本章知識(shí)結(jié)構(gòu)圖】　93
【本章學(xué)習(xí)目標(biāo)】　94
5.1 大數(shù)據(jù)技術(shù)架構(gòu)概述　94
5.1.1 大數(shù)據(jù)技術(shù)參考模型　94
5.1.2 大數(shù)據(jù)技術(shù)處理平臺(tái)　95
5.2 大數(shù)據(jù)技術(shù)架構(gòu)設(shè)計(jì)　97
5.2.1 Lambda架構(gòu)　97
5.2.2 Kappa架構(gòu)　98
5.2.3 IOTA架構(gòu)　99
5.3 Hadoop生態(tài)架構(gòu)　101
5.3.1 Hadoop基本概念　101
5.3.2 Hadoop生態(tài)系統(tǒng)　101
5.3.3 Hadoop生態(tài)架構(gòu)特點(diǎn)　103
5.3.4 Hadoop生態(tài)架構(gòu)缺點(diǎn)　103
5.4 Spark生態(tài)架構(gòu)　103
5.4.1 Spark基本概念　103
5.4.2 Spark生態(tài)系統(tǒng)　104
5.4.3 Spark基本流程　105
5.4.4 Spark適用場(chǎng)景　106
5.4.5 Spark與Hadoop的區(qū)別　106
5.5 Flink生態(tài)架構(gòu)　106
5.5.1 Flink基本概念　106
5.5.2 Flink架構(gòu)體系　107
5.5.3 Flink架構(gòu)特性　108
5.5.4 流處理應(yīng)用的基本組件　108
5.5.5 Flink API　109
5.5.6 Flink擴(kuò)展庫　110
5.5.7 Flink基礎(chǔ)編程模型　111
5.5.8 Flink作業(yè)執(zhí)行過程　112
5.5.9 Flink應(yīng)用場(chǎng)景　112
5.5.10 Flink和Spark Streaming的區(qū)別　113
5.6 實(shí)踐：Hadoop安裝與配置　114
5.6.1 Hadoop基礎(chǔ)環(huán)境配置　114
5.6.2 Hadoop配置　114
5.6.3 格式化文件系統(tǒng)　116
5.6.4 啟動(dòng)和驗(yàn)證Hadoop　116
5.6.5 Hadoop Web管理工具　116
習(xí)題　117
第6章 大數(shù)據(jù)技術(shù)　119
【本章知識(shí)結(jié)構(gòu)圖】　119
【本章學(xué)習(xí)目標(biāo)】　120
6.1 大數(shù)據(jù)處理過程　120
6.2 大數(shù)據(jù)采集與預(yù)處理　120
6.2.1 大數(shù)據(jù)采集概述　121
6.2.2 數(shù)據(jù)采集　121
6.2.3 數(shù)據(jù)預(yù)處理　122
6.3 大數(shù)據(jù)存儲(chǔ)技術(shù)　123
6.3.1 HDFS　123
6.3.2 NoSQL數(shù)據(jù)庫　125
6.4 大數(shù)據(jù)計(jì)算技術(shù)　128
6.4.1 批處理計(jì)算　128
6.4.2 流計(jì)算　130
6.4.3 查詢分析計(jì)算　131
6.4.4 圖計(jì)算　133
6.5 數(shù)據(jù)挖掘與可視化分析　133
6.5.1 數(shù)據(jù)挖掘　133
6.5.2 可視化分析　134
6.6 實(shí)踐：某招聘網(wǎng)站信息抓取可視化分析　135
6.6.1 爬蟲概述　135
6.6.2 基本數(shù)據(jù)概述　136
6.6.3 模塊及庫文件　137
6.6.4 數(shù)據(jù)爬取　137
6.6.5 利用pyecharts進(jìn)行數(shù)據(jù)可視化　142
習(xí)題　146
第7章 云計(jì)算與大數(shù)據(jù)應(yīng)用　148
【本章知識(shí)結(jié)構(gòu)圖】　148
【本章學(xué)習(xí)目標(biāo)】　148
7.1 云計(jì)算與大數(shù)據(jù)在數(shù)字政府中的應(yīng)用　149
7.1.1 城市智能運(yùn)行中心　149
7.1.2 社會(huì)治理　150
7.1.3 互聯(lián)網(wǎng)+監(jiān)管　152
7.2 云計(jì)算與大數(shù)據(jù)在工業(yè)領(lǐng)域中的應(yīng)用　153
7.2.1 工業(yè)互聯(lián)網(wǎng)　153
7.2.2 生產(chǎn)過程優(yōu)化　154
7.2.3 工業(yè)數(shù)字孿生　155
7.3 云計(jì)算與大數(shù)據(jù)在醫(yī)療健康中的應(yīng)用　157
7.3.1 數(shù)字化醫(yī)院　157
7.3.2 醫(yī)藥云　158
7.3.3 基因測(cè)序　160
7.4 云計(jì)算與大數(shù)據(jù)在教育行業(yè)中的應(yīng)用　161
7.4.1 智慧校園　161
7.4.2 科研云　163
7.4.3 智慧教學(xué)　164
7.5 云計(jì)算與大數(shù)據(jù)在金融領(lǐng)域中的應(yīng)用　165
7.5.1 互聯(lián)網(wǎng)銀行　166
7.5.2 證券智能營銷　167
7.5.3 保險(xiǎn)　168
習(xí)題　169
第8章 綜合實(shí)踐：搭建云平臺(tái)并進(jìn)行大數(shù)據(jù)處理分析　171
【本章知識(shí)結(jié)構(gòu)圖】　171
【本章學(xué)習(xí)目標(biāo)】　172
8.1 案例介紹　172
8.2 搭建云平臺(tái)　172
8.2.1 OpenStack概述　172
8.2.2 OpenStack基礎(chǔ)環(huán)境　174
8.2.3 安裝和部署Keystone身份服務(wù)　178
8.2.4 安裝和部署Glance鏡像服務(wù)　180
8.2.5 安裝和部署Placement放置服務(wù)　182
8.2.6 安裝和部署Nova計(jì)算服務(wù)　183
8.2.7 安裝和部署Neutron網(wǎng)絡(luò)服務(wù)　186
8.2.8 安裝和部署Horizon儀表板　193
8.2.9 創(chuàng)建和操作虛擬機(jī)實(shí)例　195
8.3 搭建大數(shù)據(jù)平臺(tái)　196
8.3.1 數(shù)據(jù)倉庫　196
8.3.2 安裝Hive　197
8.3.3 安裝Spark　197
8.3.4 安裝Zeppelin　198
8.3.5 安裝Sqoop　198
8.3.6 安裝Flume　199
8.4 大數(shù)據(jù)采集與預(yù)處理　199
8.4.1 數(shù)據(jù)采集　199
8.4.2 數(shù)據(jù)預(yù)處理　200
8.5 大數(shù)據(jù)實(shí)時(shí)分析　200
8.5.1 訂單指標(biāo)分析——訂單總數(shù)量　201
8.5.2 訂單指標(biāo)分析——預(yù)約訂單/非預(yù)約訂單占比　201
8.5.3 訂單指標(biāo)分析——不同時(shí)段訂單占比　202
8.5.4 訂單指標(biāo)分析——不同地域訂單占比　202
8.5.5 訂單指標(biāo)分析——不同年齡段/時(shí)段訂單占比　203
8.6 用戶行為可視化　204
習(xí)題　206
參考文獻(xiàn)　208