云計算與大數(shù)據(jù)技術（微課版）

第 1章 云計算和大數(shù)據(jù)基礎　1
【本章知識結構圖】　1
【本章學習目標】　1
1.1 云計算概述　1
1.1.1 云計算發(fā)展歷程　2
1.1.2 云計算基本概念　3
1.1.3 云計算基本特征　4
1.1.4 云計算關鍵技術　4
1.2 大數(shù)據(jù)技術概述　8
1.2.1 大數(shù)據(jù)發(fā)展歷程　8
1.2.2 大數(shù)據(jù)基本概念　9
1.2.3 大數(shù)據(jù)基本特征　10
1.2.4 大數(shù)據(jù)關鍵技術　11
1.3 云計算、大數(shù)據(jù)與其他技術的關系　13
習題　14
第 2章 云計算架構　16
【本章知識結構圖】　16
【本章學習目標】　17
2.1 云計算架構概述　17
2.2 云計算架構設計與部署　18
2.2.1 通用架構設計與部署　18
2.2.2 高可用性架構設計與部署　19
2.2.3 高性能架構設計與部署　21
2.2.4 容災架構設計與部署　22
2.2.5 云安全架構設計與部署　23
2.2.6 云桌面架構設計與部署　26
2.3 云計算架構優(yōu)化　27
2.3.1 云計算架構優(yōu)化概念　27
2.3.2 云計算架構優(yōu)化案例　27
2.4 幾種典型的云計算架構　29
2.4.1 谷歌云計算架構　30
2.4.2 阿里云計算架構　30
2.4.3 騰訊云計算架構　32
2.4.4 華為云計算架構　33
2.5 實踐：騰訊云部署Web應用　35
2.5.1 概述　35
2.5.2 基礎環(huán)境　36
2.5.3 實踐條件　36
2.5.4 實踐流程　36
習題　39
第3章 虛擬化技術　41
【本章知識結構圖】　41
【本章學習目標】　41
3.1 虛擬化概述　42
3.1.1 虛擬化發(fā)展歷程　42
3.1.2 虛擬化的幾個重要概念　42
3.1.3 虛擬化的主要特性　44
3.1.4 虛擬化常見的架構類型　44
3.2 虛擬化的關鍵技術　47
3.2.1 CPU虛擬化　47
3.2.2 存儲虛擬化　49
3.2.3 網(wǎng)絡虛擬化　51
3.2.4 服務器虛擬化　54
3.2.5 虛擬桌面　54
3.2.6 應用程序虛擬化　55
3.3 幾種典型的虛擬化軟件　56
3.3.1 KVM　57
3.3.2 Xen　57
3.3.3 VMware ESXi　58
3.3.4 Microsoft Hyper-V　58
3.4 實踐：輕量級虛擬化——Docker容器實戰(zhàn)　58
3.4.1 Docker簡述　58
3.4.2 Docker案例　59
習題　61
第4章 云計算技術　64
【本章知識結構圖】　64
【本章學習目標】　65
4.1 云計算技術概述　65
4.2 分布式存儲技術　66
4.2.1 GFS　66
4.2.2 Swift　68
4.2.3 Ceph　71
4.2.4 Lustre　75
4.2.5 主流分布式存儲技術的比較　76
4.3 云計算網(wǎng)絡　76
4.3.1 數(shù)據(jù)中心網(wǎng)絡　77
4.3.2 軟件定義網(wǎng)絡　77
4.3.3 租戶網(wǎng)絡管理　81
4.4 云計算安全　82
4.4.1 云安全風險　82
4.4.2 云計算安全技術　82
4.5 云操作系統(tǒng)　85
4.5.1 云操作系統(tǒng)基本概念　85
4.5.2 云操作系統(tǒng)管理平臺功能　85
4.5.3 云操作系統(tǒng)資源調度　86
4.5.4 云操作系統(tǒng)實例　87
4.6 云開發(fā)　87
4.6.1 云開發(fā)與傳統(tǒng)開發(fā)　87
4.6.2 一站式后端Serverless服務　88
4.6.3 應用場景　88
4.7 云計算運維　89
4.8 實踐　89
4.8.1 使用OpenStack搭建云計算管理平臺　89
4.8.2 云開發(fā)實踐　91
習題　91
第5章 大數(shù)據(jù)技術架構　93
【本章知識結構圖】　93
【本章學習目標】　94
5.1 大數(shù)據(jù)技術架構概述　94
5.1.1 大數(shù)據(jù)技術參考模型　94
5.1.2 大數(shù)據(jù)技術處理平臺　95
5.2 大數(shù)據(jù)技術架構設計　97
5.2.1 Lambda架構　97
5.2.2 Kappa架構　98
5.2.3 IOTA架構　99
5.3 Hadoop生態(tài)架構　101
5.3.1 Hadoop基本概念　101
5.3.2 Hadoop生態(tài)系統(tǒng)　101
5.3.3 Hadoop生態(tài)架構特點　103
5.3.4 Hadoop生態(tài)架構缺點　103
5.4 Spark生態(tài)架構　103
5.4.1 Spark基本概念　103
5.4.2 Spark生態(tài)系統(tǒng)　104
5.4.3 Spark基本流程　105
5.4.4 Spark適用場景　106
5.4.5 Spark與Hadoop的區(qū)別　106
5.5 Flink生態(tài)架構　106
5.5.1 Flink基本概念　106
5.5.2 Flink架構體系　107
5.5.3 Flink架構特性　108
5.5.4 流處理應用的基本組件　108
5.5.5 Flink API　109
5.5.6 Flink擴展庫　110
5.5.7 Flink基礎編程模型　111
5.5.8 Flink作業(yè)執(zhí)行過程　112
5.5.9 Flink應用場景　112
5.5.10 Flink和Spark Streaming的區(qū)別　113
5.6 實踐：Hadoop安裝與配置　114
5.6.1 Hadoop基礎環(huán)境配置　114
5.6.2 Hadoop配置　114
5.6.3 格式化文件系統(tǒng)　116
5.6.4 啟動和驗證Hadoop　116
5.6.5 Hadoop Web管理工具　116
習題　117
第6章 大數(shù)據(jù)技術　119
【本章知識結構圖】　119
【本章學習目標】　120
6.1 大數(shù)據(jù)處理過程　120
6.2 大數(shù)據(jù)采集與預處理　120
6.2.1 大數(shù)據(jù)采集概述　121
6.2.2 數(shù)據(jù)采集　121
6.2.3 數(shù)據(jù)預處理　122
6.3 大數(shù)據(jù)存儲技術　123
6.3.1 HDFS　123
6.3.2 NoSQL數(shù)據(jù)庫　125
6.4 大數(shù)據(jù)計算技術　128
6.4.1 批處理計算　128
6.4.2 流計算　130
6.4.3 查詢分析計算　131
6.4.4 圖計算　133
6.5 數(shù)據(jù)挖掘與可視化分析　133
6.5.1 數(shù)據(jù)挖掘　133
6.5.2 可視化分析　134
6.6 實踐：某招聘網(wǎng)站信息抓取可視化分析　135
6.6.1 爬蟲概述　135
6.6.2 基本數(shù)據(jù)概述　136
6.6.3 模塊及庫文件　137
6.6.4 數(shù)據(jù)爬取　137
6.6.5 利用pyecharts進行數(shù)據(jù)可視化　142
習題　146
第7章 云計算與大數(shù)據(jù)應用　148
【本章知識結構圖】　148
【本章學習目標】　148
7.1 云計算與大數(shù)據(jù)在數(shù)字政府中的應用　149
7.1.1 城市智能運行中心　149
7.1.2 社會治理　150
7.1.3 互聯(lián)網(wǎng)+監(jiān)管　152
7.2 云計算與大數(shù)據(jù)在工業(yè)領域中的應用　153
7.2.1 工業(yè)互聯(lián)網(wǎng)　153
7.2.2 生產(chǎn)過程優(yōu)化　154
7.2.3 工業(yè)數(shù)字孿生　155
7.3 云計算與大數(shù)據(jù)在醫(yī)療健康中的應用　157
7.3.1 數(shù)字化醫(yī)院　157
7.3.2 醫(yī)藥云　158
7.3.3 基因測序　160
7.4 云計算與大數(shù)據(jù)在教育行業(yè)中的應用　161
7.4.1 智慧校園　161
7.4.2 科研云　163
7.4.3 智慧教學　164
7.5 云計算與大數(shù)據(jù)在金融領域中的應用　165
7.5.1 互聯(lián)網(wǎng)銀行　166
7.5.2 證券智能營銷　167
7.5.3 保險　168
習題　169
第8章 綜合實踐：搭建云平臺并進行大數(shù)據(jù)處理分析　171
【本章知識結構圖】　171
【本章學習目標】　172
8.1 案例介紹　172
8.2 搭建云平臺　172
8.2.1 OpenStack概述　172
8.2.2 OpenStack基礎環(huán)境　174
8.2.3 安裝和部署Keystone身份服務　178
8.2.4 安裝和部署Glance鏡像服務　180
8.2.5 安裝和部署Placement放置服務　182
8.2.6 安裝和部署Nova計算服務　183
8.2.7 安裝和部署Neutron網(wǎng)絡服務　186
8.2.8 安裝和部署Horizon儀表板　193
8.2.9 創(chuàng)建和操作虛擬機實例　195
8.3 搭建大數(shù)據(jù)平臺　196
8.3.1 數(shù)據(jù)倉庫　196
8.3.2 安裝Hive　197
8.3.3 安裝Spark　197
8.3.4 安裝Zeppelin　198
8.3.5 安裝Sqoop　198
8.3.6 安裝Flume　199
8.4 大數(shù)據(jù)采集與預處理　199
8.4.1 數(shù)據(jù)采集　199
8.4.2 數(shù)據(jù)預處理　200
8.5 大數(shù)據(jù)實時分析　200
8.5.1 訂單指標分析——訂單總數(shù)量　201
8.5.2 訂單指標分析——預約訂單/非預約訂單占比　201
8.5.3 訂單指標分析——不同時段訂單占比　202
8.5.4 訂單指標分析——不同地域訂單占比　202
8.5.5 訂單指標分析——不同年齡段/時段訂單占比　203
8.6 用戶行為可視化　204
習題　206
參考文獻　208