云計算與大數(shù)據(jù)技術應用

目 錄
前言
第1章 云計算概述1
1.1 什么是云計算1
1.1.1 云計算的定義1
1.1.2 云計算的概念模型2
1.1.3 云計算的特點3
1.2 云計算技術發(fā)展背景3
1.3 典型的云計算基礎架構7
1.4 云計算的主要服務模式9
1.4.1 基礎設施即服務IaaS9
1.4.2 平臺即服務PaaS10
1.4.3 軟件即服務SaaS11
1.4.4 三種服務模式之間的關系12
1.5 云計算的主要部署模式13
1.6 云計算是商業(yè)模式的創(chuàng)新14
1.7 典型的云計算產(chǎn)品15
1.7.1 Amazon的AWS15
1.7.2 Windows Azure Platform16
1.7.3 IBM藍云解決方案17
1.7.4 阿里云18
1.8 云計算技術的新發(fā)展20
1.9 我國的云計算產(chǎn)業(yè)現(xiàn)狀23
1.9.1 政府推動云計算產(chǎn)業(yè)發(fā)展23
1.9.2 我國云計算產(chǎn)業(yè)高速發(fā)展24
習題25
第2章 大數(shù)據(jù)技術概述26
2.1 大數(shù)據(jù)技術的產(chǎn)生26
2.1.1 大數(shù)據(jù)的基本概念26
2.1.2 大數(shù)據(jù)產(chǎn)生的原因26
2.1.3 大數(shù)據(jù)概念的提出28
2.1.4 第四范式——大數(shù)據(jù)對科學研究產(chǎn)生的影響30
2.1.5 云計算與大數(shù)據(jù)的關系31
2.2 大數(shù)據(jù)的4V特征31
2.3 大數(shù)據(jù)的主要應用及行業(yè)推動力量32
2.3.1 大數(shù)據(jù)的主要應用32
2.3.2 企業(yè)推動大數(shù)據(jù)行業(yè)發(fā)展32
2.3.3 我國政府推動大數(shù)據(jù)行業(yè)發(fā)展33
2.4 大數(shù)據(jù)的關鍵技術34
2.5 典型的大數(shù)據(jù)計算架構35
習題35
第3章 虛擬化技術36
3.1 虛擬化技術簡介36
3.1.1 虛擬化技術的概念36
3.1.2 虛擬化技術的分類38
3.1.3 虛擬化技術的優(yōu)勢和劣勢42
3.1.4 虛擬化技術與云計算43
3.2 虛擬化技術原理43
3.2.1 虛擬機技術原理43
3.2.2 CPU虛擬化原理44
3.2.3 內(nèi)存虛擬化原理46
3.2.4 網(wǎng)絡虛擬化原理47
3.3 常見的虛擬化技術解決方案47
3.3.1 OpenStack47
3.3.2 KVM48
3.3.3 Hyper-V49
3.3.4 VMware49
3.3.5 Xen50
3.3.6 Docker51
3.4 常見虛擬化技術的應用實踐52
3.4.1 虛擬化環(huán)境的搭建53
3.4.2 克隆虛擬機54
3.4.3 虛擬機做快照56
習題59
第4章 數(shù)據(jù)中心60
4.1 數(shù)據(jù)中心的概念60
4.1.1 數(shù)據(jù)中心的定義、作用及分類60
4.1.2 數(shù)據(jù)中心的發(fā)展歷程61
4.1.3 數(shù)據(jù)中心的組成及建設原則65
4.1.4 云計算、大數(shù)據(jù)時代的數(shù)據(jù)中心發(fā)展趨勢66
4.2 數(shù)據(jù)中心的基本單元——服務器66
4.3 數(shù)據(jù)中心選址69
4.4 數(shù)據(jù)中心的能耗69
4.4.1 數(shù)據(jù)中心能耗評估70
4.4.2 數(shù)據(jù)中心的主要節(jié)能措施71
習題72
第5章 并行計算與集群技術73
5.1 并行計算概述73
5.1.1 并行計算的概念73
5.1.2 并行計算的層次75
5.1.3 并行計算機的發(fā)展75
5.1.4 并行計算與分布式計算77
5.1.5 并行計算與云計算78
5.2 云計算基礎架構——集群技術79
5.2.1 集群的基本概念79
5.2.2 集群系統(tǒng)的分類80
5.2.3 集群文件系統(tǒng)80
5.3 并行計算的分類81
5.3.1 按Flynn分類81
5.3.2 按應用的計算特征分類82
5.3.3 按結構模型分類83
5.4 并行計算相關技術84
5.4.1 并行計算的關鍵技術84
5.4.2 并行計算的性能估算86
5.5 并行程序設計——MPI編程87
5.5.1 MPI簡介87
5.5.2 一個簡單的MPI程序實現(xiàn)88
5.5.3 MPI消息90
5.5.4 MPI的消息傳遞過程90
5.5.5 MPI常用基本函數(shù)91
5.5.6 有消息傳遞的并行程序91
習題93
第6章 云存儲技術94
6.1 云存儲概述94
6.1.1 云存儲的概念94
6.1.2 云存儲系統(tǒng)的結構95
6.1.3 云存儲的實現(xiàn)基礎96
6.1.4 云存儲的特性98
6.2 云存儲與云計算99
6.3 云存儲的應用100
6.3.1 個人級云存儲的應用100
6.3.2 企業(yè)級云存儲的應用100
6.4 云存儲發(fā)展的關注點101
習題102
第7章　OpenStack——功能強大的IaaS平臺103
7.1 OpenStack架構103
7.2 計算服務模塊Nova104
7.3 網(wǎng)絡服務模塊Neutron107
7.3.1 Neutron的主要組件107
7.3.2 Neutron網(wǎng)絡109
7.4 塊存儲服務模塊Cinder110
7.5 對象存儲服務模塊Swift111
7.6 身份認證模塊Keystone115
7.7 鏡像模塊Glance119
7.8 儀表盤服務模塊Horizon121
7.9 監(jiān)控計量服務模塊Ceilometer122
習題123
第8章 Hadoop——分布式大數(shù)據(jù)開發(fā)平臺124
8.1 Hadoop簡介124
8.1.1 Hadoop與分布式開發(fā)技術124
8.1.2 Hadoop的體系架構125
8.1.3 Hadoop集群的架構127
8.2 分布式文件系統(tǒng)HDFS129
8.2.1 分布式文件系統(tǒng)概述129
8.2.2 HDFS的架構及讀寫流程131
8.3 分布式計算框架MapReduce133
8.3.1 MapReduce編程模型133
8.3.2 MapReduce數(shù)據(jù)流135
8.3.3 MapReduce任務運行流程136
8.4 列式數(shù)據(jù)庫HBase138
8.4.1 HBase列數(shù)據(jù)庫介紹139
8.4.2 理解HBase的表結構139
8.5 搭建Hadoop開發(fā)環(huán)境142
8.5.1 相關準備工作143
8.5.2 JDK的安裝配置143
8.5.3 下載、解壓Hadoop并配置Hadoop環(huán)境變量144
8.5.4 修改Hadoop配置文件145
8.5.5 將配置好的Hadoop文件復制到其他結點并格式化146
8.5.6 啟動、停止Hadoop146
8.5.7 運行測試程序WordCount147
習題148
第9章 Spark—基于內(nèi)存的大數(shù)據(jù)計算框架149
9.1 Spark概述149
9.2 Spark的運行機制150
9.3 Spark的運行模式152
9.3.1 Stan