物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實(shí)踐（第2版）

第1篇 緣起與發(fā)展趨勢篇
第1章 物聯(lián)網(wǎng)與產(chǎn)業(yè)發(fā)展 3
1.1 物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展 3
1.1.1 傳感器與智能硬件 4
1.1.2 物聯(lián)網(wǎng)服務(wù)平臺(tái) 5
1.1.3 工業(yè)4.0與CPS 6
1.2 物聯(lián)網(wǎng)與大數(shù)據(jù) 7
1.3 物聯(lián)網(wǎng)產(chǎn)業(yè)的挑戰(zhàn)與機(jī)遇 9
1.3.1 物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn) 9
1.3.2 物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫 10
1.3.3 物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用 11
第2章 大數(shù)據(jù)處理技術(shù)的發(fā)展 12
2.1 大數(shù)據(jù)存儲(chǔ)和管理技術(shù) 12
2.1.1 面向大數(shù)據(jù)的文件系統(tǒng) 13
2.1.2 面向大數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng) 15
2.2 大數(shù)據(jù)計(jì)算技術(shù) 18
2.2.1 批處理計(jì)算模式 19
2.2.2 交互式查詢計(jì)算模式 20
2.2.3 流處理計(jì)算模式 21
2.2.4 大數(shù)據(jù)實(shí)時(shí)處理架構(gòu)：Lambda及Kappa 23
2.3 大數(shù)據(jù)分析技術(shù) 25
2.3.1 傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)分析 26
2.3.2 文本數(shù)據(jù)分析 26
2.3.3 多媒體數(shù)據(jù)分析 27
2.3.4 社交網(wǎng)絡(luò)數(shù)據(jù)分析 27
2.3.5 物聯(lián)網(wǎng)傳感數(shù)據(jù)分析 28
2.3.6 大數(shù)據(jù)分析技術(shù)的發(fā)展趨勢 28
第2篇 技術(shù)解析篇
第3章 物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系 31
3.1 物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn) 31
3.1.1 互聯(lián)網(wǎng)大數(shù)據(jù)的特征 31
3.1.2 物聯(lián)網(wǎng)大數(shù)據(jù)的特征 34
3.2 技術(shù)體系 37
3.2.1 感知數(shù)據(jù)采集與傳輸 37
3.2.2 感知數(shù)據(jù)管理與實(shí)時(shí)計(jì)算 41
3.2.3 物聯(lián)網(wǎng)平臺(tái)與大數(shù)據(jù)中心 42
第4章 感知數(shù)據(jù)特性與模型 43
4.1 感知數(shù)據(jù)的特性分析 43
4.1.1 常用的感知數(shù)據(jù)類型 43
4.1.2 感知數(shù)據(jù)的主要特征 45
4.2 感知數(shù)據(jù)的表示與組織 48
4.2.1 物聯(lián)網(wǎng)數(shù)據(jù)模型 48
4.2.2 時(shí)態(tài)對(duì)象模型 49
4.3 感知數(shù)據(jù)庫的定位與特征 51
4.3.1 感知數(shù)據(jù)庫的定位 51
4.3.2 感知數(shù)據(jù)庫的特征 51
4.4 感知數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫 52
4.4.1 感知數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫 52
4.4.2 感知數(shù)據(jù)庫與實(shí)時(shí)數(shù)據(jù)庫 53
4.4.3 感知數(shù)據(jù)庫與工廠歷史數(shù)據(jù)庫 53
4.4.4 感知數(shù)據(jù)庫與流數(shù)據(jù)處理系統(tǒng) 54
第5章 感知數(shù)據(jù)庫系統(tǒng) 55
5.1 感知數(shù)據(jù)庫的總體設(shè)計(jì) 55
5.1.1 總體設(shè)計(jì)的主要原則 55
5.1.2 感知數(shù)據(jù)庫的設(shè)計(jì)框架 56
5.2 感知數(shù)據(jù)庫的分布部署體系 60
5.2.1 系統(tǒng)的集群部署模式 60
5.2.2 多層級(jí)的系統(tǒng)部署體系 62
5.2.3 服務(wù)分布部署體系 64
5.3 感知數(shù)據(jù)庫中的關(guān)鍵技術(shù) 65
5.3.1 智能設(shè)備及傳感器接口技術(shù) 65
5.3.2 流數(shù)據(jù)實(shí)時(shí)在線處理技術(shù) 66
5.3.3 事件驅(qū)動(dòng)的高效處理機(jī)制 67
5.3.4 感知數(shù)據(jù)的壓縮存儲(chǔ)技術(shù) 72
第6章 實(shí)時(shí)事務(wù)調(diào)度處理技術(shù) 77
6.1 常見事務(wù)特性分析 77
6.1.1 感知事務(wù) 78
6.1.2 觸發(fā)事務(wù) 78
6.1.3 用戶事務(wù) 79
6.2 事務(wù)調(diào)度與并發(fā)控制 79
6.2.1 事務(wù)的調(diào)度方法 79
6.2.2 并發(fā)控制策略 80
6.3 服務(wù)器與操作系統(tǒng) 81
6.3.1 服務(wù)器體系結(jié)構(gòu)與發(fā)展 81
6.3.2 操作系統(tǒng)的多任務(wù)機(jī)制 84
6.4 事務(wù)的執(zhí)行框架與模式 87
6.4.1 通用系統(tǒng)模型與調(diào)度方法 88
6.4.2 事務(wù)調(diào)度處理框架的設(shè)計(jì)模式 88
6.5 系統(tǒng)框架的分析與性能優(yōu)化 91
第7章 物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理 94
7.1 云文件系統(tǒng)的關(guān)鍵技術(shù) 96
7.1.1 HDFS的目標(biāo)和基本假設(shè)條件 96
7.1.2 HDFS體系結(jié)構(gòu) 97
7.1.3 性能保障 99
7.2 NoSQL數(shù)據(jù)庫關(guān)鍵技術(shù) 103
7.2.1 NoSQL數(shù)據(jù)庫概述 103
7.2.2 基于NoSQL數(shù)據(jù)庫的物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理 115
第8章 物聯(lián)網(wǎng)大數(shù)據(jù)計(jì)算與分析 120
8.1 物聯(lián)網(wǎng)大數(shù)據(jù)批處理計(jì)算 120
8.1.1 MapReduce的設(shè)計(jì)思想 121
8.1.2 MapReduce的工作機(jī)制 123
8.1.3 MapReduce在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用 125
8.2 物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢 127
8.2.1 原生SQL on HBase 127
8.2.2 SQL on Hadoop 129
8.2.3 基于HBase的交互式查詢 130
8.3 物聯(lián)網(wǎng)大數(shù)據(jù)流計(jì)算 131
8.3.1 流計(jì)算的需求特點(diǎn) 131
8.3.2 流數(shù)據(jù)基本概念 132
8.3.3 流數(shù)據(jù)查詢操作 137
8.3.4 流數(shù)據(jù)定制化服務(wù) 138
8.3.5 評(píng)測基準(zhǔn) 141
8.3.6 Spark Streaming及其在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用 142
8.4 物聯(lián)網(wǎng)大數(shù)據(jù)分析 146
8.4.1 物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析 146
8.4.2 物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析 152
第3篇 產(chǎn)品研發(fā)篇
第9章 物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne 169
9.1 工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān) 169
9.1.1 CubeOne產(chǎn)品概述 169
9.1.2 CubeOne的功能特點(diǎn) 170
9.1.3 CubeOne的應(yīng)用領(lǐng)域 172
9.2 無線傳感器網(wǎng)絡(luò)網(wǎng)關(guān) 172
9.2.1 無線傳感器網(wǎng)絡(luò)概述 172
9.2.2 ZigBee-WiFi網(wǎng)關(guān) 174
9.2.3 ZigBee網(wǎng)絡(luò)應(yīng)用案例 176
第10章 ChinDB感知數(shù)據(jù)庫系統(tǒng) 179
10.1 ChinDB系統(tǒng)概述 179
10.2 ChinDB系統(tǒng)組成與功能特點(diǎn) 180
10.3 ChinDB系統(tǒng)的數(shù)據(jù)組織管理 182
10.3.1 標(biāo)簽點(diǎn)及其屬性 182
10.3.2 標(biāo)簽點(diǎn)的組織方式 183
10.3.3 關(guān)系數(shù)據(jù)管理 184
10.3.4 歷史數(shù)據(jù)管理 184
10.4 ECA規(guī)則與實(shí)時(shí)計(jì)算 185
10.5 ChinDB的高可用方案 186
10.5.1 高可用概述及模式分類 186
10.5.2 ChinDB高可用的部署模式 187
10.6 物聯(lián)網(wǎng)應(yīng)用平臺(tái) 189
10.6.1 物聯(lián)網(wǎng)應(yīng)用平臺(tái)概述 189
10.6.2 物聯(lián)網(wǎng)應(yīng)用平臺(tái)主要特點(diǎn) 190
10.6.3 應(yīng)用案例 191
第11章 DeCloud物聯(lián)網(wǎng)大數(shù)據(jù)云平臺(tái) 196
11.1 DeCloud組成 196
11.1.1 軟件概述 196
11.1.2 通信服務(wù) 198
11.1.3 計(jì)算服務(wù) 200
11.1.4 大規(guī)模NoSQL存儲(chǔ)服務(wù) 201
11.1.5 數(shù)據(jù)發(fā)布/訂閱服務(wù) 202
11.2 DeCloud在智能交通領(lǐng)域的應(yīng)用 203
11.3 DeCloud在教育物聯(lián)網(wǎng)云服務(wù)平臺(tái)中的應(yīng)用 207
11.4 DeCloud在電廠設(shè)備故障預(yù)警中的應(yīng)用 209
11.5 DeCloud在電梯安全監(jiān)控中的應(yīng)用 212
11.6 DeCloud在高精度位置服務(wù)中的應(yīng)用 215
第4篇 編程實(shí)踐篇
第12章 基于Kafka進(jìn)行物聯(lián)網(wǎng)大數(shù)據(jù)實(shí)時(shí)采集的編程實(shí)踐 221
12.1 相關(guān)準(zhǔn)備知識(shí) 221
12.1.1 分布式消息隊(duì)列Kafka回顧 221
12.1.2 Kafka生產(chǎn)者消息發(fā)送的實(shí)現(xiàn) 225
12.1.3 Kafka消費(fèi)者消息接收的實(shí)現(xiàn) 226
12.2 模擬物聯(lián)網(wǎng)大數(shù)據(jù)采集和接收的實(shí)驗(yàn)設(shè)計(jì) 228
12.2.1 物聯(lián)網(wǎng)大數(shù)據(jù)的采集 228
12.2.2 物聯(lián)網(wǎng)大數(shù)據(jù)的接收 229
12.3 實(shí)驗(yàn)環(huán)境搭建 229
12.3.1 VMware注意事項(xiàng) 230
12.3.2 安裝虛擬機(jī) 232
12.3.3 復(fù)制虛擬機(jī) 234
12.3.4 修改配置文件 234
12.3.5 關(guān)閉防火墻及生成公鑰 236
12.3.6 時(shí)鐘同步 236
12.3.7 JDK安裝 236
12.3.8 ZooKeeper安裝 237
12.3.9 Kafka安裝 239
12.3.10 Kafka安裝驗(yàn)證 241
12.4 實(shí)驗(yàn)步驟 241
12.4.1 基于Java模擬物聯(lián)網(wǎng)大數(shù)據(jù)的采集與接收 241
12.4.2 基于Python模擬物聯(lián)網(wǎng)大數(shù)據(jù)的采集與接收 247
第13章 基于Kafka Connect進(jìn)行物聯(lián)網(wǎng)大數(shù)據(jù)采集的編程實(shí)踐 252
13.1 Kafka Connect介紹 252
13.2 Kafka Connector的開發(fā) 253
13.2.1 Kafka SourceConnector實(shí)現(xiàn) 253
13.2.2 Kafka SinkConnector實(shí)現(xiàn) 264
13.3 實(shí)驗(yàn)步驟 267
13.3.1 Kafka Connector的打包與部署 267
13.3.2 Kafka Connect的獨(dú)立模式應(yīng)用 268
13.3.3 Kafka Connect的分布式模式應(yīng)用 269
13.3.4 使用Kafka Connect接收數(shù)據(jù)并存入文件 272
第14章 基于Flink進(jìn)行物聯(lián)網(wǎng)大數(shù)據(jù)實(shí)時(shí)處理的編程實(shí)踐 275
14.1 相關(guān)準(zhǔn)備知識(shí) 275
14.1.1 流數(shù)據(jù)處理的基本術(shù)語 275
14.1.2 流數(shù)據(jù)處理工具Flink概述 278
14.1.3 復(fù)合事件流處理工具Flink CEP概述 296
14.2 物聯(lián)網(wǎng)大數(shù)據(jù)處理實(shí)驗(yàn)設(shè)計(jì) 300
14.2.1 實(shí)驗(yàn)?zāi)康?300
14.2.2 實(shí)驗(yàn)設(shè)計(jì)思路 302
14.3 實(shí)驗(yàn)環(huán)境搭建 303
14.3.1 部署Flink集群 303
14.3.2 創(chuàng)建項(xiàng)目 305
14.4 實(shí)驗(yàn)步驟 307
14.4.1 自定義事件類 307
14.4.2 自定義輸入映射算子 308
14.4.3 自定義去重過濾算子 309
14.4.4 自定義窗口處理算子 311
14.4.5 配置運(yùn)行環(huán)境及并行度 311
14.4.6 編寫Flink流數(shù)據(jù)處理程序 312
14.4.7 基于Flink CEP編寫復(fù)合事件處理程序 313
14.4.8 編寫Kafka生產(chǎn)者客戶端程序 316
14.4.9 打包到集群中運(yùn)行程序 317
總結(jié)與展望 321