JavaScript物聯(lián)網架構與數(shù)據(jù)處理

目錄

本書贊譽

序一

序二

前言

第一篇　基礎篇

第1章　物聯(lián)網系統(tǒng)基礎  2

1.1　萬物互聯(lián)與互聯(lián)網進化論  3

1.2　物聯(lián)網的核心數(shù)據(jù)的流動  4

1.2.1　現(xiàn)代物聯(lián)網的對稱性  4

1.2.2　現(xiàn)代物聯(lián)網的IP化  4

1.3　端到端物聯(lián)網解決方案  5

1.3.1　JavaScript老樹新花  5

1.3.2　物聯(lián)網節(jié)點JavaScript開發(fā)  6

1.3.3　物聯(lián)網客戶端JavaScript開發(fā)  7

1.4　物聯(lián)網大數(shù)據(jù)的必然趨勢  9

1.5　物聯(lián)網機器學習的必然趨勢  11

1.6　本章小結  12

第2章　Node.js基礎  14

2.1　標準庫  14

2.1.1　簡單模塊定義和使用  15

2.1.2　標準庫API編程  16

2.1.3　標準庫console模塊  18

2.2　V8引擎  22

2.2.1　編譯執(zhí)行  23

2.2.2　垃圾回收  24

2.3　非阻塞式I/O  25

2.4　事件循環(huán)  27

2.5　包管理器NPM  30

2.5.1　包結構  31

2.5.2　包管理  33

2.6　Node.js開發(fā)環(huán)境  34

2.7　微服務架構  35

2.8　本章小結  37

第二篇　數(shù)據(jù)篇

第3章　基于JavaScript物聯(lián)網數(shù)據(jù)收集  40

3.1　嵌入式系統(tǒng)特點  40

3.1.1　高集成度  40

3.1.2　資源受限  41

3.1.3　長壽命  42

3.1.4　環(huán)境苛刻  42

3.2　實時數(shù)據(jù)收集  43

3.2.1　強實時任務  44

3.2.2　準實時任務  44

3.2.3　弱實時任務與最終實時任務  45

3.2.4　時延、抖動與吞吐量  46

3.3　Node.js物聯(lián)網節(jié)點開發(fā)  49

3.3.1　內存分配與優(yōu)化  50

3.3.2　延時測量與性能優(yōu)化  58

3.3.3　Node.js 跨語言調用  60

3.3.4　Node.js 物聯(lián)網通信協(xié)議開發(fā)  61

3.3.5　Node.js代碼遠程部署與更新  65

3.3.6　Node.js 服務發(fā)現(xiàn)  70

3.4　IoT.js物聯(lián)網節(jié)點開發(fā)  73

3.5　Espruino的物聯(lián)網節(jié)點開發(fā)  75

3.6　本章小結  76

第4章　基于JavaScript數(shù)據(jù)存儲與處理  77

4.1　大數(shù)據(jù)基礎  77

4.1.1　指數(shù)增長  77

4.1.2　水平擴展  79

4.1.3　MapReduce  80

4.1.4　高可用性  82

4.1.5　模式可復制  83

4.2　大數(shù)據(jù)實時處理  84

4.2.1　時間序列  84

4.2.2　Lambda架構  85

4.2.3　JavaScript物聯(lián)網實時數(shù)據(jù)處理  88

4.3　Kafka大數(shù)據(jù)消息總線  89

4.3.1　消息總線  90

4.3.2　Kafka集群  91

4.3.3　數(shù)據(jù)存儲  95

4.3.4　高可用性  98

4.3.5　連接器  98

4.3.6　JavaScript Kafka 數(shù)據(jù)收發(fā)  100

4.3.7　Kafka即服務  101

4.4　Spark大數(shù)據(jù)處理平臺  104

4.4.1　HDFS  105

4.4.2　RDD  107

4.4.3　變換與動作  108

4.4.4　DAG調度器  110

4.4.5　數(shù)據(jù)幀  111

4.4.6　流處理  113

4.4.7　EclairJS JavaScript大數(shù)據(jù)處理  113

4.5　ElasticSearch大數(shù)據(jù)索引平臺  116

4.5.1　JSON文檔  117

4.5.2　模板與映射  118

4.5.3　確切值與全文文本  120

4.5.4　Lucene引擎與倒排索引  121

4.5.5　分片與副本  122

4.5.6　RESTful接口的JavaScript編程  122

4.6　本章小結  125

第5章　基于JavaScript物聯(lián)網數(shù)據(jù)分析  126

5.1　人工智能與機器學習  126

5.1.1　監(jiān)督學習  128

5.1.2　強化學習  134

5.2　深度學習  138

5.2.1　多層感知器網絡  139

5.2.2　卷積神經網絡  145

5.2.3　遞歸神經網絡  149

5.2.4　大規(guī)模深度學習  152

5.3　深度學習物聯(lián)網數(shù)據(jù)分析  155

5.3.1　基于卷積神經網絡的物聯(lián)網視頻監(jiān)控物體識別  155

5.3.2　基于Q深度學習的物聯(lián)網掃地機器人  156

5.4　本章小結  158

第6章　基于JavaScript物聯(lián)網數(shù)據(jù)展示與交互  159

6.1　物聯(lián)網網頁應用開發(fā)  159

6.1.1　HTML  160

6.1.2　CSS  165

6.1.3　本地數(shù)據(jù)存儲  170

6.1.4　AJAX  171

6.1.5　WebSocket  174

6.1.6　多媒體  176

6.1.7　數(shù)據(jù)可視化  179

6.2　Angular.js網頁應用開發(fā)  186

6.2.1　單頁應用  187

6.2.2　MVC設計模式  189

6.2.3　雙向綁定  191

6.2.4　依賴注入  192

6.2.5　URL路由  193

6.3　Ionic移動應用開發(fā)  195

6.3.1　Cordova  196

6.3.2　UI組件  197

6.3.3　Ionic集成開發(fā)環(huán)境  199

6.3.4　物聯(lián)網單頁應用程序  201

6.4　本章小結  205

第7章　基于JavaScript物聯(lián)網數(shù)據(jù)安全  206

7.1　物聯(lián)網的安全挑戰(zhàn)  206

7.1.1　未來已經來臨  206

7.1.2　早期物聯(lián)網安全  207

7.1.3　現(xiàn)代物聯(lián)網安全  208

7.2　攻擊表面與安全防護  209

7.2.1　設備安全  210

7.2.2　網絡安全  211

7.2.3　數(shù)據(jù)安全  213

7.3　安全獵手與擊殺鏈  215

7.3.1　基于大數(shù)據(jù)的物聯(lián)網安全監(jiān)控系統(tǒng)設計  216

7.3.2　物聯(lián)網安全監(jiān)控系統(tǒng)擊殺實戰(zhàn)  219

7.4　JavaScript物聯(lián)網數(shù)據(jù)安全  221

7.4.1　JavaScript程序漏洞掃描  221

7.4.2　JavaScript網絡傳輸加密  222

7.4.3　JavaScript實現(xiàn)訪問控制  225

7.5　本章小結  227

第三篇　實戰(zhàn)篇

第8章　物聯(lián)網智能網關系統(tǒng)開發(fā)  230

8.1　物聯(lián)網智能網關  230

8.2　開源硬件OpenFPGAduino  231

8.2.1　開源硬件簡介  232

8.2.2　OpenFPGAduino硬件設計  234

8.2.3　OpenFPGAduino軟件設計  235

8.3　Node.js物聯(lián)網系統(tǒng)開發(fā)  236

8.3.1　Arduino.js網絡系統(tǒng)  237

8.3.2　Express HTTP服務  237

8.3.3　微服務架構  238

8.3.4　數(shù)據(jù)庫微服務  242

8.3.5　服務發(fā)現(xiàn)  244

8.3.6　物聯(lián)網協(xié)議轉換  246

8.3.7　硬件訪問  248

8.3.8　硬件仿真  252

8.3.9　Mocha集成測試  254

8.4　FPGA實時性系統(tǒng)開發(fā)  256

8.4.1　FPGA簡介  256

8.4.2　Qsys總線  257

8.4.3　內核空間驅動  259

8.4.4　用戶空間驅動  260

8.4.5　FPGA在線應用配置  261

8.5　本章小結  262

第9章　物聯(lián)網云管理與開發(fā)環(huán)境  264

9.1　云計算與云服務  264

9.1.1　虛擬化  265

9.1.2　容器化  266

9.2　物聯(lián)網云服務  272

9.3　基于HTML的嵌入式軟件開發(fā)環(huán)境  274

9.4　基于Blockly的云軟件開發(fā)環(huán)境  275

9.5　基于Docker與云存儲的云開發(fā)編譯部署環(huán)境  280

9.6　基于Yeelink云的物聯(lián)網遠程管理與控制  285

9.7　基于Plot.ly數(shù)據(jù)可視化云服務    288

9.8　基于聽云物聯(lián)網運維服務  289

9.9　本章小結  291

第10章　物聯(lián)網生物芯片實驗測試系統(tǒng)  292

10.1　生物芯片測試平臺  292

10.2　生物芯片測試平臺總體設計  294

10.3　平臺電源與機箱系統(tǒng)設計  296

10.4　控溫控濕度平臺系統(tǒng)設計  298

10.5　實驗試劑注射進樣系統(tǒng)設計  302

10.6　高精度三軸移動定位系統(tǒng)設計  304

10.7　顯微鏡圖像監(jiān)控系統(tǒng)設計  309

10.8　物聯(lián)網實驗自動化控制系統(tǒng)設計  309

10.9　本章小結  312

第11章　物聯(lián)網大數(shù)據(jù)分析系統(tǒng)  313

11.1　物聯(lián)網大數(shù)據(jù)平臺  313

11.1.1　物聯(lián)網絡三層架構  315

11.1.2　物聯(lián)網大數(shù)據(jù)信息處理平臺設計  316

11.2　物聯(lián)網數(shù)據(jù)匯聚  319

11.2.1　物聯(lián)網MQTT Kafka網橋  319

11.2.2　物聯(lián)網數(shù)據(jù)平面Kafka聚合網關管理  322

11.2.3　物聯(lián)網控制平面ZooKeeper節(jié)點管理  323

11.3　物聯(lián)網數(shù)據(jù)清洗  324

11.3.1　抽取變換加載  325

11.3.2　一致性檢查  326

11.3.3　重復數(shù)據(jù)去除  327

11.4　物聯(lián)網數(shù)據(jù)統(tǒng)計分析與機器學習  334

11.4.1　統(tǒng)計分析與機器學習  335

11.4.2　基于Spark批處理統(tǒng)計分析  335

11.4.3　基于Kappa架構實時統(tǒng)計分析  336

11.4.4　在線機器學習  338

11.4.5　基于RLS的異常檢測  339

11.5　物聯(lián)網日志異常檢測與監(jiān)控系統(tǒng)設計  341

11.5.1　物聯(lián)網日志分析  341

11.5.2　LogStash日志收集與解析  342

11.5.3　ElasticSearch日志存儲與索引  344

11.5.4　Kibana日志可視化  344

11.5.5　日志異常檢測與告警  346

11.6　物聯(lián)網數(shù)據(jù)安全日志機器學習系統(tǒng)設計  350

11.6.1　攻擊指紋DGA  351

11.6.2　DGA應用實例DNS隧道  353

11.6.3　自然語言處理   355

11.6.4　深度學習識別DGA  358

11.7　本章小結  364