大數(shù)據(jù)搜索與挖掘及可視化管理方案（第4版）

目錄

第1章概述1
1.1Elasticsearch概述3
1.1.1Elasticsearch的安裝與簡(jiǎn)單配置4
1.1.2Elasticsearch API的使用方式7
1.2Logstash7
1.3Kibana8
1.4Beats8
1.5XPack9
1.6其他9
1.7擴(kuò)展知識(shí)與閱讀9
1.8本章小結(jié)10
第2章文檔索引及管理11
2.1文檔索引概述11
2.2head： Elasticsearch用于數(shù)據(jù)管理的工具之一13
2.3建立索引15
2.4通過(guò)映像配置索引20
2.4.1在索引中使用映像20
2.4.2管理/配置映像21
2.4.3獲取映像信息22
2.4.4刪除映像23
2.5管理索引文件24
2.5.1打開(kāi)、關(guān)閉、檢測(cè)、刪除索引文件24
2.5.2清空索引緩存25
2.5.3刷新索引文件25
2.5.4優(yōu)化索引文件26[1][2][1][3]2.5.5flush操作26
2.6設(shè)置中文分析器26
2.7對(duì)文檔的其他操作29
2.7.1獲取指定文檔的信息29
2.7.2刪除指定文檔的信息31
2.7.3更新指定文檔的信息31
2.7.4基于POST方式批量獲取文檔信息34
2.8實(shí)例36
2.9擴(kuò)展知識(shí)與閱讀40
2.10本章小結(jié)41
第3章信息檢索與聚合42
3.1實(shí)驗(yàn)數(shù)據(jù)集描述43
3.2基本檢索44
3.2.1檢索方式44
3.2.2query查詢(xún)45
3.2.3from/size查詢(xún)46
3.2.4檢索結(jié)果排序46
3.2.5高亮搜索詞49
3.2.6查詢(xún)模板50
3.3檢索進(jìn)階51
3.3.1全文檢索51
3.3.2詞項(xiàng)檢索55
3.3.3復(fù)合查詢(xún)58
3.3.4跨度查詢(xún)61
3.3.5特殊查詢(xún)64
3.3.6腳本65
3.4聚合68
3.4.1metric聚合69
3.4.2bucket聚合74
3.4.3pipeline聚合83
3.4.4matrix聚合87
3.5實(shí)例88
3.6擴(kuò)展知識(shí)與閱讀94
3.7本章小結(jié)95
第4章Elasticsearch API及其應(yīng)用96
4.1Elasticsearch節(jié)點(diǎn)實(shí)例化96
4.1.1在Java中初始化Elasticsearch96
4.1.2在Python中初始化Elasticsearch100
4.2索引數(shù)據(jù)101
4.2.1準(zhǔn)備JSON數(shù)據(jù)101
4.2.2為JSON數(shù)據(jù)生成索引103
4.3對(duì)索引文件的操作106
4.3.1獲取索引中的文檔數(shù)據(jù)106
4.3.2刪除索引文件中的文檔數(shù)據(jù)108
4.3.3更新索引文件中的文檔數(shù)據(jù)109
4.3.4對(duì)索引文件中的文檔進(jìn)行批量操作110
4.4信息檢索112
4.4.1概述113
4.4.2multiSearch114
4.4.3查詢(xún)模板115
4.4.4Query DSL概述117
4.4.5matchAllQuery117
4.4.6全文檢索118
4.4.7詞項(xiàng)檢索121
4.4.8復(fù)合查詢(xún)125
4.4.9跨度查詢(xún)127
4.4.10特殊查詢(xún)130
4.5聚合132
4.5.1Metric聚合132
4.5.2bucket聚合136
4.6對(duì)檢索結(jié)果的進(jìn)一步處理140
4.6.1控制每頁(yè)的顯示數(shù)量及排序依據(jù)140
4.6.2基于scroll分頁(yè)顯示檢索結(jié)果140
4.7Java High Level RESTful Client和Elasticsearch DSL142
4.7.1Java High Level RESTful Client142
4.7.2Elasticsearch DSL146
4.8實(shí)例148
4.8.1在Elasticsearch中建立索引148
4.8.2連接Elasticsearch149
4.8.3信息采集與索引構(gòu)建150
4.8.4搜索模塊152
4.8.5推薦模塊153
4.8.6聚合模塊154
4.9擴(kuò)展知識(shí)與閱讀155
4.10本章小結(jié)156
第5章Elasticsearch配置與集群管理157
5.1Elasticsearch的部分基本配置157
5.2索引文件和查詢(xún)優(yōu)化160
5.3監(jiān)控集群狀態(tài)161
5.4控制索引文件分片與副本分配163
5.5集群管理165
5.6擴(kuò)展知識(shí)與閱讀166
5.7本章小結(jié)167
第6章基于Logstash的日志處理168
6.1概述169
6.2input： 處理輸入的日志數(shù)據(jù)171
6.2.1處理基于file方式輸入的日志信息172
6.2.2處理基于generator產(chǎn)生的日志信息173
6.2.3基于Filebeat處理log4j的日志信息174
6.2.4處理基于redis的日志信息176
6.2.5處理基于TCP傳輸?shù)娜罩緮?shù)據(jù)179
6.2.6處理基于UDP傳輸?shù)娜罩緮?shù)據(jù)183
6.3codec： 格式化日志數(shù)據(jù)185
6.3.1json格式185
6.3.2rubydebug格式187
6.3.3plain格式187
6.4基于filter的日志處理與轉(zhuǎn)換188
6.4.1json filter189
6.4.2grok filter190
6.4.3kv filter192
6.5output： 輸出日志數(shù)據(jù)195
6.5.1將處理后的日志輸出到Elasticsearch中195
6.5.2將處理后的日志輸出到文件中197
6.5.3將處理后的日志輸出到csv文件中198
6.5.4將處理后的日志輸出到redis中199
6.5.5將處理后的日志通過(guò)UDP輸出201
6.5.6將處理后的日志通過(guò)TCP輸出202
6.5.7將日志信息發(fā)送至Email206
6.6擴(kuò)展知識(shí)與閱讀208
6.7本章小結(jié)209
第7章基于Kibana的數(shù)據(jù)分析及可視化210
7.1Kibana概述211
7.2安裝Kibana211
7.3使用Management組件管理配置212
7.3.1創(chuàng)建索引模式213
7.3.2高級(jí)設(shè)置214
7.3.3管理已保存的檢索、可視化和儀表板218
7.4使用Discover組件執(zhí)行查詢(xún)219
7.4.1設(shè)置時(shí)間選擇器219
7.4.2在索引模式中執(zhí)行搜索220
7.4.3字段過(guò)濾221
7.4.4查看文檔數(shù)據(jù)222
7.5使用Visualize組件創(chuàng)建統(tǒng)計(jì)圖表224
7.6使用Dashboard組件創(chuàng)建動(dòng)態(tài)儀表板226
7.6.1創(chuàng)建新的動(dòng)態(tài)儀表板227
7.6.2打開(kāi)已保存的動(dòng)態(tài)儀表板228
7.6.3分享動(dòng)態(tài)儀表板228
7.7使用Timelion組件創(chuàng)建時(shí)間線229
7.8使用Dev Tools執(zhí)行命令行231
7.8.1在Console中執(zhí)行命令231
7.8.2Console快捷鍵233
7.8.3Console設(shè)置234
7.9網(wǎng)站性能監(jiān)控可視化應(yīng)用實(shí)例234
7.9.1概述234
7.9.2使用Visualize實(shí)現(xiàn)可視化234
7.9.3使用Dashboard整合可視化結(jié)果238
7.10擴(kuò)展知識(shí)與閱讀239
7.11本章小結(jié)240
第8章基于XPack的系統(tǒng)運(yùn)行監(jiān)控241
8.1XPack概述241
8.2安裝XPack242
8.3Security插件與安全性243
8.3.1身份驗(yàn)證機(jī)制與用戶管理243
8.3.2匿名訪問(wèn)246
8.3.3基于域的用戶認(rèn)證247
8.3.4基于角色的訪問(wèn)權(quán)限配置248
8.3.5IP地址過(guò)濾251
8.3.6帶有身份認(rèn)證的TransportClient253
8.3.7帶有身份認(rèn)證的RESTful命令256
8.4使用Monitoring監(jiān)控系統(tǒng)運(yùn)行狀態(tài)256
8.4.1系統(tǒng)運(yùn)行狀態(tài)監(jiān)控256
8.4.2配置Monitoring260
8.4.3搭建獨(dú)立的Monitoring集群262
8.5Alerting插件與異常事件警報(bào)263
8.5.1通過(guò)RESTful方式設(shè)置監(jiān)視器264
8.5.2通過(guò)Java程序設(shè)置監(jiān)視器267
8.5.3使用Watcher UI管理監(jiān)視器269
8.6Reporting與報(bào)告生成270
8.6.1在程序中生成報(bào)告270
8.6.2通過(guò)監(jiān)視器自動(dòng)生成報(bào)告271
8.7使用Graph探索數(shù)據(jù)關(guān)聯(lián)273
8.8使用Machine Learning發(fā)現(xiàn)數(shù)據(jù)趨勢(shì)異常275
8.9使用Search Profiler分析搜索查詢(xún)277
8.10使用Grok Debugger調(diào)試grok表達(dá)式279
8.11擴(kuò)展知識(shí)與閱讀280
8.12本章小結(jié)280
第9章基于Beats的數(shù)據(jù)解析傳輸281
9.1基于packetbeat的網(wǎng)絡(luò)數(shù)據(jù)包傳輸282
9.1.1概述282
9.1.2安裝282
9.1.3配置283
9.1.4加載索引模板285
9.1.5啟動(dòng)和關(guān)閉286
9.1.6使用Kibana進(jìn)行可視化展示287
9.2基于Filebeat的日志傳輸288
9.2.1概述288
9.2.2安裝和配置288
9.2.3啟動(dòng)和關(guān)閉291
9.2.4使用Kibana進(jìn)行展示291
9.3基于metricbeat的系統(tǒng)指標(biāo)數(shù)據(jù)傳輸292
9.3.1概述292
9.3.2安裝和配置293
9.3.3啟動(dòng)和關(guān)閉294
9.3.4使用Kibana進(jìn)行展示295
9.4基于winlogbeat的Windows事件日志數(shù)據(jù)傳輸296
9.4.1概述296
9.4.2安裝297
9.4.3配置298
9.4.4啟動(dòng)和關(guān)閉301
9.4.5使用Kibana進(jìn)行展示302
9.5基于auditbeat的用戶和進(jìn)程活動(dòng)審計(jì)304
9.5.1概述304
9.5.2安裝和配置304
9.5.3啟動(dòng)和關(guān)閉305
9.5.4使用Kibana進(jìn)行展示306
9.6基于heartbeat的服務(wù)狀態(tài)檢測(cè)308
9.6.1概述308
9.6.2安裝和配置308
9.6.3啟動(dòng)和關(guān)閉311
9.6.4使用Kibana進(jìn)行展示311
9.7擴(kuò)展知識(shí)與閱讀313
9.8本章小結(jié)313
第10章信息檢索與分析實(shí)例（一）314
10.1基于Elasticsearch的行業(yè)信息存儲(chǔ)314
10.1.1環(huán)境準(zhǔn)備314
10.1.2數(shù)據(jù)準(zhǔn)備315
10.2基于Spring Boot的信息檢索及Web端設(shè)計(jì)317
10.2.1創(chuàng)建和配置工程317
10.2.2Web頁(yè)面設(shè)計(jì)319
10.3基于Logstash的日志處理327
10.3.1配置Spring Boot輸出日志327
10.3.2在Logstash中進(jìn)行相關(guān)配置329
10.4基于Kibana的日志分析結(jié)果可視化330
10.4.1訪問(wèn)量走勢(shì)分析331
10.4.2查詢(xún)參數(shù)比率分析333
10.4.3故障案例可視化334
10.4.4將圖表集成到儀表板中335
10.5擴(kuò)展知識(shí)與閱讀336
10.6本章小結(jié)337
第11章信息檢索與分析實(shí)例（二）338
11.1面向動(dòng)態(tài)網(wǎng)站的信息采集339
11.1.1軟件準(zhǔn)備339
11.1.2瀏覽器驅(qū)動(dòng)程序339
11.1.3創(chuàng)建索引和映像340
11.1.4導(dǎo)入依賴(lài)341
11.1.5數(shù)據(jù)采集342
11.2基于Spring MVC的信息檢索及Web程序設(shè)計(jì)348
11.2.1創(chuàng)建和配置Spring MVC項(xiàng)目348
11.2.2前端頁(yè)面設(shè)計(jì)351
11.2.3后端控制器類(lèi)356
11.3基于Logstash的日志處理360
11.4基于Beats的數(shù)據(jù)傳輸361
11.5基于Kibana的數(shù)據(jù)可視化362
11.5.1可視化索引文件中的信息363
11.5.2對(duì)Logstash、Beats的可視化展示364
11.6基于XPack的系統(tǒng)監(jiān)控366
11.7擴(kuò)展知識(shí)與閱讀369
11.8本章小結(jié)369
參考文獻(xiàn)370