Learning ELK Stack中文版

前言 XIII
1 EKL 技術(shù)棧介紹 1
日志分析的必要性 1
問題調(diào)試 2
性能分析 2
安全分析 2
預(yù)測分析 2
物聯(lián)網(wǎng)日志 3
日志分析的挑戰(zhàn) 3
不一致的日志格式 3
不同的時(shí)間格式 4
專業(yè)知識(shí)的需求 5
ELK 技術(shù)棧 5
Elasticsearch 5
Logstash 6
Kibana 6
ELK 數(shù)據(jù)管道 7
安裝 ELK 技術(shù)棧 8
安裝 Elasticsearch 8
運(yùn)行 Elasticsearch 9
配置 Elasticsearch 10
Elasticsearch 插件 11
安裝 Logstash 11
運(yùn)行 Logstash 12
Logstash 的文件輸入插件 13
Learning ELK stack（中文版）
【VIII】
Logstash 的 Elasticsearch 輸出插件 13
配置 Logstash 14
安裝 Logstash forworder 15
Logstash 插件 15
安裝 Kibana 17
配置 Kibana 18
運(yùn)行 Kibana 18
Kibana 的界面 19
總結(jié) 22
2 構(gòu)建第一條 ELK 數(shù)據(jù)管道 23
輸入的數(shù)據(jù)集 23
輸入數(shù)據(jù)集的數(shù)據(jù)格式 23
配置 Logstash 的輸入 25
過濾和處理輸入數(shù)據(jù) 26
將數(shù)據(jù)存儲(chǔ)到 Elasticsearch 29
使用 Kibana 可視化 32
運(yùn)行 Kibana 32
Kibana 可視化組件 34
構(gòu)建折線圖 35
構(gòu)建柱狀圖 36
構(gòu)建度量 37
構(gòu)建數(shù)據(jù)表 38
總結(jié) 40
3 使用 Logstash 采集、解析和轉(zhuǎn)換數(shù)據(jù) 41
配置 Logstash 41
Logstash 插件 42
列出 Logstash 的所有插件 42
插件屬性的數(shù)據(jù)類型 43
Logstash 條件語句 44
Logstash 插件的類型 46
總結(jié) 72
目錄
【IX】
4 創(chuàng)建自定義 Logstash 插件 73
Logstash 插件管理 73
插件生命周期管理 74
安裝插件 74
更新插件 75
卸載插件 75
Logstash 插件的結(jié)構(gòu) 76
需要的依賴 77
類定義 78
配置插件名字 78
配置選項(xiàng)設(shè)置 78
插件方法 79
實(shí)現(xiàn)一個(gè) Logstash 過濾器插件 81
構(gòu)建插件 83
總結(jié) 86
5 為什么需要 ELK 中的 Elasticsearch 87
為什么是 Elasticsearch 87
Elasticsearch 的基本概念 88
索引 88
文檔 88
字段 89
類型 89
映射 89
分片 89
主分片和副本分片 89
集群 90
節(jié)點(diǎn) 90
探索 Elasticsearch API 91
列出所有可用索引 92
列出集群中的所有節(jié)點(diǎn) 93
檢查集群的健康狀態(tài) 93
Learning ELK stack（中文版）
【X】
創(chuàng)建索引 94
檢索文檔 95
刪除文檔 96
Elasticsearch Query DSL 97
Elasticsearch 插件 104
Bigdesk 插件 104
Elastic-Hammer 插件 105
Head 插件 105
總結(jié) 106
6 使用 Kibana 理解數(shù)據(jù) 107
Kibana 4 的功能 107
搜索詞高亮顯示 107
Elasticsearch 聚合 108
衍生字段 108
動(dòng)態(tài)儀表盤 108
Kibana 界面 109
搜索頁面 109
查詢和檢索數(shù)據(jù) 111
總結(jié) 116
7 Kibana 可視化和儀表盤 117
可視化頁面 117
創(chuàng)建可視化 118
可視化的類型 118
度量和桶聚合 119
可視化 124
儀表盤頁面 129
創(chuàng)建新的儀表盤 130
保存和加載儀表盤 131
分享儀表盤 131
總結(jié) 132
目錄
【XI】
8 構(gòu)建完整的 ELK 技術(shù)棧 133
輸入數(shù)據(jù)集 133
配置 Logstash 輸入 134
訪問日志的 Grok 表達(dá)式 134
Kibana 可視化 137
運(yùn)行 Kibana 137
在搜索頁進(jìn)行搜索 139
可視化―圖表 141
創(chuàng)建折線圖 142
創(chuàng)建區(qū)域圖 143
創(chuàng)建柱狀圖 144
創(chuàng)建 Markdown 145
儀表盤頁面 146
總結(jié) 147
9 生產(chǎn)環(huán)境的 ELK 技術(shù)棧 149
防止數(shù)據(jù)丟失 149
數(shù)據(jù)保護(hù) 150
系統(tǒng)可擴(kuò)展性 152
數(shù)據(jù)保留 153
ELK 技術(shù)棧實(shí)施案例 153
LinkedIn 的 ELK 技術(shù)棧 153
SCA 使用 ELK 的案例 156
SCA 如何使用 ELK 157
如何幫助分析 157
SCA 使用 ELK 做監(jiān)控 158
Cliffhanger Solutions 使用 ELK 的案例 158
Kibana 示例――Packetbeat 儀表盤 160
總結(jié) 163
10 擴(kuò)展 ELK 165
Elasticsearch 插件和工具 165
Learning ELK stack（中文版）
【XII】
用于索引管理的 Curator 165
用于安全的 Shield 167
用于監(jiān)控的 Marvel 169
ELK 的路線圖 172
Elasticsearch 路線圖 172
Logstash 路線圖 172
Kibana 路線圖 173
總結(jié) 174