Learning ELK Stack中文版

前言 XIII
1 EKL 技術棧介紹 1
日志分析的必要性 1
問題調試 2
性能分析 2
安全分析 2
預測分析 2
物聯(lián)網(wǎng)日志 3
日志分析的挑戰(zhàn) 3
不一致的日志格式 3
不同的時間格式 4
專業(yè)知識的需求 5
ELK 技術棧 5
Elasticsearch 5
Logstash 6
Kibana 6
ELK 數(shù)據(jù)管道 7
安裝 ELK 技術棧 8
安裝 Elasticsearch 8
運行 Elasticsearch 9
配置 Elasticsearch 10
Elasticsearch 插件 11
安裝 Logstash 11
運行 Logstash 12
Logstash 的文件輸入插件 13
Learning ELK stack（中文版）
【VIII】
Logstash 的 Elasticsearch 輸出插件 13
配置 Logstash 14
安裝 Logstash forworder 15
Logstash 插件 15
安裝 Kibana 17
配置 Kibana 18
運行 Kibana 18
Kibana 的界面 19
總結 22
2 構建第一條 ELK 數(shù)據(jù)管道 23
輸入的數(shù)據(jù)集 23
輸入數(shù)據(jù)集的數(shù)據(jù)格式 23
配置 Logstash 的輸入 25
過濾和處理輸入數(shù)據(jù) 26
將數(shù)據(jù)存儲到 Elasticsearch 29
使用 Kibana 可視化 32
運行 Kibana 32
Kibana 可視化組件 34
構建折線圖 35
構建柱狀圖 36
構建度量 37
構建數(shù)據(jù)表 38
總結 40
3 使用 Logstash 采集、解析和轉換數(shù)據(jù) 41
配置 Logstash 41
Logstash 插件 42
列出 Logstash 的所有插件 42
插件屬性的數(shù)據(jù)類型 43
Logstash 條件語句 44
Logstash 插件的類型 46
總結 72
目錄
【IX】
4 創(chuàng)建自定義 Logstash 插件 73
Logstash 插件管理 73
插件生命周期管理 74
安裝插件 74
更新插件 75
卸載插件 75
Logstash 插件的結構 76
需要的依賴 77
類定義 78
配置插件名字 78
配置選項設置 78
插件方法 79
實現(xiàn)一個 Logstash 過濾器插件 81
構建插件 83
總結 86
5 為什么需要 ELK 中的 Elasticsearch 87
為什么是 Elasticsearch 87
Elasticsearch 的基本概念 88
索引 88
文檔 88
字段 89
類型 89
映射 89
分片 89
主分片和副本分片 89
集群 90
節(jié)點 90
探索 Elasticsearch API 91
列出所有可用索引 92
列出集群中的所有節(jié)點 93
檢查集群的健康狀態(tài) 93
Learning ELK stack（中文版）
【X】
創(chuàng)建索引 94
檢索文檔 95
刪除文檔 96
Elasticsearch Query DSL 97
Elasticsearch 插件 104
Bigdesk 插件 104
Elastic-Hammer 插件 105
Head 插件 105
總結 106
6 使用 Kibana 理解數(shù)據(jù) 107
Kibana 4 的功能 107
搜索詞高亮顯示 107
Elasticsearch 聚合 108
衍生字段 108
動態(tài)儀表盤 108
Kibana 界面 109
搜索頁面 109
查詢和檢索數(shù)據(jù) 111
總結 116
7 Kibana 可視化和儀表盤 117
可視化頁面 117
創(chuàng)建可視化 118
可視化的類型 118
度量和桶聚合 119
可視化 124
儀表盤頁面 129
創(chuàng)建新的儀表盤 130
保存和加載儀表盤 131
分享儀表盤 131
總結 132
目錄
【XI】
8 構建完整的 ELK 技術棧 133
輸入數(shù)據(jù)集 133
配置 Logstash 輸入 134
訪問日志的 Grok 表達式 134
Kibana 可視化 137
運行 Kibana 137
在搜索頁進行搜索 139
可視化―圖表 141
創(chuàng)建折線圖 142
創(chuàng)建區(qū)域圖 143
創(chuàng)建柱狀圖 144
創(chuàng)建 Markdown 145
儀表盤頁面 146
總結 147
9 生產環(huán)境的 ELK 技術棧 149
防止數(shù)據(jù)丟失 149
數(shù)據(jù)保護 150
系統(tǒng)可擴展性 152
數(shù)據(jù)保留 153
ELK 技術棧實施案例 153
LinkedIn 的 ELK 技術棧 153
SCA 使用 ELK 的案例 156
SCA 如何使用 ELK 157
如何幫助分析 157
SCA 使用 ELK 做監(jiān)控 158
Cliffhanger Solutions 使用 ELK 的案例 158
Kibana 示例――Packetbeat 儀表盤 160
總結 163
10 擴展 ELK 165
Elasticsearch 插件和工具 165
Learning ELK stack（中文版）
【XII】
用于索引管理的 Curator 165
用于安全的 Shield 167
用于監(jiān)控的 Marvel 169
ELK 的路線圖 172
Elasticsearch 路線圖 172
Logstash 路線圖 172
Kibana 路線圖 173
總結 174