大數(shù)據(jù)平臺(tái)異常檢測(cè)分析系統(tǒng)的若干關(guān)鍵技術(shù)研究

第1章 緒論 1
1．1 大數(shù)據(jù)平臺(tái)異常檢測(cè)分析研究的背景與意義 1
1．2 大數(shù)據(jù)平臺(tái)異常檢測(cè)分析技術(shù)的國(guó)內(nèi)外相關(guān)研究進(jìn)展 3
1．2．1 大數(shù)據(jù)平臺(tái)異常檢測(cè)分析技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀 3
1．2．2 大數(shù)據(jù)平臺(tái)異常檢測(cè)分析系統(tǒng)的國(guó)內(nèi)外研究現(xiàn)狀 5
1．3 本書的主要貢獻(xiàn) 7
1．4 本書的組織結(jié)構(gòu) 8
1．5 本章小結(jié) 11
第2章 大數(shù)據(jù)平臺(tái)異常檢測(cè)分析的相關(guān)基礎(chǔ) 12
2．1 引言 12
2．2 日志 12
2．3 日志預(yù)處理 13
2．4 異常檢測(cè) 14
2．4．1 異常檢測(cè)的定義 14
2．4．2 幾類常見的異常檢測(cè)算法 14
2．5 入侵檢測(cè)Snort系統(tǒng) 16
2．6 Web用戶行為模式挖掘 17
2．7 本章小結(jié) 19
第3章 基于數(shù)據(jù)流二重概念漂移檢測(cè)的增量學(xué)習(xí) 20
3．1 引言 20
3．2 二重概念漂移檢測(cè)機(jī)制 20
3．3 基于數(shù)據(jù)屬性的二重概念漂移檢測(cè)機(jī)制 21
3．4 基于分類性能的二重概念漂移檢測(cè)機(jī)制 22
3．5 基于增量SVM與二重檢測(cè)的概念漂移數(shù)據(jù)流分類模型TDD-ISVM 23
3．6 TDD-ISVM算法的時(shí)間復(fù)雜度分析 25
3．7 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 26
3．7．1 實(shí)驗(yàn)數(shù)據(jù)集 26
3．7．2 實(shí)驗(yàn)結(jié)果與分析 26
3．8 本章小結(jié) 29
第4章 分布式日志的最大頻繁序列模式挖掘算法 31
4．1 引言 31
4．2 序列模式挖掘相關(guān)工作 32
4．3 動(dòng)機(jī)與背景 33
4．3．1 使用分布式計(jì)算框架的動(dòng)機(jī)與背景 33
4．3．2 使用PrefixSpan算法挖掘序列模式的動(dòng)機(jī)與背景 34
4．3．3 改進(jìn)PrefixSpan算法提取局部最大頻繁序列的動(dòng)機(jī)與背景 34
4．3．4 改進(jìn)PrefixSpan算法提取全局最大頻繁序列的動(dòng)機(jī)與背景 35
4．4 分布式日志最大頻繁序列模式挖掘算法描述 35
4．4．1 基于Spark的分布式計(jì)算框架 35
4．4．2 算法總體描述 36
4．4．3 算法第一階段：各節(jié)點(diǎn)提取局部最大頻繁序列 37
4．4．4 算法第二階段：各節(jié)點(diǎn)集成，提取全局最大頻繁序列 37
4．5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 38
4．5．1 實(shí)驗(yàn)數(shù)據(jù)集 38
4．5．2 實(shí)驗(yàn)結(jié)果與分析 38
4．6 本章小結(jié) 41
第5章 基于最大頻繁模式的動(dòng)態(tài)規(guī)則庫(kù)構(gòu)建算法 42
5．1 引言 42
5．2 動(dòng)態(tài)Web用戶訪問序列數(shù)據(jù)庫(kù)DWASD的構(gòu)建 43
5．3 基于DWASD的分布式PrefixSpan算法 44
5．3．1 PrefixSpan算法改進(jìn)描述 44
5．3．2 算法的時(shí)間復(fù)雜度分析 46
5．4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 46
5．4．1 實(shí)驗(yàn)數(shù)據(jù)集 46
5．4．2 實(shí)驗(yàn)結(jié)果與分析 46
5．5 本章小結(jié) 48
第6章 基于Web會(huì)話流的分布式實(shí)時(shí)異常定位算法 49
6．1 引言 49
6．2 基于Web會(huì)話流的實(shí)時(shí)異常定位框架 50
6．3 基于混合生物基因序列比對(duì)的異常定位AL_HBGSA算法 50
6．3．1 基本概念 51
6．3．2 AL_HBGSA序列比對(duì)算法 51
6．3．3 AL_HBGSA算法的時(shí)間復(fù)雜度分析 54
6．4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 54
6．4．1 實(shí)驗(yàn)數(shù)據(jù)集 54
6．4．2 實(shí)驗(yàn)結(jié)果與分析 55
6．5 本章小結(jié) 59
第7章 基于最大信息系數(shù)的在線異常檢測(cè)算法 60
7．1 引言 60
7．2 相關(guān)基礎(chǔ) 60
7．2．1 用戶活躍度 60
7．2．2 最大信息系數(shù) 61
7．3 基于最大信息系數(shù)的在線異常檢測(cè)算法介紹 62
7．4 算法的時(shí)間復(fù)雜度分析 64
7．5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 64
7．5．1 實(shí)驗(yàn)數(shù)據(jù)集 64
7．5．2 實(shí)驗(yàn)結(jié)果與分析 65
7．6 本章小結(jié) 68
第8章 基于聚類分析的離線異常檢測(cè)算法 69
8．1 引言 69
8．2 基本聚類算法 69
8．2．1 K-means聚類算法 69
8．2．2 Canopy聚類算法 70
8．2．3 CMBK聚類算法 71
8．3 基于改進(jìn)聚類分析的離線異常檢測(cè)算法 72
8．3．1 異常指數(shù) 72
8．3．2 CMBK4AD離線異常檢測(cè)算法 73
8．4 算法的時(shí)間復(fù)雜度分析 73
8．5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 73
8．5．1 實(shí)驗(yàn)數(shù)據(jù)集 74
8．5．2 實(shí)驗(yàn)結(jié)果與分析 74
8．6 本章小結(jié) 76
第9章 基于相鄰請(qǐng)求的動(dòng)態(tài)時(shí)間閾值會(huì)話識(shí)別算法 77
9．1 引言 77
9．2 相關(guān)基礎(chǔ) 78
9．2．1 頁(yè)面訪問時(shí)間閾值 78
9．2．2 用戶訪問時(shí)間閾值 78
9．2．3 設(shè)置頁(yè)面時(shí)間閾值 79
9．3 DAITS算法 79
9．4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 81
9．4．1 實(shí)驗(yàn)數(shù)據(jù)集 81
9．4．2 實(shí)驗(yàn)結(jié)果與分析 81
9．5 本章小結(jié) 82
第10章 基于會(huì)話特征相似性模糊聚類的SFAD異常檢測(cè)算法 83
10．1 引言 83
10．2 基本工作 85
10．2．1 會(huì)話特征中網(wǎng)絡(luò)權(quán)重的計(jì)算 85
10．2．2 會(huì)話特征相似性的計(jì)算 85
10．2．3 會(huì)話數(shù)據(jù)集的模糊聚類方法 86
10．3 會(huì)話特征相似性模糊聚類的異常檢測(cè)算法 87
10．3．1 會(huì)話的數(shù)據(jù)結(jié)構(gòu)及生成 87
10．3．2 建立用戶相似性矩陣 88
10．3．3 檢測(cè)和定位異常用戶 88
10．4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 89
10．4．1 數(shù)據(jù)集描述 89
10．4．2 實(shí)驗(yàn)結(jié)果與分析 90
10．5 本章小結(jié) 93
第11章 基于貝葉斯粒子群的異常檢測(cè)算法 94
11．1 引言 94
11．2 基于樸素貝葉斯分類的異常檢測(cè)模型ADM-NBC 95
11．2．1 用戶會(huì)話特征提取 95
11．2．2 ADM-NBC的構(gòu)建 96
11．3 基于ADM-NBC的WNB-PSO算法 97
11．3．1 加權(quán)樸素貝葉斯分類算法 97
11．3．2 粒子群優(yōu)化算法 97
11．3．3 改進(jìn)的粒子群優(yōu)化算法 99
11．3．4 WNB-PSO算法描述 99
11．4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 101
11．4．1 實(shí)驗(yàn)數(shù)據(jù)集 101
11．4．2 實(shí)驗(yàn)結(jié)果與分析 101
11．5 本章小結(jié) 104
第12章 平臺(tái)異常時(shí)的推測(cè)式任務(wù)調(diào)度策略 105
12．1 引言 105
12．2 多用戶作業(yè)調(diào)度器 105
12．2．1 公平調(diào)度器 105
12．2．2 計(jì)算能力調(diào)度器 107
12．3 推測(cè)執(zhí)行調(diào)度算法 109
12．3．1 Hadoop-Original推測(cè)執(zhí)行調(diào)度算法 110
12．3．2 LATE推測(cè)執(zhí)行調(diào)度算法 110
12．3．3 基于備份任務(wù)完成時(shí)間的推測(cè)執(zhí)行調(diào)度策略 111
12．3．4 Mantri系統(tǒng)推測(cè)執(zhí)行調(diào)度策略 112
12．4 本章小結(jié) 112
第13章 基于實(shí)時(shí)負(fù)載的推測(cè)式任務(wù)調(diào)度算法 113
13．1 引言 113
13．1．1 Hadoop-Original推測(cè)式任務(wù)調(diào)度算法的不足 113
13．1．2 LATE推測(cè)式任務(wù)調(diào)度算法的不足 113
13．2 推測(cè)式任務(wù)調(diào)度算法改進(jìn) 114
13．2．1 基于混合進(jìn)度比的任務(wù)進(jìn)度估算方法 114
13．2．2 慢任務(wù)判定方法 115
13．2．3 慢節(jié)點(diǎn)判定方法 116
13．3 節(jié)點(diǎn)負(fù)載分級(jí)模型 117
13．4 基于實(shí)時(shí)負(fù)載的推測(cè)式任務(wù)調(diào)度算法流程 119
13．5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 120
13．5．1 實(shí)驗(yàn)平臺(tái)及部署 120
13．5．2 測(cè)試作業(yè)選擇及評(píng)估方式 121
13．5．3 實(shí)驗(yàn)方案 122
13．5．4 實(shí)驗(yàn)結(jié)果與分析 122
13．6 本章小結(jié) 126
第14章 大數(shù)據(jù)Lambda架構(gòu)與微服務(wù)架構(gòu)技術(shù)選型 127
14．1 引言 127
14．2 大數(shù)據(jù)技術(shù)Lambda架構(gòu) 127
14．2．1 Hadoop技術(shù)基礎(chǔ) 127
14．2．2 Spark技術(shù)生態(tài)體系 129
14．2．3 基于Flume+Kafka的大數(shù)據(jù)收集組件 130
14．2．4 基于Spark的大數(shù)據(jù)處理組件 131
14．2．5 基于HBase的大數(shù)據(jù)存儲(chǔ)與管理組件 131
14．2．6 基于MLlib的大數(shù)據(jù)分析及挖掘組件 131
14．2．7 基于Spark Streaming的大數(shù)據(jù)流處理組件 132
14．3 微服務(wù)架構(gòu)的有關(guān)組件技術(shù)選型 132
14．3．1 微服務(wù)架構(gòu) 132
14．3．2 Spring Boot 133
14．3．3 MyBatis 133
14．3．4 Spring Cloud 134
14．4 本章小結(jié) 135
第15章 大數(shù)據(jù)平臺(tái)異常檢測(cè)分析系統(tǒng)的結(jié)構(gòu)化分析 136
15．1 引言 136
15．2 問題與場(chǎng)景描述 136
15．3 初步需求分析 137
15．4 系統(tǒng)數(shù)據(jù)流 137
15．4．1 頂層數(shù)據(jù)流 137
15．4．2 第一層數(shù)據(jù)流 138
15．4．3 第二層數(shù)據(jù)流 138
15．4．4 第三層數(shù)據(jù)流 139
15．5 功能需求 139
15．6 非功能需求 140
15．7 本章小結(jié) 140
第16章 基于融合架構(gòu)的RADA系統(tǒng)概要設(shè)計(jì) 141
16．1 引言 141
16．1．1 RADA系統(tǒng)邏輯架構(gòu)的初步構(gòu)建 141
16．1．2 RADA系統(tǒng)物理架構(gòu)的初步構(gòu)建 141
16．2 RADA系統(tǒng)邏輯架構(gòu)設(shè)計(jì) 142
16．2．1 基于微服務(wù)架構(gòu)的RADA系統(tǒng)邏輯架構(gòu)設(shè)計(jì) 143
16．2．2 基于Lambda架構(gòu)的RADA系統(tǒng)邏輯架構(gòu)設(shè)計(jì) 143
16．2．3 基于微服務(wù)架構(gòu)和Lambda架構(gòu)的RADA系統(tǒng)技術(shù)架構(gòu)設(shè)計(jì) 143
16．3 運(yùn)行部署環(huán)境 144
16．3．1 系統(tǒng)運(yùn)行網(wǎng)絡(luò)環(huán)境 144
16．3．2 系統(tǒng)運(yùn)行硬件環(huán)境 145
16．3．3 系統(tǒng)運(yùn)行軟件環(huán)境 145
16．4 日志預(yù)處理子系統(tǒng)概要設(shè)計(jì) 145
16．4．1 上傳離線日志 146
16．4．2 處理離線日志 147
16．4．3 獲取實(shí)時(shí)日志 148
16．4．4 處理實(shí)時(shí)日志 148
16．4．5 日志規(guī)范化 149
16．4．6 處理規(guī)范化日志 150
16．4．7 添加日志模板 151
16．4．8 處理日志模板 152
16．5 監(jiān)控告警子系統(tǒng)概要設(shè)計(jì) 153
16．5．1 設(shè)置告警方式 154
16．5．2 離線異常檢測(cè) 154
16．5．3 實(shí)時(shí)異常檢測(cè) 156
16．5．4 查詢異常信息 156
16．5．5 更新規(guī)則庫(kù) 156
16．6 數(shù)據(jù)庫(kù)設(shè)計(jì) 158
16．6．1 數(shù)據(jù)庫(kù)實(shí)體關(guān)系分析 158
16．6．2 數(shù)據(jù)字典 159
16．7 本章小結(jié) 162
第17章 RADA系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)方法 163
17．1 引言 163
17．2 RADA系統(tǒng)架構(gòu)的實(shí)現(xiàn)機(jī)制 163
17．2．1 RADA系統(tǒng)中微服務(wù)架構(gòu)的實(shí)現(xiàn) 163
17．2．2 RADA系統(tǒng)中Lambda架構(gòu)的實(shí)現(xiàn) 164
17．3 日志預(yù)處理的詳細(xì)設(shè)計(jì) 164
17．3．1 控制層設(shè)計(jì) 164
17．3．2 服務(wù)層設(shè)計(jì) 166
17．3．3 持久化層設(shè)計(jì) 168
17．4 監(jiān)控告警模塊的詳細(xì)設(shè)計(jì) 169
17．4．1 控制層設(shè)計(jì) 169
17．4．2 服務(wù)層設(shè)計(jì) 170
17．4．3 持久層設(shè)計(jì) 171
17．5 核心用例的實(shí)現(xiàn) 172
17．5．1 上傳離線日志 172
17．5．2 離線日志規(guī)范化處理 173
17．5．3 離線異常檢測(cè) 174
17．5．4 獲取實(shí)時(shí)日志 177
17．5．5 實(shí)時(shí)日志規(guī)范化處理 178
17．5．6 實(shí)時(shí)異常檢測(cè) 178
17．6 本章小結(jié) 179
第18章 總結(jié)與展望 180
18．1 總結(jié) 180
18．2 展望 181
附錄A 182
參考文獻(xiàn) 185