網絡安全態(tài)勢感知：提取、理解和預測

前言

第一部分　基礎知識

第1章　開啟網絡安全態(tài)勢感知的旅程 2

1.1　引言 2

1.2　網絡安全簡史 3

1.2.1　計算機網絡 3

1.2.2　惡意代碼 4

1.2.3　漏洞利用 6

1.2.4　高級持續(xù)性威脅 7

1.2.5　網絡安全設施 8

1.3　網絡安全態(tài)勢感知 10

1.3.1　為什么需要態(tài)勢感知 10

1.3.2　態(tài)勢感知的定義 12

1.3.3　網絡安全態(tài)勢感知的定義 13

1.3.4　網絡安全態(tài)勢感知參考模型 14

1.3.5　網絡安全態(tài)勢感知的周期 17

1.4　我國網絡安全態(tài)勢感知政策和發(fā)展 19

1.4.1　我國網絡安全態(tài)勢感知政策 19

1.4.2　我國網絡安全態(tài)勢感知的曲線發(fā)展歷程 20

1.5　國外先進的網絡安全態(tài)勢感知經驗 21

1.5.1　美國網絡安全態(tài)勢感知建設方式 21

1.5.2　美國網絡安全國家戰(zhàn)略 21

1.5.3　可信互聯(lián)網連接 22

1.5.4　信息安全持續(xù)監(jiān)控 23

1.5.5　可借鑒的經驗 24

1.6　網絡安全態(tài)勢感知建設意見 24

第2章　大數據平臺和技術 26

2.1　引言 26

2.2　大數據基礎 27

2.2.1　大數據的定義和特點 27

2.2.2　大數據關鍵技術 28

2.2.3　大數據計算模式 28

2.3　大數據應用場景 29

2.4　大數據主流平臺框架 30

2.4.1　Hadoop 30

2.4.2　Spark 32

2.4.3　Storm 33

2.5　大數據生態(tài)鏈的網絡安全態(tài)勢感知應用架構 34

2.6　大數據采集與預處理技術 34

2.6.1　傳感器 36

2.6.2　網絡爬蟲 37

2.6.3　日志收集系統(tǒng) 39

2.6.4　數據抽取工具 40

2.6.5　分布式消息隊列系統(tǒng) 42

2.7　大數據存儲與管理技術 46

2.7.1　分布式文件系統(tǒng) 46

2.7.2　分布式數據庫 50

2.7.3　分布式協(xié)調系統(tǒng) 53

2.7.4　非關系型數據庫 55

2.7.5　資源管理調度 57

2.8　大數據處理與分析技術 64

2.8.1　批量數據處理 64

2.8.2　交互式數據分析 67

2.8.3　流式計算 71

2.8.4　圖計算 74

2.8.5　高級數據查詢語言Pig 75

2.9　大數據可視化技術 76

2.9.1　大數據可視化含義 76

2.9.2　基本統(tǒng)計圖表 76

2.9.3　大數據可視化分類 77

2.9.4　高級分析工具 77

2.10　國外先進的大數據實踐經驗 78

2.10.1　大數據平臺 78

2.10.2　網絡分析態(tài)勢感知能力 79

第二部分　態(tài)勢提取

第3章　網絡安全數據范圍 82

3.1　引言 82

3.2　完整內容數據 82

3.3　提取內容數據 85

3.4　會話數據 86

3.5　統(tǒng)計數據 88

3.6　元數據 90

3.7　日志數據 93

3.8　告警數據 98

第4章　網絡安全數據采集 100

4.1　引言 100

4.2　制定數據采集計劃 100

4.3　主動式采集 102

4.3.1　通過SNMP采集數據 102

4.3.2　通過Telnet采集數據 103

4.3.3　通過SSH采集數據 103

4.3.4　通過WMI采集數據 104

4.3.5　通過多種文件傳輸協(xié)議采集數據 104

4.3.6　利用JDBC/ODBC采集數據庫信息 105

4.3.7　通過代理和插件采集數據 106

4.3.8　通過漏洞和端口掃描采集數據 107

4.3.9　通過“蜜罐”和“蜜網”采集數據 107

4.4　被動式采集 108

4.4.1　通過有線和無線采集數據 108

4.4.2　通過集線器和交換機采集數據 110

4.4.3　通過Syslog采集數據 112

4.4.4　通過SNMP Trap采集數據 112

4.4.5　通過NetFlow/IPFIX/sFlow采集流數據 113

4.4.6　通過Web Service/MQ采集數據 114

4.4.7　通過DPI/DFI采集和檢測數據 115

4.5　數據采集工具 116

4.6　采集點部署 117

4.6.1　需考慮的因素 117

4.6.2　關注網絡出入口點 118

4.6.3　掌握IP地址分布 118

4.6.4　靠近關鍵資產 119

4.6.5　創(chuàng)建采集全景視圖 119

第5章　網絡安全數據預處理 121

5.1　引言 121

5.2　數據預處理的主要內容 121

5.2.1　數據審核 121

5.2.2　數據篩選 122

5.2.3　數據排序 122

5.3　數據預處理方法 123

5.4　數據清洗 123

5.4.1　不完整數據 124

5.4.2　不一致數據 124

5.4.3　噪聲數據 124

5.4.4　數據清洗過程 125

5.4.5　數據清洗工具 126

5.5　數據集成 126

5.5.1　數據集成的難點 126

5.5.2　數據集成類型層次 127

5.5.3　數據集成方法模式 128

5.6　數據歸約 129

5.6.1　特征歸約 130

5.6.2　維歸約 130

5.6.3　樣本歸約 131

5.6.4　數量歸約 131

5.6.5　數據壓縮 132

5.7　數據變換 132

5.7.1　數據變換策略 133

5.7.2　數據變換處理內容 133

5.7.3　數據變換方法 133

5.8　數據融合 135

5.8.1　數據融合與態(tài)勢感知 135

5.8.2　數據融合的層次分類 136

5.8.3　數據融合相關算法 137

第三部分　態(tài)勢理解

第6章　網絡安全檢測與分析 142

6.1　引言 142

6.2　入侵檢測 143

6.2.1　入侵檢測通用模型 143

6.2.2　入侵檢測系統(tǒng)分類 144

6.2.3　入侵檢測的分析方法 146

6.2.4　入侵檢測技術的現(xiàn)狀和發(fā)展趨勢 151

6.3　入侵防御 152

6.3.1　入侵防御產生的原因 152

6.3.2　入侵防御的工作原理 153

6.3.3　入侵防御系統(tǒng)的類型 154

6.3.4　入侵防御與入侵檢測的區(qū)別 155

6.4　入侵容忍 156

6.4.1　入侵容忍的產生背景 156

6.4.2　入侵容忍的實現(xiàn)方法 156

6.4.3　入侵容忍技術分類 157

6.4.4　入侵容忍與入侵檢測的區(qū)別 157

6.5　安全分析 158

6.5.1　安全分析流程 158

6.5.2　數據包分析 160

6.5.3　計算機/網絡取證 163

6.5.4　惡意軟件分析 164

第7章　網絡安全態(tài)勢指標構建 167

7.1　引言 167

7.2　態(tài)勢指標屬性的分類 168

7.2.1　定性指標 168

7.2.2　定量指標 169

7.3　網絡安全態(tài)勢指標的提取 169

7.3.1　指標提取原則和過程 170

7.3.2　網絡安全屬性的分析 172

7.3.3　網絡安全態(tài)勢指標選取示例 178

7.4　網絡安全態(tài)勢指標體系的構建 179

7.4.1　指標體系的構建原則 179

7.4.2　基礎運行維指標 179

7.4.3　脆弱維指標 180

7.4.4　風險維指標 181

7.4.5　威脅維指標 182

7.4.6　綜合指標體系和指數劃分 183

7.5　指標的合理性檢驗 184

7.6　指標的標準化處理 185

7.6.1　定量指標的標準化 186

7.6.2　定性指標的標準化 188

第8章　網絡安全態(tài)勢評估 189

8.1　引言 189

8.2　網絡安全態(tài)勢評估的內涵 190

8.3　網絡安全態(tài)勢評估的基本內容 190

8.4　網絡安全態(tài)勢指數計算基本理論 192

8.4.1　排序歸一法 192

8.4.2　層次分析法 193

8.5　網絡安全態(tài)勢評估方法分類 194

8.6　網絡安全態(tài)勢評估常用的融合方法 196

8.6.1　基于邏輯關系的融合評價方法 196

8.6.2　基于數學模型的融合評價方法 197

8.6.3　基于概率統(tǒng)計的融合評價方法 204

8.6.4　基于規(guī)則推理的融合評價方法 207

第9章　網絡安全態(tài)勢可視化 212

9.1　引言 212

9.2　數據可視化基本理論 213

9.2.1　數據可視化一般流程 213

9.2.2　可視化設計原則與步驟 214

9.3　什么是網絡安全態(tài)勢可視化 216

9.4　網絡安全態(tài)勢可視化形式 217

9.4.1　層次化數據的可視化 217

9.4.2　網絡數據的可視化 217

9.4.3　可視化系統(tǒng)交互 219

9.4.4　安全儀表盤 220

9.5　網絡安全態(tài)勢可視化的前景 221

第四部分　態(tài)勢預測

第10章　典型的網絡安全態(tài)勢預測方法 224

10.1　引言 224

10.2　灰色理論預測 225

10.2.1　灰色系統(tǒng)理論的產生及發(fā)展 225

10.2.2　灰色理論建立依據 226

10.2.3　灰色預測及其類型 226

10.2.4　灰色預測模型 227

10.3　時間序列預測 234

10.3.1　時間序列分析的基本特征 235

10.3.2　時間序列及其類型 235

10.3.3　時間序列預測的步驟 236

10.3.4　時間序列分析方法 238

10.4　回歸分析預測 240

10.4.1　回歸分析的定義和思路 241

10.4.2　回歸模型的種類 241

10.4.3　回歸分析預測的步驟 242

10.4.4　回歸分析預測方法 242

10.5　總結 245

第11章　網絡安全態(tài)勢智能預測 246

11.1　引言 246

11.2　神經網絡預測 247

11.2.1　人工神經網絡概述 247

11.2.2　神經網絡的學習方法 248

11.2.3　神經網絡預測模型類型 249

11.2.4　BP神經網絡結構和學習原理 252

11.3　支持向量機預測 254

11.3.1　支持向量機方法的基本思想 254

11.3.2　支持向量機的特點 255

11.3.3　支持向量回歸機的分類 257

11.3.4　支持向量機核函數的選取 260

11.4　人工免疫預測 261

11.4.1　人工免疫系統(tǒng)概述 262

11.4.2　人工免疫模型相關機理 262

11.4.3　人工免疫相關算法 264

11.5　復合式攻擊預測 267

11.5.1　基于攻擊行為因果關系的復合式攻擊預測方法 268

11.5.2　基于貝葉斯博弈理論的復合式攻擊預測方法 269

11.5.3　基于CTPN的復合式攻擊預測方法 270

11.5.4　基于意圖的復合式攻擊預測方法 272

第12章　其他 274

12.1　引言 274

12.2　網絡安全人員 274

12.2.1　網絡安全人員范圍 274

12.2.2　需要具備的技能 275

12.2.3　能力級別分類 277

12.2.4　安全團隊建設 278

12.3　威脅情報分析 279

12.3.1　網絡威脅情報 279

12.3.2　威脅情報來源 280

12.3.3　威脅情報管理 281

12.3.4　威脅情報共享 282

參考文獻 283