互聯(lián)網(wǎng)大數(shù)據(jù)挖掘與分類

1 緒論
1．1 背景知識
1．1．1 研究背景
1．1．2 研究意義
1．2 網(wǎng)絡(luò)測量技術(shù)
1．2．1 網(wǎng)絡(luò)測量常見對象
1．2．2 網(wǎng)絡(luò)測量分析的問題
1．2．3 單點測量常用方法
1．2．4 單點網(wǎng)絡(luò)測量常用工具
1．2．5 分布式網(wǎng)絡(luò)測量技術(shù)
1．3 分類算法
1．3．1 決策樹
1．3．2 貝葉斯分類
1．3．3 支持向量機
1．4 C4．5算法
1．4．1 算法概述
1．4．2 決策樹的分割
1．4．3 決策樹的剪枝
1．4．4 剪枝實例
1．4．5 十折交叉驗證方法
1．4．6 測度子集選擇方法
1．5 數(shù)據(jù)挖掘方法
1．5．1 聚類方法
1．5．2 k-近鄰算法
1．6 流數(shù)據(jù)結(jié)構(gòu)
1．6．1 Bitmap
1．6．2 混合Counter
1．6．3 Count-Min Sketch
1．6．4 Bloom Filter
1．6．5 Counter Braids
1．6．6 BRICK
1．7 流量測量的評價指標
1．7．1 誤報率和漏報率
1．7．2 相對誤差
1．7．3 相對差
1．7．4 熵
1．8 小結(jié)
參考文獻
2 互聯(lián)網(wǎng)大數(shù)據(jù)分析系統(tǒng)
2．1 系統(tǒng)設(shè)計
2．1．1 總體設(shè)計
2．1．2 數(shù)據(jù)收集層設(shè)計
2．1．3 并行算法層設(shè)計
2．1．4 查詢層設(shè)計
2．2 測度定義
2．2．1 輸入測度
2．2．2 用戶行為測度
2．2．3 輸出測度
2．3 基于MapReduce測度的計算方法
2．3．1 單點TCP測度
2．3．2 并行TCP測度
2．3．3 流聚合并行方法
2．3．4 用戶行為測度
2．3．5 并行算法優(yōu)化
2．4 系統(tǒng)實現(xiàn)
2．4．1 存儲模塊實現(xiàn)
2．4．2 測度計算模塊實現(xiàn)
2．4．3 用戶行為分析模塊實現(xiàn)
2．4．4 查詢模塊實現(xiàn)
2．5 實驗分析
2．5．1 實驗環(huán)境
2．5．2 實驗平臺布署
2．5．3 實驗數(shù)據(jù)集
2．5．4 實驗結(jié)果分析
2．5．5 可擴展性分析
2．5．6 性能瓶頸分析
2．6 小結(jié)
參考文獻
3 超點數(shù)據(jù)流檢測方法
3．1 引言
3．2 并行數(shù)據(jù)流方法
3．2．1 方法描述
3．2．2 相關(guān)定義
3．2．3 數(shù)據(jù)結(jié)構(gòu)
3．2．4 更新歸并過程
3．2．5 鏈接度估計
3．2．6 超點檢測
3．3 性能分析
3．3．1 存儲開銷
3．3．2 準確性
3．3．3 計算性能
3．4 實驗分析
3．4．1 實驗數(shù)據(jù)
3．4．2 評價標準
3．4．3 鏈接度估計
3．4．4 參數(shù)評估
3．4．5 算法對比
3．5 小結(jié)
參考文獻
4 長持續(xù)時間流檢測方法
4．1 引言
4．2 問題定義
4．3 數(shù)據(jù)結(jié)構(gòu)
4．4 基于共享數(shù)據(jù)結(jié)構(gòu)的檢測方法
4．4．1 方法描述
4．4．2 方法流程
4．4．3 實驗結(jié)果分析
4．5 基于獨立數(shù)據(jù)結(jié)構(gòu)的檢測方法
4．5．1 方法描述
4．5．2 方法流程
4．5．3 性能分析
4．5．4 實驗結(jié)果分析
4．6 小結(jié)
參考文獻
5 大流的自適應(yīng)抽樣識別方法
5．1 引言
5．2 大流識別方法
5．2．1 問題定義
5．2．2 方法描述
5．2．3 自適應(yīng)抽樣
5．2．4 數(shù)據(jù)劃分
5．2．5 大流識別
5．3 實驗結(jié)果分析
5．3．1 實驗環(huán)境
5．3．2 估計精度
5．3．3 負載均衡
5．3．4 可擴展性
5．3．5 數(shù)據(jù)更新
5．3．6 Reducer數(shù)量
5．4 小結(jié)
參考文獻
6 流量異常的信息熵檢測方法
6．1 引言
6．1．1 研究背景
6．1．2 研究意義
6．1．3 相關(guān)研究
6．1．4 本章內(nèi)容
6．2 信息熵靈敏度分析
6．2．1 理論分析
6．2．2 實驗分析
6．2．3 分析結(jié)論
6．3 流量異常檢測方法
6．3．1 測度定義
6．3．2 基于Kmeans的閾值選擇
6．3．3 正常流量BID學習
6．3．4 驗證方案
6．4 實驗結(jié)果分析
6．4．1 實驗環(huán)境
6．4．2 攻擊流量獲取
6．4．3 攻擊檢測能力評估
6．4．4 檢測準確性
6．5 小結(jié)
參考文獻
7 網(wǎng)頁關(guān)聯(lián)分析方法
7．1 概述
7．1．1 研究背景
7．1．2 研究意義
7．1．3 相關(guān)研究
7．2 網(wǎng)頁關(guān)聯(lián)概念
7．2．1 定義
7．2．2 問題描述
7．2．3 輸入輸出描述
7．2．4 分類
7．2．5 網(wǎng)頁引用方法
7．3 基于DPI的網(wǎng)頁關(guān)聯(lián)方法
7．3．1 方法概述
7．3．2 基于HTTP頭信息的引用發(fā)現(xiàn)方法
7．3．3 請求網(wǎng)頁父引用提取方法
7．3．4 HTTP網(wǎng)頁解碼算法
7．3．5 基于網(wǎng)頁內(nèi)容的引用發(fā)現(xiàn)算法
7．3．6 父子引用關(guān)聯(lián)方法
7．4 DPI關(guān)聯(lián)方法實驗分析
7．4．1 在線采集數(shù)據(jù)分析
7．4．2 被動測量數(shù)據(jù)關(guān)聯(lián)分析
7．5 網(wǎng)頁關(guān)聯(lián)存在的問題
7．5．1 頁面懸浮廣告
7．5．2 彈出窗口廣告
7．5．3 link href
7．5．4 廣告關(guān)聯(lián)問題分析
7．6 算法改進對比
7．6．1 測試一
7．6．2 測試二
7．6．3 測試三
7．7 基于DFI的網(wǎng)頁關(guān)聯(lián)方法
7．7．1 主流識別規(guī)則
7．7．2 輔流關(guān)聯(lián)方法
7．7．3 實驗結(jié)果分析
7．8 小結(jié)
參考文獻
8 面向網(wǎng)絡(luò)流的分類方法
8．1 引言
8．1．1 測度定義
8．1．2 背景研究
8．1．3 研究意義
8．2 流特征選擇方法
8．2．1 特征選擇方法
8．2．2 混合特征選擇
8．2．3 實驗結(jié)果分析
8．3 代價敏感分類方法
8．3．1 數(shù)據(jù)重采樣
8．3．2 代價敏感學習
8．3．3 基于Adacost的分類算法
8．3．4 實驗結(jié)果分析
8．5 集成學習分類方法
8．5．1 集成學習基本概念
8．5．2 基于均值決策的集成學習方法
8．5．3 基于精度權(quán)重的集成學習方法
8．5．4 基于代價敏感的集成學習方法
8．5．5 實驗結(jié)果分析
8．6 小結(jié)
參考文獻
9 基于覆蓋網(wǎng)監(jiān)測的故障推理
9．1 研究背景及意義
9．2 基本概念
9．2．1 社區(qū)的概念
9．2．2 覆蓋網(wǎng)
9．2．3 chord
9．3 數(shù)據(jù)處理
9．3．1 集中式處理的問題
9．3．2 負載均衡
9．3．3 癥狀數(shù)據(jù)存取索引
9．3．4 癥狀數(shù)據(jù)預處理
9．4 故障推理算法
9．4．1 客戶端故障判斷算法
9．4．2 現(xiàn)有方法
9．4．3 故障推理算法
9．4．4 算法設(shè)計
9．5 系統(tǒng)設(shè)計實現(xiàn)
9．5．1 系統(tǒng)設(shè)計
9．5．2 實驗工具
9．5．3 實驗環(huán)境
9．5．4 實驗結(jié)果分析
9．6 小結(jié)
參考文獻
彩插