數(shù)據(jù)挖掘基礎(chǔ)算法理論與Weka應(yīng)用技術(shù)

目錄
第1章 緒論 1
1.1 數(shù)據(jù)挖掘 1
1.1.1 數(shù)據(jù)挖掘是什么 2
1.1.2 數(shù)據(jù)挖掘的功能 3
1.1.3 數(shù)據(jù)挖掘的過程 4
1.1.4 數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí) 5
1.2 Weka簡介 6
1.3 示例數(shù)據(jù)集 9
1.3.1 天氣問題 9
1.3.2 鳶尾花問題 11
1.3.3 CPU性能問題 11
1.3.4 購物籃問題 12
1.3.5 美國國會投票記錄 13
第2章 認(rèn)識數(shù)據(jù) 14
2.1 概念、實例集、屬性 14
2.2 ARFF格式文件 16
第3章 分類 20
3.1 分類器的輸出與評價 20
3.1.1 匯總 20
3.1.2 成本敏感學(xué)習(xí)方案評價指標(biāo)及工具 22
3.2 分類決策樹 29
3.2.1 ID3算法 29
3.2.2 C4.5算法 31
3.2.3 帶嫁接功能的C4.5算法 41
3.2.4 分類樹與回歸樹 42
3.2.5 減少-誤差剪枝決策樹 49
3.3 分類規(guī)則 50
3.3.1 分類規(guī)則算法基本思想 50
3.3.2 分類規(guī)則算法的基本方法——覆蓋算法 51
3.3.3 決策列表 59
3.3.4 基于全局優(yōu)化的分類規(guī)則 63
3.3.5 基于例外的分類規(guī)則——漣波下降算法 66
3.3.6 單屬性分類規(guī)則——1R分類算法 71
3.3.7 簡單連接規(guī)則 75
3.3.8 簡單分類規(guī)則 77
3.4 貝葉斯方法 77
3.4.1 貝葉斯方法基礎(chǔ) 77
3.4.2 樸素貝葉斯方法 80
3.4.3 多項式樸素貝葉斯方法 90
3.4.4 貝葉斯網(wǎng)絡(luò) 92
3.4.5 隱匿樸素貝葉斯方法 121
3.5 分類函數(shù) 125
3.5.1 logistic回歸 125
3.5.2 Winnow分類器 134
3.5.3 多層感知機(jī) 139
3.5.4 徑向基函數(shù)網(wǎng)絡(luò) 156
3.5.5 序列最小優(yōu)化算法 160
3.5.6 核logistic回歸 179
3.5.7 投票感知機(jī) 182
3.5.8 隨機(jī)梯度下降算法 184
3.6 惰性方法 187
3.6.1 惰性方法的基本思想 187
3.6.2 k-最近鄰分類器 188
第4章 數(shù)值預(yù)測 219
4.1 預(yù)測器的輸出與評價 219
4.1.1 反映預(yù)測值與實際值之間絕對偏差的度量指標(biāo) 219
4.1.2 反映預(yù)測值與實際值之間相對偏差的度量指標(biāo) 219
4.2 預(yù)測規(guī)則 220
4.2.1 簡單連接規(guī)則 220
4.2.2 簡單分類規(guī)則——0-規(guī)則分類器 221
4.3 預(yù)測函數(shù) 222
4.3.1 線性回歸 222
4.3.2 簡單線性回歸 229
4.3.3 最小中值平方線性回歸 229
4.3.4 基于投影的線性回歸 232
4.3.5 保序回歸 234
4.3.6 序列最小優(yōu)化回歸 241
第5章 聚類 247
5.1 K-均值聚類 248
5.1.1 K-均值聚類的基本思想 248
5.1.2 初始化聚類中心 248
5.1.3 頂蓋方法 249
5.1.4 Weka實現(xiàn) 255
5.2 X-均值聚類 257
5.2.1 X-均值聚類的基本思想 257
5.2.2 聚類簇總數(shù)k的估計 257
5.2.3 基于kD樹的算法加速 260
5.2.4 Weka實現(xiàn) 264
5.3 層次聚類 265
5.3.1 層次聚類法的基本思想 265
5.3.2 凝聚聚類算法 266
5.3.3 Weka實現(xiàn) 270
5.4 增量聚類 271
5.4.1 增量聚類法的基本思想 271
5.4.2 分類效用 273
5.4.3 敏銳度 274
5.4.4 截斷參數(shù) 275
5.4.5 Weka實現(xiàn) 276
5.5 基于概率的聚類 277
5.5.1 基于概率的聚類方法基礎(chǔ) 277
5.5.2 EM算法 279
5.5.3 擴(kuò)展混合模型 281
5.5.4 交叉驗證與聚類簇總數(shù) 283
5.5.5 Weka實現(xiàn) 283
5.6 基于密度的聚類 285
5.6.1 基本概念 285
5.6.2 DBSCAN算法 286
5.6.3 OPTICS算法 288
5.6.4 Weka實現(xiàn) 291
5.7 CLOPE聚類 296
5.7.1 稀疏數(shù)據(jù) 296
5.7.2 CLOPE的基本思想 297
5.7.3 算法描述 298
5.7.4 算法實現(xiàn)細(xì)節(jié) 301
5.7.5 Weka實現(xiàn) 302
5.8 聚類方法輔助工具 303
5.8.1 FilteredClusterer 303
5.8.2 MakeDensityBasedClusterer 304
第6章 基于頻繁模式的關(guān)聯(lián)規(guī)則 305
6.1 模式挖掘的基本概念 305
6.1.1 頻繁模式 305
6.1.2 頻繁項集和關(guān)聯(lián)規(guī)則 306
6.1.3 閉頻繁項集和極大頻繁項集 308
6.1.4 模式評估度量 309
6.1.5 模式挖掘的分類 320
6.2 Apriori算法 322
6.2.1 算法思想及算法步驟 322
6.2.2 算法效率提升策略 327
6.2.3 典型模式提取 329
6.2.4 基于頻繁模式的分類器 338
6.2.5 Weka實現(xiàn) 342
6.3 FP-Growth算法 345
6.3.1 算法思想 345
6.3.2 算法步驟 349
6.3.3 基于約束的剪枝 350
6.3.4 Weka實現(xiàn) 355
6.4 模式挖掘方法的輔助工具 356
參考文獻(xiàn) 358