數(shù)據(jù)挖掘：R語言實(shí)戰(zhàn)

第1 章
目 錄
第0 章 致敬，R！ ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 1
致敬，肩膀！．．．．．．．．．．．．．．．．．．．． 1
致敬，時(shí)代?。?3
致敬，人才?。?4
致敬，R 瑟！ ．．．．．．．．．．．．．．．．．．．． 5
上篇 數(shù)據(jù)預(yù)處理
第1 章 數(shù)據(jù)挖掘?qū)б?0
1．1 數(shù)據(jù)挖掘概述．．．．．．．．10
1．1．1 數(shù)據(jù)挖掘的過程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10
1．1．2 數(shù)據(jù)挖掘的對象．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12
1．1．3 數(shù)據(jù)挖掘的方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12
1．1．4 數(shù)據(jù)挖掘的應(yīng)用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13
1．2 數(shù)據(jù)挖掘的算法．．．．14
1．3 數(shù)據(jù)挖掘的工具．．．．17
1．3．1 工具的分類17
1．3．2 工具的選擇18
1．3．3 商用的工具19
1．3．4 開源的工具21
1．4 R 在數(shù)據(jù)挖掘中的優(yōu)勢．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23
數(shù)據(jù)挖掘：R 語言實(shí)戰(zhàn)
VI
第2 章 數(shù)據(jù)概覽．．．．．．．．．．．．．．．．．25
2．1 n×m 數(shù)據(jù)集．．．．．．．．．．．．25
2．2 數(shù)據(jù)的分類．．．．．．．．．．．．28
2．2．1 一般的數(shù)據(jù)分類．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28
2．2．2 R 的數(shù)據(jù)分類．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29
2．2．3 用R 簡單處理數(shù)據(jù)．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31
2．3 數(shù)據(jù)抽樣及R 實(shí)現(xiàn)34
2．3．1 簡單隨機(jī)抽樣．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34
2．3．2 分層抽樣．．．．36
2．3．3 整群抽樣．．．．38
2．4 訓(xùn)練集與測試集．．．．40
2．5 本章匯總．．．．．．．．．．．．．．．．．40
第3 章 用R 獲取數(shù)據(jù)．．．．．．42
3．1 獲取內(nèi)置數(shù)據(jù)集．．．．42
3．1．1 datasets 數(shù)據(jù)集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42
3．1．2 包的數(shù)據(jù)集43
3．2 獲取其他格式的數(shù)據(jù)．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45
3．2．1 CSV 與TXT 格式．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45
3．2．2 從Excel 直接獲取數(shù)據(jù)．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47
3．2．3 從其他統(tǒng)計(jì)軟件中獲取數(shù)據(jù)．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48
3．3 獲取數(shù)據(jù)庫數(shù)據(jù)．．．．50
3．4 獲取網(wǎng)頁數(shù)據(jù)．．．．．．．．52
3．5 本章匯總．．．．．．．．．．．．．．．．．55
第4 章 探索性數(shù)據(jù)分析．．．56
4．1 數(shù)據(jù)集．．．．．．．．．．．．．．．．．．．．．56
4．2 數(shù)字化探索．．．．．．．．．．．．57
4．2．1 變量概況．．．．57
4．2．2 變量詳情．．．．58
4．2．3 分布指標(biāo)．．．．61
4．2．4 稀疏性．．．．．．．．62
4．2．5 缺失值．．．．．．．．63
4．2．6 相關(guān)性．．．．．．．．65
4．3 可視化探索．．．．．．．．．．．．68
4．3．1 直方圖．．．．．．．．68
目 錄
VII
4．3．2 累積分布圖71
4．3．3 箱形圖．．．．．．．．73
4．3．4 條形圖．．．．．．．．78
4．3．5 點(diǎn)陣圖．．．．．．．．81
4．3．6 餅圖．．．．．．．．．．．．82
4．5 本章匯總．．．．．．．．．．．．．．．．．84
第5 章 數(shù)據(jù)預(yù)處理．．．．．．．．．．．．86
5．1 數(shù)據(jù)集加載．．．．．．．．．．．．86
5．2 數(shù)據(jù)清理．．．．．．．．．．．．．．．．．88
5．2．1 缺失值處理90
5．2．2 噪聲數(shù)據(jù)處理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．95
5．2．3 數(shù)據(jù)不一致的處理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．97
5．3 數(shù)據(jù)集成．．．．．．．．．．．．．．．．．99
5．4 數(shù)據(jù)變換．．．．．．．．．．．．．．．101
5．5 數(shù)據(jù)歸約．．．．．．．．．．．．．．．102
5．6 本章匯總．．．．．．．．．．．．．．．104
中篇 基本算法及應(yīng)用
第6 章 關(guān)聯(lián)分析．．．．．．．．．．．．．．．106
6．1 概述．．．．．．．．．．．．．．．．．．．．．．．．106
6．2 R 中的實(shí)現(xiàn)．．．．．．．．．．．109
6．2．1 相關(guān)軟件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．109
6．2．2 核心函數(shù)．．．109
6．2．3 數(shù)據(jù)集．．．．．．110
6．3 應(yīng)用案例．．．．．．．．．．．．．．．111
6．3．1 數(shù)據(jù)初探．．．111
6．3．2 對生成規(guī)則進(jìn)行強(qiáng)度控制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．112
6．3．3 一個(gè)實(shí)際應(yīng)用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．114
6．3．4 改變輸出結(jié)果形式．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．115
6．3．5 關(guān)聯(lián)規(guī)則的可視化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．116
6．4 本章匯總．．．．．．．．．．．．．．．120
第7 章 聚類分析．．．．．．．．．．．．．．．121
7．1 概述．．．．．．．．．．．．．．．．．．．．．．．．121
7．1．1 K-均值聚類．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．122
數(shù)據(jù)挖掘：R 語言實(shí)戰(zhàn)
VIII
7．1．2 K-中心點(diǎn)聚類．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．122
7．1．3 系譜聚類．．．122
7．1．4 密度聚類．．．124
7．1．5 期望最大化聚類．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．125
7．2 R 中的實(shí)現(xiàn)．．．．．．．．．．．126
7．2．1 相關(guān)軟件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．126
7．2．2 核心函數(shù)．．．127
7．2．3 數(shù)據(jù)集．．．．．．129
7．3 應(yīng)用案例．．．．．．．．．．．．．．．131
7．3．1 K-均值聚類．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．131
7．3．2 K-中心點(diǎn)聚類．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．135
7．3．3 系譜聚類．．．137
7．3．4 密度聚類．．．140
7．3．5 期望最大化聚類．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．145
7．4 本章匯總．．．．．．．．．．．．．．．150
第8 章 判別分析．．．．．．．．．．．．．．．151
8．1 概述．．．．．．．．．．．．．．．．．．．．．．．．151
8．1．1 費(fèi)希爾判別．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．152
8．1．2 貝葉斯判別．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．153
8．1．3 距離判別．．．153
8．2 R 中的實(shí)現(xiàn)．．．．．．．．．．．154
8．2．1 相關(guān)軟件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．154
8．2．2 核心函數(shù)．．．155
8．2．3 數(shù)據(jù)集．．．．．．157
8．3 應(yīng)用案例．．．．．．．．．．．．．．．161
8．3．1 線性判別分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．161
8．3．2 樸素貝葉斯分類．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．167
8．3．3 K 最近鄰．．．172
8．3．4 有權(quán)重的K 最近鄰算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．174
8．4 推薦系統(tǒng)綜合實(shí)例．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．175
8．4．1 kNN 與推薦．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．176
8．4．2 MovieLens 數(shù)據(jù)集說明．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．176
8．4．3 綜合運(yùn)用．．．177
8．5 本章匯總．．．．．．．．．．．．．．．182
目 錄
IX
第9 章 決策樹．．．．．．．．．．．．．．．．．．．183
9．1 概述．．．．．．．．．．．．．．．．．．．．．．．．183
9．1．1 樹形結(jié)構(gòu)．．．183
9．1．2 樹的構(gòu)建．．．184
9．1．3 常用算法．．．185
9．2 R 中的實(shí)現(xiàn)．．．．．．．．．．．185
9．2．1 相關(guān)軟件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．185
9．2．2 核心函數(shù)．．．186
9．2．3 數(shù)據(jù)集．．．．．．187
9．3 應(yīng)用案例．．．．．．．．．．．．．．．190
9．3．1 CART 應(yīng)用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．191
9．3．2 C4．5 應(yīng)用．．202
9．4 本章匯總．．．．．．．．．．．．．．．205
下篇 高級(jí)算法及應(yīng)用
第10 章 集成學(xué)習(xí)．．．．．．．．．．．．208
10．1 概述．．．．．．．．．．．．．．．．．．．．．208
10．1．1 一個(gè)概率論小計(jì)算．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．208
10．1．2 Bagging 算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．209
10．1．3 AdaBoost 算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．209
10．2 R 中的實(shí)現(xiàn)．．．．．．．．．209
10．2．1 相關(guān)軟件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．209
10．2．2 核心函數(shù)210
10．2．3 數(shù)據(jù)集．．．．210
10．3 應(yīng)用案例．．．．．．．．．．．．．213
10．3．1 Bagging 算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．213
10．3．2 Adaboost 算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．218
10．4 本章匯總．．．．．．．．．．．．．219
第11 章 隨機(jī)森林．．．．．．．．．．．．220
11．1 概述．．．．．．．．．．．．．．．．．．．．．．220
11．1．1 基本原理．220
11．1．2 重要參數(shù)．222
11．2 R 中的實(shí)現(xiàn)．．．．．．．．．223
11．2．1 相關(guān)軟件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．223
數(shù)據(jù)挖掘：R 語言實(shí)戰(zhàn)
X
11．2．2 核心函數(shù)．223
11．2．3 可視化分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．231
11．3 應(yīng)用案例．．．．．．．．．．．．．232
11．3．1 數(shù)據(jù)處理．233
11．3．2 建立模型．234
11．3．3 結(jié)果分析．235
11．3．4 自變量的重要程度．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．236
11．3．5 優(yōu)化建模．237
11．4 本章匯總．．．．．．．．．．．．．241
第12 章 支持向量機(jī)．．．．．．．242
12．1 概述．．．．．．．．．．．．．．．．．．．．．242
12．1．1 結(jié)構(gòu)風(fēng)險(xiǎn)最小原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．243
12．1．2 函數(shù)間隔與幾何間隔．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．244
12．1．3 核函數(shù)．．．．245
12．2 R 中的實(shí)現(xiàn)．．．．．．．．．245
12．2．1 相關(guān)軟件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．245
12．2．2 核心函數(shù)246
12．2．3 數(shù)據(jù)集．．．．248
12．3 應(yīng)用案例．．．．．．．．．．．．．248
12．3．1 數(shù)據(jù)初探249
12．3．2 建立模型249
12．3．3 結(jié)果分析249
12．3．4 預(yù)測判別250
12．3．5 綜合建模251
12．3．6 可視化分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．252
12．3．7 優(yōu)化建模254
12．4 本章匯總．．．．．．．．．．．．．256
第13 章 神經(jīng)網(wǎng)絡(luò)．．．．．．．．．．．．257
13．1 概述．．．．．．．．．．．．．．．．．．．．．257
13．2 R 中的實(shí)現(xiàn)．．．．．．．．．258
13．2．1 相關(guān)軟件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．258
13．2．2 核心函數(shù)258
13．3 應(yīng)用案例．．．．．．．．．．．．．261
13．3．1 數(shù)據(jù)初探261
目 錄
XI
13．3．2 數(shù)據(jù)處理262
13．3．3 建立模型263
13．3．4 結(jié)果分析264
13．3．5 預(yù)測判別264
13．3．6 模型差異分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．266
13．3．7 優(yōu)化建模268
13．4 本章匯總．．．．．．．．．．．．．272
第14 章 模型評(píng)估與選擇．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．273
14．1 評(píng)估過程概述．．．．273
14．2 安裝Rattle 包．．．．274
14．3 Rattle 功能簡介．．275
14．3．1 Data――選取數(shù)據(jù)．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．275
14．3．2 Explore――數(shù)據(jù)探究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．276
14．3．3 Test――數(shù)據(jù)相關(guān)檢驗(yàn)．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．276
14．3．4 Transform――數(shù)據(jù)預(yù)處理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．277
14．3．5 Cluster――數(shù)據(jù)聚類．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．277
14．3．6 Model――模型評(píng)估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．277
14．3．7 Evaluate――模型評(píng)估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．280
14．3．8 Log――模型評(píng)估記錄．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．281
14．4 模型評(píng)估相關(guān)概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．281
14．4．1 誤判率．．．．281
14．4．2 正確/錯(cuò)誤的肯定判斷、正確/錯(cuò)誤的否定判斷．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．281
14．4．3 精確度、敏感度及特異性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．282
14．5 Rattle 在模型評(píng)估中的應(yīng)用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．282
14．5．1 混淆矩陣282
14．5．2 風(fēng)險(xiǎn)圖．．．．283
14．5．3 ROC 圖及相關(guān)圖表．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．286
14．5．4 模型得分?jǐn)?shù)據(jù)集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．287
14．6 綜合實(shí)例．．．．．．．．．．．．．288
14．6．1 數(shù)據(jù)介紹288
14．6．2 模型建立288
14．6．3 模型結(jié)果分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．289
數(shù)據(jù)挖掘：R 語言實(shí)戰(zhàn)
XII