商戰(zhàn)數(shù)據(jù)挖掘：你需要了解的數(shù)據(jù)科學(xué)與分析思維

目錄
贊譽(yù) xiii
前言 xv
第 1 章 緒論：數(shù)據(jù)分析式思維 1
1．1 數(shù)據(jù)機(jī)遇無(wú)處不在 1
1．2 案例：颶風(fēng) Frances 2
1．3 案例：預(yù)測(cè)用戶流失 3
1．4 數(shù)據(jù)科學(xué)、數(shù)據(jù)工程和數(shù)據(jù)驅(qū)動(dòng)型決策 4
1．5 數(shù)據(jù)處理和“大數(shù)據(jù)” 6
1．6 從大數(shù)據(jù) 1．0 到大數(shù)據(jù) 2．0 6
1．7 數(shù)據(jù)與數(shù)據(jù)科學(xué)能力：一種戰(zhàn)略性資產(chǎn) 7
1．8 數(shù)據(jù)分析式思維 9
1．9 關(guān)于本書 10
1．10 重新審視數(shù)據(jù)挖掘和數(shù)據(jù)科學(xué) 11
1．11 數(shù)據(jù)科學(xué)：一門新興的實(shí)驗(yàn)性學(xué)科 12
1．12 小結(jié) 12
第 2 章 商業(yè)問題及其數(shù)據(jù)科學(xué)解決方案 14
2．1 從商業(yè)問題到數(shù)據(jù)挖掘任務(wù) 14
2．2 有監(jiān)督方法與無(wú)監(jiān)督方法 17
2．3 數(shù)據(jù)挖掘及其結(jié)果 18
2．4 數(shù)據(jù)挖掘流程 19
2．4．1 業(yè)務(wù)理解環(huán)節(jié) 20
2．4．2 數(shù)據(jù)理解環(huán)節(jié) 21
2．4．3 數(shù)據(jù)準(zhǔn)備環(huán)節(jié) 22
2．4．4 建模環(huán)節(jié) 22
2．4．5 評(píng)估環(huán)節(jié) 23
2．4．6 部署環(huán)節(jié) 24
2．5 管理數(shù)據(jù)科學(xué)團(tuán)隊(duì)的含義 25
2．6 其他分析技巧與技術(shù) 26
2．6．1 統(tǒng)計(jì) 26
2．6．2 數(shù)據(jù)庫(kù)查詢 27
2．6．3 數(shù)據(jù)倉(cāng)庫(kù) 28
2．6．4 回歸分析 28
2．6．5 機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘 28
2．6．6 運(yùn)用以上技術(shù)解決商業(yè)問題 29
2．7 小結(jié) 30
第 3 章 預(yù)測(cè)建模導(dǎo)論：從相關(guān)性到有監(jiān)督的劃分 31
3．1 建模、歸納與預(yù)測(cè) 32
3．2 有監(jiān)督的劃分 35
3．2．1 選取富信息屬性 36
3．2．2 示例：基于信息增益進(jìn)行屬性選擇 42
3．2．3 使用樹形結(jié)構(gòu)模型進(jìn)行有監(jiān)督的劃分 46
3．3 劃分的可視化 52
3．4 把樹視作規(guī)則組 53
3．5 概率估計(jì) 54
3．6 示例：用樹型歸納解決用戶流失問題 56
3．7 小結(jié) 59
第 4 章 用模型擬合數(shù)據(jù) 61
4．1 根據(jù)數(shù)學(xué)函數(shù)分類 62
4．1．1 線性判別函數(shù) 64
4．1．2 目標(biāo)函數(shù)的最優(yōu)化 66
4．1．3 示例：基于數(shù)據(jù)挖掘線性判別式 67
4．1．4 用線性判別函數(shù)對(duì)實(shí)例進(jìn)行評(píng)分和排序 68
4．1．5 支持向量機(jī)簡(jiǎn)介 69
4．2 通過(guò)數(shù)學(xué)函數(shù)進(jìn)行回歸 71
4．3 類概率估計(jì)和邏輯“回歸” 73
4．4 示例：對(duì)比邏輯回歸和樹型歸納 77
4．5 非線性方程、支持向量機(jī)和神經(jīng)網(wǎng)絡(luò) 81
4．6 小結(jié) 83
第 5 章 避免過(guò)擬合 84
5．1 泛化能力 84
5．2 過(guò)擬合 85
5．3 過(guò)擬合檢驗(yàn) 86
5．3．1 保留數(shù)據(jù)和擬合圖 86
5．3．2 樹型歸納的過(guò)擬合問題 88
5．3．3 數(shù)值函數(shù)的過(guò)擬合問題 89
5．4 示例：線性函數(shù)的過(guò)擬合 90
5．5 * 示例：過(guò)擬合為何有害 95
5．6 從保留評(píng)估到交叉驗(yàn)證 96
5．7 用戶流失數(shù)據(jù)集回顧 99
5．8 學(xué)習(xí)曲線 100
5．9 避免過(guò)擬合與控制復(fù)雜度 101
5．9．1 樹型歸納中的過(guò)擬合規(guī)避 102
5．9．2 避免過(guò)擬合的一般方法 102
5．9．3 * 參數(shù)優(yōu)化中的過(guò)擬合規(guī)避 104
5．10 小結(jié) 106
第 6 章 相似性、近鄰和簇 107
6．1 相似性和距離 108
6．2 最近鄰?fù)评?109
6．2．1 示例：威士忌分析 110
6．2．2 用最近鄰來(lái)進(jìn)行預(yù)測(cè)建模 111
6．2．3 近鄰的數(shù)量及其影響 113
6．2．4 幾何解釋、過(guò)擬合和復(fù)雜度控制 115
6．2．5 最近鄰方法的問題 118
6．3 與相似性和最近鄰相關(guān)的一些重要技術(shù)細(xì)節(jié) 119
6．3．1 混合屬性 119
6．3．2 * 其他距離函數(shù) 120
6．3．3 * 組合函數(shù)：計(jì)算近鄰的評(píng)分 122
6．4 聚類 124
6．4．1 示例：威士忌分析回顧 124
6．4．2 層次聚類 125
6．4．3 最近鄰回顧：根據(jù)形心的聚類 128
6．4．4 示例：對(duì)商業(yè)新聞報(bào)道進(jìn)行聚類 132
6．4．5 理解聚類結(jié)果 135
6．4．6 * 用有監(jiān)督學(xué)習(xí)產(chǎn)生簇描述 136
6．5 退一步：解決業(yè)務(wù)問題與數(shù)據(jù)探索 139
6．6 小結(jié) 140
第 7 章 決策分析思維（一）：如何評(píng)估一個(gè)模型 142
7．1 對(duì)分類器的評(píng)估 143
7．1．1 簡(jiǎn)單準(zhǔn)確率的問題 143
7．1．2 混淆矩陣 144
7．1．3 樣本類別不均衡的問題 144
7．1．4 成本收益不均衡的問題 147
7．2 分類問題的推廣 147
7．3 一個(gè)重要的分析框架：期望值 148
7．3．1 用期望值規(guī)范分類器的使用 148
7．3．2 用期望值規(guī)范分類器的評(píng)估 149
7．4 評(píng)估、基線性能以及對(duì)數(shù)據(jù)投資的意義 155
7．5 小結(jié) 157
第 8 章 模型性能的可視化 159
8．1 排序，而不是分類 159
8．2 利潤(rùn)曲線 161
8．3 ROC 圖像和曲線 163
8．4 ROC 曲線下面積 168
8．5 累積響應(yīng)曲線和提升曲線 168
8．6 示例：用戶流失模型的性能分析 171
8．7 小結(jié) 177
第 9 章 證據(jù)和概率 179
9．1 示例：向線上目標(biāo)用戶投放廣告 179
9．2 根據(jù)概率合并證據(jù) 181
9．2．1 聯(lián)合概率與獨(dú)立性 181
9．2．2 貝葉斯法則 182
9．3 將貝葉斯法則應(yīng)用到數(shù)據(jù)科學(xué)中 183
9．3．1 條件獨(dú)立和樸素貝葉斯 184
9．3．2 樸素貝葉斯的優(yōu)劣勢(shì) 186
9．4 證據(jù)“提升度”的模型 187
9．5 示例：Facebook“點(diǎn)贊”的證據(jù)提升度 188
9．6 小結(jié) 190
第 10 章 文本的表示和挖掘 191
10．1 為什么文本很重要 192
10．2 為什么文本很難處理 192
10．3 表示法 193
10．3．1 詞袋模型 193
10．3．2 詞頻 193
10．3．3 度量稀疏度：逆文檔頻率 195
10．3．4 TFIDF 196
10．4 示例：爵士音樂家 197
10．5 *IDF 和熵的關(guān)系 200
10．6 詞袋模型之外的方法 202
10．6．1 n-grams 序列 202
10．6．2 命名實(shí)體提取 202
10．6．3 主題模型 203
10．7 示例：通過(guò)挖掘新聞報(bào)道預(yù)測(cè)股價(jià)變動(dòng) 204
10．7．1 任務(wù) 204
10．7．2 數(shù)據(jù) 205
10．7．3 數(shù)據(jù)處理 207
10．7．4 結(jié)果 208
10．8 小結(jié) 211
第 11 章 決策分析思維（二）：面向分析工程 212
11．1 為慈善機(jī)構(gòu)尋找最佳捐贈(zèng)人 213
11．1．1 期望值框架：分解商業(yè)問題，重組解決方案 213
11．1．2 簡(jiǎn)短的題外話：選擇性偏差 214
11．2 更復(fù)雜的用戶流失示例回顧 215
11．2．1 期望值框架：構(gòu)建更復(fù)雜的商業(yè)問題 215
11．2．2 評(píng)估激勵(lì)的影響 216
11．2．3 從期望值分解到數(shù)據(jù)科學(xué)解決方案 217
11．3 小結(jié) 219
第 12 章 其他數(shù)據(jù)科學(xué)任務(wù)與技術(shù) 220
12．1 共現(xiàn)和關(guān)聯(lián)：尋找匹配項(xiàng) 221
12．1．1 度量意外：提升度和杠桿率 221
12．1．2 示例：啤酒和彩票 222
12．1．3 Facebook 點(diǎn)贊的關(guān)聯(lián) 223
12．2 用戶畫像：尋找典型行為 225
12．3 鏈路預(yù)測(cè)和社交推薦 229
12．4 數(shù)據(jù)約簡(jiǎn)、潛在信息和電影推薦 230
12．5 偏差、方差和集成方法 233
12．6 數(shù)據(jù)驅(qū)動(dòng)的因果解釋和一個(gè)病毒式營(yíng)銷示例 235
12．7 小結(jié) 236
第 13 章 數(shù)據(jù)科學(xué)和經(jīng)營(yíng)戰(zhàn)略 237
13．1 數(shù)據(jù)分析式思維，終極版 237
13．2 用數(shù)據(jù)科學(xué)取得競(jìng)爭(zhēng)優(yōu)勢(shì) 238
13．3 用數(shù)據(jù)科學(xué)保持競(jìng)爭(zhēng)優(yōu)勢(shì) 239
13．3．1 令人敬畏的歷史優(yōu)勢(shì) 240
13．3．2 獨(dú)一無(wú)二的知識(shí)產(chǎn)權(quán) 240
13．3．3 獨(dú)一無(wú)二的無(wú)形抵押資產(chǎn) 240
13．3．4 優(yōu)秀的數(shù)據(jù)科學(xué)家 241
13．3．5 優(yōu)秀的數(shù)據(jù)科學(xué)管理 242
13．4 吸引和培養(yǎng)數(shù)據(jù)科學(xué)家及其團(tuán)隊(duì) 243
13．5 檢驗(yàn)數(shù)據(jù)科學(xué)案例分析 244
13．6 做好準(zhǔn)備，接受來(lái)源各異的創(chuàng)意 245
13．7 做好準(zhǔn)備，評(píng)估數(shù)據(jù)科學(xué)項(xiàng)目提案 245
13．7．1 數(shù)據(jù)挖掘提案示例 246
13．7．2 Big Red 提案中的缺陷 246
13．8 企業(yè)的數(shù)據(jù)科學(xué)成熟度 247
第 14 章 總結(jié) 250
14．1 數(shù)據(jù)科學(xué)的基本概念 250
14．1．1 將基本概念應(yīng)用于新問題：挖掘移動(dòng)設(shè)備數(shù)據(jù) 252
14．1．2 改變對(duì)商業(yè)問題解決方案的思考方式 253
14．2 數(shù)據(jù)做不到的：圈中人回顧 254
14．3 隱私、道德和挖掘個(gè)人數(shù)據(jù) 256
14．4 數(shù)據(jù)科學(xué)是否還有更多內(nèi)容 257
14．5 最后一例：從眾包到云包 257
14．6 最后的話 258
附錄 A 提案評(píng)估指南 259
附錄 B 另一個(gè)提案示例 262
參考文獻(xiàn) 265
術(shù)語(yǔ)表 273
關(guān)于作者 278