Python數(shù)據(jù)分析與數(shù)據(jù)化運營（第2版）

前言
第1章　Python和數(shù)據(jù)化運營1
1.1　用Python做數(shù)據(jù)化運營1
1.1.1　Python是什么1
1.1.2　數(shù)據(jù)化運營是什么2
1.1.3　Python用于數(shù)據(jù)化運營5
1.2　數(shù)據(jù)化運營所需的Python相關(guān)工具和組件5
1.2.1　Python程序6
1.2.2　Python交互環(huán)境Jupyter7
1.2.3　Python第三方庫23
1.2.4　數(shù)據(jù)庫和客戶端29
1.2.5　SSH遠程客戶端30
1.3　內(nèi)容延伸：Python的OCR和tensorflow31
1.3.1　OCR工具：Tesseract-ocr31
1.3.2　機器學習框架：TensorFlow31
1.4　第1個用Python實現(xiàn)的數(shù)據(jù)化運營分析實例、銷售預(yù)測32
1.4.1　案例概述32
1.4.2　案例過程32
1.4.3　案例小結(jié)36
1.5　本章小結(jié)37
第2章　數(shù)據(jù)化運營的數(shù)據(jù)來源40
2.1　數(shù)據(jù)化運營的數(shù)據(jù)來源類型40
2.1.1　數(shù)據(jù)文件40
2.1.2　數(shù)據(jù)庫41
2.1.3　API42
2.1.4　流式數(shù)據(jù)43
2.1.5　外部公開數(shù)據(jù)43
2.1.6　其他來源44
2.2　使用Python獲取運營數(shù)據(jù)44
2.2.1　從文本文件讀取運營數(shù)據(jù)44
2.2.2　從Excel獲取運營數(shù)據(jù)55
2.2.3　從關(guān)系型數(shù)據(jù)庫MySQL讀取運營數(shù)據(jù)57
2.2.4　從非關(guān)系型數(shù)據(jù)庫MongoDB讀取運營數(shù)據(jù)64
2.2.5　從API獲取運營數(shù)據(jù)68
2.3　內(nèi)容延伸：讀取非結(jié)構(gòu)化網(wǎng)頁、文本、圖像、視頻、語音72
2.3.1　從網(wǎng)頁中獲取運營數(shù)據(jù)72
2.3.2　讀取非結(jié)構(gòu)化文本數(shù)據(jù)73
2.3.3　讀取圖像數(shù)據(jù)74
2.3.4　讀取視頻數(shù)據(jù)78
2.3.5　讀取語音數(shù)據(jù)81
2.4　本章小結(jié)85
第3章　10條數(shù)據(jù)化運營不得不知道的數(shù)據(jù)預(yù)處理經(jīng)驗87
3.1　數(shù)據(jù)清洗：缺失值、異常值和重復(fù)值的處理87
3.1.1　數(shù)據(jù)列缺失的4種處理方法87
3.1.2　不要輕易拋棄異常數(shù)據(jù)89
3.1.3　數(shù)據(jù)重復(fù)就需要去重嗎90
3.1.4　代碼實操：Python數(shù)據(jù)清洗92
3.2　將分類數(shù)據(jù)和順序數(shù)據(jù)轉(zhuǎn)換為標志變量100
3.2.1　分類數(shù)據(jù)和順序數(shù)據(jù)是什么100
3.2.2　運用標志方法處理分類和順序變量101
3.2.3　代碼實操：Python標志轉(zhuǎn)換101
3.3　大數(shù)據(jù)時代的數(shù)據(jù)降維104
3.3.1　需要數(shù)據(jù)降維的情況104
3.3.2　基于特征選擇的降維105
3.3.3　基于特征轉(zhuǎn)換的降維106
3.3.4　基于特征組合的降維112
3.3.5　代碼實操：Python數(shù)據(jù)降維114
3.4　解決樣本類別分布不均衡的問題123
3.4.1　哪些運營場景中容易出現(xiàn)樣本不均衡124
3.4.2　通過過抽樣和欠抽樣解決樣本不均衡124
3.4.3　通過正負樣本的懲罰權(quán)重解決樣本不均衡124
3.4.4　通過組合/集成方法解決樣本不均衡125
3.4.5　通過特征選擇解決樣本不均衡125
3.4.6　代碼實操：Python處理樣本不均衡125
3.5　數(shù)據(jù)化運營要抽樣還是全量數(shù)據(jù)128
3.5.1　什么時候需要抽樣128
3.5.2　如何進行抽樣129
3.5.3　抽樣需要注意的幾個問題130
3.5.4　代碼實操：Python數(shù)據(jù)抽樣131
3.6　解決運營數(shù)據(jù)的共線性問題135
3.6.1　如何檢驗共線性135
3.6.2　解決共線性的5種常用方法136
3.6.3　代碼實操：Python處理共線性問題137
3.7　有關(guān)相關(guān)性分析的混沌139
3.7.1　相關(guān)和因果是一回事嗎139
3.7.2　相關(guān)系數(shù)低就是不相關(guān)嗎139
3.7.3　代碼實操：Python相關(guān)性分析140
3.8　標準化，讓運營數(shù)據(jù)落入相同的范圍141
3.8.1　實現(xiàn)中心化和正態(tài)分布的Z-Score141
3.8.2　實現(xiàn)歸一化的Max-Min142
3.8.3　用于稀疏數(shù)據(jù)的MaxAbs142
3.8.4　針對離群點的RobustScaler142
3.8.5　代碼實操：Python數(shù)據(jù)標準化處理142
3.9　離散化，對運營數(shù)據(jù)做邏輯分層145
3.9.1　針對時間數(shù)據(jù)的離散化145
3.9.2　針對多值離散數(shù)據(jù)的離散化146
3.9.3　針對連續(xù)數(shù)據(jù)的離散化146
3.9.4　針對連續(xù)數(shù)據(jù)的二值化147
3.9.5　代碼實操：Python數(shù)據(jù)離散化處理147
3.10　內(nèi)容延伸：非結(jié)構(gòu)化數(shù)據(jù)的預(yù)處理151
3.10.1　網(wǎng)頁數(shù)據(jù)解析151
3.10.2　網(wǎng)絡(luò)用戶日志解析159
3.10.3　圖像的基本預(yù)處理164
3.10.4　自然語言文本預(yù)處理169
3.11　本章小結(jié)172
第4章　跳過運營數(shù)據(jù)分析和挖掘的“大坑”174
4.1　聚類分析174
4.1.1　當心數(shù)據(jù)異常對聚類結(jié)果的影響175
4.1.2　超大數(shù)據(jù)量時應(yīng)該放棄K均值算法175
4.1.3　聚類不僅是建模的終點，更是重要的中間預(yù)處理過程177
4.1.4　高維數(shù)據(jù)上無法應(yīng)用聚類嗎178
4.1.5　如何選擇聚類分析算法179
4.1.6　案例：客戶特征的聚類與探索性分析179
4.2　回歸分析196
4.2.1　注意回歸自變量之間的共線性問題197
4.2.2　相關(guān)系數(shù)、判定系數(shù)和回歸系數(shù)之間是什么關(guān)系197
4.2.3　判定系數(shù)是否意味著相應(yīng)的因果聯(lián)系197
4.2.4　注意應(yīng)用回歸模型時研究自變量是否產(chǎn)生變化198
4.2.5　如何選擇回歸分析算法198
4.2.6　案例：大型促銷活動前的銷售預(yù)測199
4.3　分類分析206
4.3.1　防止分類模型的過擬合問題207
4.3.2　使用關(guān)聯(lián)算法做分類分析207
4.3.3　用分類分析來提煉規(guī)則、提取變量、處理缺失值208
4.3.4　類別劃分：分類算法和聚類算法都是好手209
4.3.5　如何選擇分類分析算法210
4.3.6　案例：用戶流失預(yù)測分析與應(yīng)用210
4.4　關(guān)聯(lián)分析221
4.4.1　頻繁規(guī)則不一定是有效規(guī)則221
4.4.2　不要被啤酒尿布的故事禁錮你的思維222
4.4.3　被忽略的“負相關(guān)”模式真的毫無用武之地嗎223
4.4.4　頻繁規(guī)則只能打包組合應(yīng)用嗎2