Python大數(shù)據(jù)處理與分析

第 一部分 基礎篇
第 1章　搭建開發(fā)環(huán)境　2
1．1　Python解釋器的安裝　2
1．1．1　在Windows系統(tǒng)下安裝Python解釋器　2
1．1．2　在Linux系統(tǒng)下安裝Python解釋器　6
1．1．3　在macOS系統(tǒng)下安裝Python解釋器　10
1．1．4　運行第 一個hello world程序　12
1．2　Anaconda的安裝及環(huán)境變量配置　12
1．2．1　Anaconda簡介　12
1．2．2　安裝Anaconda　14
1．2．3　配置Anaconda環(huán)境變量　16
1．3　Jupyter Notebook與PyCharm的安裝及工程環(huán)境設置　17
1．3．1　Jupyter Notebook的簡介與安裝　18
1．3．2　設置Jupyter Notebook工程環(huán)境　19
1．3．3　PyCharm的簡介與安裝　23
1．3．4　設置PyCharm工程環(huán)境　25
習題　28
第 2章　使用NumPy進行數(shù)據(jù)
計算　29
2．1　安裝NumPy　29
2．2　NumPy中的數(shù)組對象　30
2．2．1　數(shù)組對象的創(chuàng)建　31
2．2．2　數(shù)組對象的常用屬性　34
2．2．3　數(shù)組元素的訪問與修改　36
2．2．4　數(shù)組對象的基礎運算　37
2．2．5　數(shù)組對象的常用函數(shù)　38
2．3　使用NumPy進行數(shù)學運算　42
2．3．1　位運算函數(shù)　42
2．3．2　數(shù)學函數(shù)　44
2．3．3　算術函數(shù)　45
2．3．4　統(tǒng)計函數(shù)　47
2．3．5　線性代數(shù)函數(shù)　49
2．4　NumPy使用案例　52
習題　53
第3章　使用pandas進行數(shù)據(jù)分析　54
3．1　安裝pandas　54
3．2　pandas中的對象　55
3．2．1　Series對象　56
3．2．2　DataFrame對象　57
3．3　pandas的基本操作　58
3．3．1　導入與導出數(shù)據(jù)　59
3．3．2　數(shù)據(jù)的查看與檢查　60
3．3．3　數(shù)據(jù)的增刪查改　62
3．4　pandas的基本運用　64
3．4．1　數(shù)據(jù)統(tǒng)計　64
3．4．2　算術運算與數(shù)據(jù)對齊　66
3．5　pandas使用案例　68
習題　70
第4章　Matplotlib數(shù)據(jù)
可視化　71
4．1　安裝Matplotlib與繪圖基本步驟　71
4．1．1　安裝Matplotlib　71
4．1．2　Matplotlib繪圖基本步驟　72
4．2　經(jīng)典圖形繪制　74
4．2．1　折線圖　74
4．2．2　柱狀圖　77
4．2．3　直方圖　80
4．2．4　散點圖　82
4．2．5　等值線圖及地理信息可視化　86
4．3　圖表調整及美化　92
4．3．1　圖表主要組成元素調整　92
4．3．2　顏色參數(shù)及映射表　97
4．4　Matplotlib使用案例　98
習題　102
第5章　數(shù)據(jù)預處理　103
5．1　數(shù)據(jù)清洗與準備　103
5．1．1　數(shù)據(jù)清洗準備　103
5．1．2　數(shù)據(jù)清洗　104
5．2　正則表達式　108
5．2．1　正則表達式的特點與組成　108
5．2．2　字符串方法　109
5．2．3　re模塊　113
5．3　數(shù)據(jù)規(guī)整　117
5．3．1　聚合、分組及數(shù)據(jù)透視　117
5．3．2　特征選擇（降維）　120
5．3．3　數(shù)據(jù)變換與數(shù)據(jù)規(guī)約　122
5．3．4　稀疏表示和字典學習　124
習題　126
第二部分　實例篇
第6章　基于大數(shù)據(jù)的房產(chǎn)估價　128
6．1　情景問題提出及分析　128
6．2　多元回歸模型介紹　128
6．3　方法與過程　129
6．3．1　讀入數(shù)據(jù)并進行數(shù)據(jù)預處理　130
6．3．2　將預處理好的數(shù)據(jù)可視化　141
6．3．3　使用多元回歸模型進行房產(chǎn)估價　146
6．3．4　模型效果評價　148
上機實驗　151
第7章　某移動公司客戶價值分析　152
7．1　情景問題提出及分析　152
7．2　K-Means聚類算法簡介　153
7．3　客戶價值分析過程　155
7．3．1　讀入數(shù)據(jù)并進行數(shù)據(jù)預處理　156
7．3．2　數(shù)據(jù)標準化　165
7．3．3　使用K-Means聚類算法對客戶進行分析　167
7．3．4　數(shù)據(jù)可視化及數(shù)據(jù)分析　172
上機實驗　178
第8章　基于歷史數(shù)據(jù)的氣溫及降水預測　179
8．1　情景問題提出及分析　179
8．2　常見的時間序列模型簡介　180
8．2．1　AR模型　180
8．2．2　MA模型　181
8．2．3　ARMA模型　181
8．2．4　ARIMA模型　182
8．2．5　模型求解步驟　183
8．3　平穩(wěn)序列建模示例（降水預測）　186
8．3．1　讀入數(shù)據(jù)并進行預處理　186
8．3．2　時間序列的平穩(wěn)性分析　190
8．3．3　模型選擇及定階　191
8．3．4　建立時序模型并預測　193
8．4　非平穩(wěn)序列建模示例（氣溫預測）　195
8．4．1　讀入數(shù)據(jù)并進行預處理　195
8．4．2　時間序列的平穩(wěn)性分析　197
8．4．3　模型選擇及定階　198
8．4．4　建立時序模型并預測　200
上機實驗　202
第9章　智能電網(wǎng)的電能預估及價值分析　203
9．1　情景問題提出及分析　203
9．2　決策樹算法簡介　203
9．2．1　ID3算法　205
9．2．2　C4．5算法　207
9．2．3　CART算法　208
9．2．4　預剪枝與后剪枝　208
9．2．5　連續(xù)值處理　209
9．3　方法與過程　211
9．3．1　讀入數(shù)據(jù)并預處理　211
9．3．2　模型構建　218
9．3．3　模型效果評價　221
上機實驗　221
參考文獻　223