Python數(shù)據(jù)分析與應用

第1章　Python數(shù)據(jù)分析概述　1
任務1．1　認識數(shù)據(jù)分析　1
1．1．1　掌握數(shù)據(jù)分析的概念　2
1．1．2　掌握數(shù)據(jù)分析的流程　2
1．1．3　了解數(shù)據(jù)分析應用場景　4
任務1．2　熟悉Python數(shù)據(jù)分析的工具　5
1．2．1　了解數(shù)據(jù)分析常用工具　6
1．2．2　了解Python數(shù)據(jù)分析的優(yōu)勢　7
1．2．3　了解Python數(shù)據(jù)分析常用類庫　7
任務1．3　安裝Python的Anaconda發(fā)行版　9
1．3．1　了解Python的Anaconda發(fā)行版　9
1．3．2　在Windows系統(tǒng)中安裝Anaconda　9
1．3．3　在Linux系統(tǒng)中安裝Anaconda　12
任務1．4　掌握Jupyter Notebook常用功能　14
1．4．1　掌握Jupyter Notebook的基本功能　14
1．4．2　掌握Jupyter Notebook的高 級功能　16
小結　19
課后習題　19
* 2章　NumPy數(shù)值計算基礎　21
任務2．1　掌握NumPy數(shù)組對象ndarray　21
2．1．1　創(chuàng)建數(shù)組對象　21
2．1．2　生成隨機數(shù)　27
2．1．3　通過索引訪問數(shù)組　29
2．1．4　變換數(shù)組的形態(tài)　31
任務2．2　掌握NumPy矩陣與通用函數(shù)　34
2．2．1　創(chuàng)建NumPy矩陣　34
2．2．2　掌握ufunc函數(shù)　37
任務2．3　利用NumPy進行統(tǒng)計分析　41
2．3．1　讀/寫文件　41
2．3．2　使用函數(shù)進行簡單的統(tǒng)計分析　44
2．3．3　任務實現(xiàn)　48
小結　50
實訓　50
實訓1　創(chuàng)建數(shù)組并進行運算　50
實訓2　創(chuàng)建一個國際象棋的棋盤　50
課后習題　51
第3章　Matplotlib數(shù)據(jù)可視化基礎　52
任務3．1　掌握繪圖基礎語法與常用參數(shù)　52
3．1．1　掌握pyplot基礎語法　53
3．1．2　設置pyplot的動態(tài)rc參數(shù)　56
任務3．2　分析特征間的關系　59
3．2．1　繪制散點圖　59
3．2．2　繪制折線圖　62
3．2．3　任務實現(xiàn)　65
任務3．3　分析特征內部數(shù)據(jù)分布與分散狀況　68
3．3．1　繪制直方圖　68
3．3．2　繪制餅圖　70
3．3．3　繪制箱線圖　71
3．3．4　任務實現(xiàn)　73
小結　77
實訓　78
實訓1　分析1996～2015年人口數(shù)據(jù)特征間的關系　78
實訓2　分析1996～2015年人口數(shù)據(jù)各個特征的分布與分散狀況　78
課后習題　79
第4章　pandas統(tǒng)計分析基礎　80
任務4．1　讀/寫不同數(shù)據(jù)源的數(shù)據(jù)　80
4．1．1　讀/寫數(shù)據(jù)庫數(shù)據(jù)　80
4．1．2　讀/寫文本文件　83
4．1．3　讀/寫Excel文件　87
4．1．4　任務實現(xiàn)　88
任務4．2　掌握DataFrame的常用操作　89
4．2．1　查看DataFrame的常用屬性　89
4．2．2　查改增刪DataFrame數(shù)據(jù)　91
4．2．3　描述分析DataFrame數(shù)據(jù)　101
4．2．4　任務實現(xiàn)　104
任務4．3　轉換與處理時間序列數(shù)據(jù)　107
4．3．1　轉換字符串時間為標準時間　107
4．3．2　提取時間序列數(shù)據(jù)信息　109
4．3．3　加減時間數(shù)據(jù)　110
4．3．4　任務實現(xiàn)　111
任務4．4　使用分組聚合進行組內計算　113
4．4．1　使用groupby方法拆分數(shù)據(jù)　114
4．4．2　使用agg方法聚合數(shù)據(jù)　116
4．4．3　使用apply方法聚合數(shù)據(jù)　119
4．4．4　使用transform方法聚合數(shù)據(jù)　121
4．4．5　任務實現(xiàn)　121
任務4．5　創(chuàng)建透視表與交叉表　123
4．5．1　使用pivot_table函數(shù)創(chuàng)建透視表　123
4．5．2　使用crosstab函數(shù)創(chuàng)建交叉表　127
4．5．3　任務實現(xiàn)　128
小結　130
實訓　130
實訓1　讀取并查看P2P網(wǎng)絡貸款數(shù)據(jù)主表的基本信息　130
實訓2　提取用戶信息更新表和登錄信息表的時間信息　130
實訓3　使用分組聚合方法進一步分析用戶信息更新表和登錄信息表　131
實訓4　對用戶信息更新表和登錄信息表進行長寬表轉換　131
課后習題　131
第5章　使用pandas進行數(shù)據(jù)預處理　133
任務5．1　合并數(shù)據(jù)　133
5．1．1　堆疊合并數(shù)據(jù)　133
5．1．2　主鍵合并數(shù)據(jù)　136
5．1．3　重疊合并數(shù)據(jù)　139
5．1．4　任務實現(xiàn)　140
任務5．2　清洗數(shù)據(jù)　141
5．2．1　檢測與處理重復值　141
5．2．2　檢測與處理缺失值　146
5．2．3　檢測與處理異常值　149
5．2．4　任務實現(xiàn)　152
任務5．3　標準化數(shù)據(jù)　154
5．3．1　離差標準化數(shù)據(jù)　154
5．3．2　標準差標準化數(shù)據(jù)　155
5．3．3　小數(shù)定標標準化數(shù)據(jù)　156
5．3．4　任務實現(xiàn)　157
任務5．4　轉換數(shù)據(jù)　158
5．4．1　啞變量處理類別型數(shù)據(jù)　158
5．4．2　離散化連續(xù)型數(shù)據(jù)　160
5．4．3　任務實現(xiàn)　162
小結　163
實訓　164
實訓1　插補用戶用電量數(shù)據(jù)缺失值　164
實訓2　合并線損、用電量趨勢與線路告警數(shù)據(jù)　164
實訓3　標準化建模專家樣本數(shù)據(jù)　164
課后習題　165
第6章　使用scikit-learn構建模型　167
任務6．1　使用sklearn轉換器處理數(shù)據(jù)　167
6．1．1　加載datasets模塊中的數(shù)據(jù)集　167
6．1．2　將數(shù)據(jù)集劃分為訓練集和測試集　170
6．1．3　使用sklearn轉換器進行數(shù)據(jù)預處理與降維　172
6．1．4　任務實現(xiàn)　174
任務6．2　構建并評價聚類模型　176
6．2．1　使用sklearn估計器構建聚類模型　176
6．2．2　評價聚類模型　179
6．2．3　任務實現(xiàn)　182
任務6．3　構建并評價分類模型　183
6．3．1　使用sklearn估計器構建分類模型　183
6．3．2　評價分類模型　186
6．3．3　任務實現(xiàn)　188
任務6．4　構建并評價回歸模型　190
6．4．1　使用sklearn估計器構建線性回歸模型　190
6．4．2　評價回歸模型　193
6．4．3　任務實現(xiàn)　194
小結　196
實訓　196
實訓1　使用sklearn處理wine和wine_quality數(shù)據(jù)集　196
實訓2　構建基于wine數(shù)據(jù)集的K-Means聚類模型　196
實訓3　構建基于wine數(shù)據(jù)集的SVM分類模型　197
實訓4　構建基于wine_quality數(shù)據(jù)集的回歸模型　197
課后習題　198
第7章　航空公司客戶價值分析　199
任務7．1　了解航空公司現(xiàn)狀與客戶價值分析　199
7．1．1　了解航空公司現(xiàn)狀　200
7．1．2　認識客戶價值分析　201
7．1．3　熟悉航空客戶價值分析的步驟與流程　201
任務7．2　預處理航空客戶數(shù)據(jù)　202
7．2．1　處理數(shù)據(jù)缺失值與異常值　202
7．2．2　構建航空客戶價值分析關鍵特征　202
7．2．3　標準化LRFMC模型的5個特征　206
7．2．4　任務實現(xiàn)　207
任務7．3　使用K-Means算法進行客戶分群　209
7．3．1　了解K-Means聚類算法　209
7．3．2　分析聚類結果　210
7．3．3　模型應用　213
7．3．4　任務實現(xiàn)　214
小結　215
實訓　215
實訓1　處理信用卡數(shù)據(jù)異常值　215
實訓2　構造信用卡客戶風險評價關鍵特征　217
實訓3　構建K-Means聚類模型　218
課后習題　218
第8章　財政收入預測分析　220
任務8．1　了解財政收入預測的背景與方法　220
8．1．1　分析財政收入預測背景　220
8．1．2　了解財政收入預測的方法　222
8．1．3　熟悉財政收入預測的步驟與流程　223
任務8．2　分析財政收入數(shù)據(jù)特征的相關性　223
8．2．1　了解相關性分析　223
8．2．2　分析計算結果　224
8．2．3　任務實現(xiàn)　225
任務8．3　使用Lasso回歸選取財政收入預測的關鍵特征　225
8．3．1　了解Lasso回歸方法　226
8．3．2　分析Lasso回歸結果　227
8．3．3　任務實現(xiàn)　227
任務8．4　使用灰色預測和SVR構建財政收入預測模型　228
8．4．1　了解灰色預測算法　228
8．4．2　了解SVR算法　229
8．4．3　分析預測結果　232
8．4．4　任務實現(xiàn)　234
小結　236
實訓　236
實訓1　求取企業(yè)所得稅各特征間的相關系數(shù)　236
實訓2　選取企業(yè)所得稅預測關鍵特征　237
實訓3　構建企業(yè)所得稅預測模型　237
課后習題　237
第9章　家用熱水器用戶行為分析與事件識別　239
任務9．1　了解家用熱水器用戶行為分析的背景與步驟　239
9．1．1　分析家用熱水器行業(yè)現(xiàn)狀　240
9．1．2　了解熱水器采集數(shù)據(jù)基本情況　240
9．1．3　熟悉家用熱水器用戶行為分析的步驟與流程　241
任務9．2　預處理熱水器用戶用水數(shù)據(jù)　242
9．2．1　刪除冗余特征　242
9．2．2　劃分用水事件　243
9．2．3　確定單次用水事件時長閾值　244
9．2．4　任務實現(xiàn)　246
任務9．3　構建用水行為特征并篩選用水事件　247
9．3．1　構建用水時長與頻率特征　248
9．3．2　構建用水量與波動特征　249
9．3．3　篩選候選洗浴事件　250
9．3．4　任務實現(xiàn)　251
任務9．4　構建行為事件分析的BP神經(jīng)網(wǎng)絡模型　255
9．4．1　了解BP神經(jīng)網(wǎng)絡算法原理　255
9．4．2　構建模型　259
9．4．3　評估模型　260
9．4．4　任務實現(xiàn)　260
小結　263
實訓　263
實訓1　清洗運營商客戶數(shù)據(jù)　263
實訓2　篩選客戶運營商數(shù)據(jù)　264
實訓3　構建神經(jīng)網(wǎng)絡預測模型　265
課后習題　265
附錄A　267
附錄B　270
參考文獻　295