Python大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)（微課版）

基礎(chǔ)篇\t1
第　1章 Python基礎(chǔ)　1
1．1　Python概述　1
1．2　Python安裝及啟動(dòng)　1
1．2．1　Python安裝　1
1．2．2　Python啟動(dòng)及界面認(rèn)識(shí)　4
1．3　Python擴(kuò)展包安裝　9
1．3．1　在線安裝　9
1．3．2　離線安裝　10
1．4　Python基本數(shù)據(jù)類型　11
1．4．1　數(shù)值的定義　11
1．4．2　字符串的定義　11
1．4．3　列表的定義　12
1．4．4　元組的定義　12
1．4．5　集合的定義　12
1．4．6　字典的定義　13
1．5　Python相關(guān)的公有方法　13
1．5．1　索引　13
1．5．2　切片　14
1．5．3　長(zhǎng)度　15
1．5．4　統(tǒng)計(jì)　15
1．5．5　成員身份　15
1．5．6　變量刪除　16
1．6　列表、元組、字符串與字典方法　16
1．6．1　列表方法　16
1．6．2　元組方法　18
1．6．3　字符串方法　19
1．6．4　字典方法　20
1．7　條件語(yǔ)句　21
1．7．1　if…語(yǔ)句　21
1．7．2　if…else…語(yǔ)句　21
1．7．3　if…elif…else…語(yǔ)句　22
1．8　循環(huán)語(yǔ)句　22
1．8．1　while語(yǔ)句　22
1．8．2　for循環(huán)　23
1．9　函數(shù)　23
1．9．1　無返回值函數(shù)的定義與調(diào)用　23
1．9．2　有返回值函數(shù)的定義與調(diào)用　24
1．9．3　有多返回值函數(shù)的定義與調(diào)用　24
本章小結(jié)　25
本章練習(xí)　25
第　2章 科學(xué)計(jì)算包Numpy　26
2．1　Numpy簡(jiǎn)介　26
2．2　創(chuàng)建數(shù)組　27
2．2．1　利用array()函數(shù)創(chuàng)建數(shù)組　27
2．2．2　利用內(nèi)置函數(shù)創(chuàng)建數(shù)組　28
2．3　數(shù)組尺寸　28
2．4　數(shù)組運(yùn)算　29
2．5　數(shù)組切片　30
2．5．1　常見的數(shù)組切片方法　30
2．5．2　利用ix_()函數(shù)進(jìn)行數(shù)組切片　31
2．6　數(shù)組連接　32
2．7　數(shù)據(jù)存取　33
2．8　數(shù)組形態(tài)變換　34
2．9　數(shù)組排序與搜索　35
2．10　矩陣與線性代數(shù)運(yùn)算　36
2．10．1　創(chuàng)建Numpy矩陣　36
2．10．2　矩陣的屬性和基本運(yùn)算　37
2．10．3　線性代數(shù)運(yùn)算　38
本章小結(jié)　41
本章練習(xí)　42
第3章　數(shù)據(jù)處理包Pandas　43
3．1　Pandas簡(jiǎn)介　43
3．2　序列　44
3．2．1　序列創(chuàng)建及訪問　44
3．2．2　序列屬性　45
3．2．3　序列方法　46
3．2．4　序列切片　47
3．2．5　序列聚合運(yùn)算　48
3．3　數(shù)據(jù)框　48
3．3．1　數(shù)據(jù)框創(chuàng)建　49
3．3．2　數(shù)據(jù)框?qū)傩浴?9
3．3．3　數(shù)據(jù)框方法　50
3．3．4　數(shù)據(jù)框切片　54
3．4　外部文件讀取　56
3．4．1　Excel文件讀取　56
3．4．2　TXT文件讀取　57
3．4．3　CSV文件讀取　58
3．5　常用函數(shù)　59
3．5．1　滾動(dòng)計(jì)算函數(shù)　59
3．5．2　數(shù)據(jù)框合并函數(shù)　60
3．5．3　數(shù)據(jù)框關(guān)聯(lián)函數(shù)　61
本章小結(jié)　62
本章練習(xí)　63
第4章　數(shù)據(jù)可視化包Matplotlib　65
4．1　Matplotlib繪圖基礎(chǔ)　65
4．1．1　Matplotlib圖像構(gòu)成　65
4．1．2　Matplotlib繪圖基本流程　65
4．1．3　中文字符顯示　67
4．1．4　坐標(biāo)軸字符刻度標(biāo)注　69
4．2　Matplotlib常用圖形繪制　70
4．2．1　散點(diǎn)圖　71
4．2．2　線性圖　72
4．2．3　柱狀圖　73
4．2．4　直方圖　74
4．2．5　餅圖　75
4．2．6　箱線圖　75
4．2．7　子圖　76
本章小結(jié)　79
本章練習(xí)　79
第5章　機(jī)器學(xué)習(xí)與實(shí)現(xiàn)　80
5．1　Scikit-learn簡(jiǎn)介　80
5．2　數(shù)據(jù)預(yù)處理　80
5．2．1　缺失值處理　81
5．2．2　數(shù)據(jù)規(guī)范化　83
5．2．3　主成分分析　86
5．3　線性回歸　93
5．3．1　一元線性回歸　93
5．3．2　多元線性回歸　96
5．3．3　Python線性回歸應(yīng)用舉例　97
5．4　邏輯回歸　99
5．4．1　邏輯回歸模型　99
5．4．2　Python邏輯回歸模型應(yīng)用舉例　100
5．5　神經(jīng)網(wǎng)絡(luò)　101
5．5．1　神經(jīng)網(wǎng)絡(luò)模擬思想　101
5．5．2　神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)學(xué)模型　103
5．5．3　Python神經(jīng)網(wǎng)絡(luò)分類應(yīng)用舉例　104
5．5．4　Python神經(jīng)網(wǎng)絡(luò)回歸應(yīng)用舉例　105
5．6　支持向量機(jī)　106
5．6．1　支持向量機(jī)原理　106
5．6．2　Python支持向量機(jī)應(yīng)用舉例　107
5．7　K-均值聚類　109
5．7．1　K-均值聚類的基本原理　110
5．7．2　Python K-均值聚類算法應(yīng)用舉例　113
5．8　關(guān)聯(lián)規(guī)則　114
5．8．1　關(guān)聯(lián)規(guī)則概念　114
5．8．2　布爾關(guān)聯(lián)規(guī)則挖掘　116
5．8．3　一對(duì)一關(guān)聯(lián)規(guī)則挖掘及Python實(shí)現(xiàn)　116
5．8．4　多對(duì)一關(guān)聯(lián)規(guī)則挖掘及Python實(shí)現(xiàn)　118
本章小結(jié)　123
本章練習(xí)　123
第6章　深度學(xué)習(xí)與實(shí)現(xiàn)　128
6．1　深度學(xué)習(xí)簡(jiǎn)介　128
6．2　深度學(xué)習(xí)框架簡(jiǎn)介　128
6．2．1　Caffe框架　128
6．2．2　Theano框架　129
6．2．3　PaddlePaddle框架　129
6．2．4　TensorFlow框架　129
6．3　TensorFlow基礎(chǔ)　129
6．3．1　TensorFlow安裝　129
6．3．2　TensorFlow命令簡(jiǎn)介　133
6．3．3　TensorFlow案例　135
6．4　多層神經(jīng)網(wǎng)絡(luò)　139
6．4．1　多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)學(xué)模型　139
6．4．2　多層神經(jīng)網(wǎng)絡(luò)分類問題應(yīng)用舉例　141
6．4．3　多層神經(jīng)網(wǎng)絡(luò)回歸問題應(yīng)用舉例　144
6．5　卷積神經(jīng)網(wǎng)絡(luò)　151
6．5．1　卷積層計(jì)算　151
6．5．2　池化層計(jì)算　153
6．5．3　全連接層計(jì)算　155
6．5．4　CNN應(yīng)用案例　155
6．6　循環(huán)神經(jīng)網(wǎng)絡(luò)　161
6．6．1　RNN結(jié)構(gòu)及數(shù)學(xué)模型　161
6．6．2　長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）　162
6．6．3　RNN應(yīng)用案例　164
本章小結(jié)　167
本章練習(xí)　168
案例篇　169
第7章　基于財(cái)務(wù)與交易數(shù)據(jù)的量化投資分析　169
7．1　案例背景　169
7．2　案例目標(biāo)及實(shí)現(xiàn)思路　169
7．3　基于總體規(guī)模與投資效率指標(biāo)的綜合評(píng)價(jià)　170
7．3．1　指標(biāo)選擇　171
7．3．2　數(shù)據(jù)獲取　171
7．3．3　數(shù)據(jù)處理　173
7．3．4　主成分分析　174
7．3．5　綜合排名　174
7．4　技術(shù)分析指標(biāo)選擇與計(jì)算　175
7．4．1　移動(dòng)平均線　176
7．4．2　指數(shù)平滑異同平均線　176
7．4．3　隨機(jī)指標(biāo)　177
7．4．4　相對(duì)強(qiáng)弱指標(biāo)　177
7．4．5　乖離率指標(biāo)　178
7．4．6　能量潮指標(biāo)　178
7．4．7　漲跌趨勢(shì)指標(biāo)　179
7．4．8　計(jì)算舉例　179
7．5　量化投資模型與策略實(shí)現(xiàn)　182
7．5．1　投資組合構(gòu)建　183
7．5．2　基于邏輯回歸的量化投資策略實(shí)現(xiàn)　183
本章小結(jié)　186
本章練習(xí)　186
第8章　眾包任務(wù)定價(jià)優(yōu)化方案　187
8．1　案例背景　187
8．2　案例目標(biāo)及實(shí)現(xiàn)思路　188
8．3　數(shù)據(jù)獲取與探索　188
8．3．1　地理信息可視化包folium安裝　188
8．3．2　數(shù)據(jù)讀取與地圖可視化　189
8．4　指標(biāo)計(jì)算　190
8．4．1　指標(biāo)設(shè)計(jì)　190
8．4．2　指標(biāo)計(jì)算方法　191
8．4．3　程序?qū)崿F(xiàn)　192
8．5　任務(wù)定價(jià)模型構(gòu)建　198
8．5．1　指標(biāo)數(shù)據(jù)預(yù)處理　198
8．5．2　多元線性回歸模型　201
8．5．3　神經(jīng)網(wǎng)絡(luò)模型　202
8．6　方案評(píng)價(jià)　202
8．6．1　任務(wù)完成增加量　202
8．6．2　成本增加額　203
8．6．3　完整實(shí)現(xiàn)代碼　203
本章小結(jié)　205
本章練習(xí)　205
第9章　地鐵站點(diǎn)日客流量預(yù)測(cè)　205
9．1　案例背景　206
9．2　案例目標(biāo)及實(shí)現(xiàn)思路　206
9．3　數(shù)據(jù)獲取與探索　207
9．3．1　二分法查找思想　208
9．3．2　每日數(shù)據(jù)index范圍提取　208
9．4　指標(biāo)計(jì)算　209
9．4．1　指標(biāo)設(shè)計(jì)　210
9．4．2　指標(biāo)計(jì)算方法　210
9．4．3　程序?qū)崿F(xiàn)　210
9．4．4　指標(biāo)數(shù)據(jù)預(yù)處理　214
9．5　數(shù)據(jù)可視化　214
9．6．　因素分析　218
9．6．1　SPSS 進(jìn)行指數(shù)平滑　218
9．6．2　因素分析結(jié)果　221
9．7神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的建立　222
9．7．1　示例站點(diǎn)客流量預(yù)測(cè)　222
9．7．2　全部站點(diǎn)客流量預(yù)測(cè)　224
9．7．3模型預(yù)測(cè)結(jié)果分析　226
本章小結(jié)　227
本章練習(xí)　227
第　10章 微博文本情感分析　228
10．1　案例背景　228
10．2　案例目標(biāo)及實(shí)現(xiàn)思路　228
10．3　數(shù)據(jù)預(yù)處理過程　229
10．3．1　數(shù)據(jù)讀取　229
10．3．2　分詞　230
10．3．3　去停用詞　232
10．3．4　詞向量　233
10．3．5　劃分?jǐn)?shù)據(jù)集　236
10．4　支持向量機(jī)分類模型　237
10．5　基于LSTM網(wǎng)絡(luò)的分類模型　238
本章小結(jié)　241
本章練習(xí)　241
第　11章 基于人民幣圖像的面額識(shí)別　242
11．1　案例背景　242
11．2　案例目標(biāo)及實(shí)現(xiàn)思路　242
11．3　數(shù)據(jù)獲取與探索　243
11．4　支持向量機(jī)識(shí)別模型　245
11．4．1　顏色特征計(jì)算方法　245
11．4．2　自變量與因變量計(jì)算　246
11．4．3　模型實(shí)現(xiàn)　247
11．5　卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型：灰圖　248
11．5．1　數(shù)據(jù)處理　248
11．5．2　模型實(shí)現(xiàn)　249
11．6　卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型：彩圖　252
11．6．1　數(shù)據(jù)處理　252
11．6．2　模型實(shí)現(xiàn)　254
本章小結(jié)　255
本章練習(xí)　255
提高篇　257
第　12章 GUI可視化應(yīng)用開發(fā)　257
12．1　人民幣面額識(shí)別系統(tǒng)　257
12．1．1　Pycharm安裝　257
12．1．2　創(chuàng)建項(xiàng)目文件夾　260
12．1．3　配置QtDesigner工具　262
12．1．4　配置代碼生成工具　264
12．1．5　系統(tǒng)界面設(shè)計(jì)　266
12．1．6　系統(tǒng)界面轉(zhuǎn)化為PyQt5代碼　268
12．1．7　配置項(xiàng)目解釋器　271
12．1．8　系統(tǒng)功能實(shí)現(xiàn)　273
12．1．9　生成可獨(dú)立運(yùn)行的exe文件　276
12．2　上市公司綜合評(píng)價(jià)系統(tǒng)　280
12．2．1　界面設(shè)計(jì)　281
12．2．2　系統(tǒng)功能實(shí)現(xiàn)　283
12．2．3　生成exe文件　286
本章小結(jié)　287
本章練習(xí)　287
附錄　綜合實(shí)訓(xùn)課題　288
參考文獻(xiàn)　290