Python爬蟲、數(shù)據(jù)分析與可視化：工具詳解與案例實(shí)戰(zhàn)

前言
第1章 Python編程基礎(chǔ)1
1.1 搭建Python開發(fā)環(huán)境1
1.1.1 安裝Python解釋器1
1.1.2 安裝Python第三方開發(fā)包2
1.1.3 在PyCharm里新建項(xiàng)目和文件3
1.1.4 在PyCharm里更換Python解釋器5
1.2 實(shí)踐Python基本語(yǔ)法5
1.2.1 針對(duì)基本數(shù)據(jù)類型的操作6
1.2.2 針對(duì)字符串的操作7
1.2.3 多行注釋與引入中文8
1.2.4 條件分支語(yǔ)句9
1.2.5 循環(huán)操作語(yǔ)句9
1.2.6 break和continue的用法10
1.2.7 格式化輸出語(yǔ)句11
1.3 定義和調(diào)用函數(shù)11
1.4 return的重要性——函數(shù)的遞歸調(diào)用12
1.5 熟悉函數(shù)的特殊寫法13
1.5.1 函數(shù)作為參數(shù)14
1.5.2 函數(shù)作為返回結(jié)果14
1.5.3 匿名函數(shù)15
1.6 本章小結(jié)15
第2章 Python的數(shù)據(jù)結(jié)構(gòu)16
2.1 列表16
2.1.1 定義列表16
2.1.2 在列表中增、刪、改元素17
2.1.3 列表的切片操作18
2.1.4 遍歷列表19
2.1.5 列表的常見用法19
2.2 元組20
2.2.1 創(chuàng)建和使用元組20
2.2.2 元組的常見用法21
2.3 集合22
2.3.1 創(chuàng)建和使用集合22
2.3.2 針對(duì)集合的常用數(shù)據(jù)操作23
2.4 字典23
2.4.1 創(chuàng)建和使用字典24
2.4.2 增加、刪除和修改字典中的元素24
2.4.3 遍歷字典25
2.5 針對(duì)數(shù)據(jù)結(jié)構(gòu)的通用性操作25
2.5.1 通過map方法實(shí)現(xiàn)序列的映射25
2.5.2 filter方法與數(shù)據(jù)篩選26
2.5.3 通過reduce方法實(shí)現(xiàn)累計(jì)效果27
2.5.4 通過sorted方法排序?qū)ο?7
2.6 本章小結(jié)28
第3章 Python面向?qū)ο缶幊?9
3.1 什么是面向?qū)ο笏枷?9
3.2 封裝特性30
3.2.1 創(chuàng)建類并在類里封裝屬性和方法30
3.2.2 類方法的個(gè)參數(shù)必須指向?qū)嵗?1
3.2.3 私有屬性的典型錯(cuò)誤用法31
3.2.4 了解其他常用魔術(shù)方法33
3.2.5 從私有屬性和私有方法體會(huì)封裝特性34
3.3 繼承特性35
3.3.1 繼承的語(yǔ)法和使用場(chǎng)景35
3.3.2 子類無(wú)法使用父類的私有屬性和方法36
3.3.3 受保護(hù)的屬性和方法37
3.3.4 多重繼承與組合模式38
3.4 多態(tài)特性40
3.4.1 以迭代器為例來(lái)理解多態(tài)40
3.4.2 可變參數(shù)與方法重載41
3.4.3 整合使用多態(tài)和繼承42
3.5 模塊、包以及第三方庫(kù)43
3.5.1 通過import重用現(xiàn)有模塊中的功能43
3.5.2 自定義包和使用包43
3.5.3 引入并使用第三方庫(kù)44
3.6 本章小結(jié)45
第4章 異常處理機(jī)制與文件讀寫46
4.1 通過try…except…finally處理異常46
4.1.1 處理異常的try…except從句46
4.1.2 使用異常處理類47
4.1.3 同時(shí)處理多個(gè)異常48
4.1.4 在處理異常時(shí)引入else代碼塊49
4.1.5 引入finally從句50
4.2 raise與except的整合使用51
4.2.1 通過raise拋出異常51
4.2.2 自定義異常且與except整合使用51
4.3 異常處理的實(shí)踐經(jīng)驗(yàn)52
4.3.1 盡可能縮小try的代碼塊53
4.3.2 用專業(yè)的異常處理類針對(duì)性地處理異常53
4.3.3 拿到異常別忽視54
4.3.4 合理確定異常的影響范圍54
4.4 在讀寫文件案例中使用異常機(jī)制55
4.4.1 通過os.path獲取目錄和文件屬性55
4.4.2 以只讀模式打開文件56
4.4.3 逐行讀取文件58
4.4.4 通過write寫文件59
4.4.5 以添加的方式寫文件59
4.4.6 讀寫csv文件60
4.5 本章小結(jié)61
第5章 NumPy數(shù)組處理62
5.1 NumPy庫(kù)的基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)：ndarray對(duì)象62
5.1.1 通過array方法創(chuàng)建ndarray62
5.1.2 ndarray的dtype屬性63
5.1.3 創(chuàng)建全0或全1的ndarray64
5.2 NumPy庫(kù)的常用操作65
5.2.1 通過arange方法創(chuàng)建序列數(shù)組65
5.2.2 針對(duì)ndarray的數(shù)學(xué)運(yùn)算66
5.2.3 常用的科學(xué)計(jì)算函數(shù)67
5.2.4 常用的聚合統(tǒng)計(jì)函數(shù)68
5.2.5 遍歷ndarray數(shù)組69
5.3 針對(duì)ndarray的索引和切片操作69
5.3.1 索引操作69
5.3.2 布爾索引與條件過濾70
5.3.3 切片操作與共享內(nèi)存70
5.3.4 通過copy函數(shù)創(chuàng)建副本72
5.4 本章小結(jié)72
第6章 Pandas數(shù)據(jù)清洗73
6.1 以一維方式存儲(chǔ)數(shù)據(jù)的Series對(duì)象73
6.1.1 Series的常規(guī)操作74
6.1.2 創(chuàng)建并使用Series索引75
6.1.3 獲取Series里的切片數(shù)據(jù)76
6.1.4 通過布爾Series獲取滿足條件的元素78
6.1.5 遍歷Series數(shù)據(jù)78
6.2 以表格格式存儲(chǔ)數(shù)據(jù)的DataFrame對(duì)象79
6.2.1 DataFrame對(duì)象的常規(guī)用法79
6.2.2 通過loc、iloc和ix提取數(shù)據(jù)81
6.2.3 遍歷DataFrame里的數(shù)據(jù)82
6.3 面向DataFrame的常用數(shù)據(jù)分析方法82
6.3.1 對(duì)DataFrame數(shù)據(jù)進(jìn)行排序83
6.3.2 以列為單位進(jìn)行運(yùn)算83
6.3.3 增加和刪除列84
6.3.4 過濾和重設(shè)數(shù)據(jù)85
6.3.5 在DataFrame中進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析85
6.3.6 衡量變量間關(guān)聯(lián)程度的corr方法86
6.4 Pandas與各類文件的交互87
6.4.1 DataFrame數(shù)據(jù)與csv文件的相互轉(zhuǎn)換87
6.4.2 NaN與缺失值處理89
6.4.3 DataFrame數(shù)據(jù)與Excel文件的相互轉(zhuǎn)換90
6.4.4 DataFrame數(shù)據(jù)與json文件的相互轉(zhuǎn)換91
6.5 本章小結(jié)92
第7章 Matplotlib數(shù)據(jù)可視化93
7.1 通過Matplotlib繪制各類圖形93
7.1.1 繪制折線圖93
7.1.2 繪圖時(shí)的通用屬性參數(shù)94
7.1.3 繪制柱狀圖95
7.1.4 繪制餅圖97
7.1.5 繪制直方圖98
7.2 設(shè)置坐標(biāo)的技巧99
7.2.1 設(shè)置x和y坐標(biāo)標(biāo)簽文字并展示中文99
7.2.2 設(shè)置坐標(biāo)的范圍100
7.2.3 設(shè)置坐標(biāo)的主刻度和次刻度101
7.2.4 設(shè)置并旋轉(zhuǎn)坐標(biāo)刻度文字102
7.3 增加可視化美觀效果103
7.3.1 設(shè)置圖例104
7.3.2 設(shè)置中文標(biāo)題105
7.3.3 設(shè)置網(wǎng)格效果106
7.4 設(shè)置多圖和子圖效果107
7.4.1 通過figure對(duì)象同時(shí)繪制多張圖107
7.4.2 通過add_subplot方法繪制子圖108
7.4.3 通過subplot方法繪制子圖109
7.4.4 子圖共享x坐標(biāo)軸110
7.4.5 在大圖里繪制子圖112
7.5 繪制高級(jí)圖表113
7.5.1 繪制散點(diǎn)圖113
7.5.2 繪制熱圖114
7.5.3 繪制等值線圖115
7.6 通過mplot3d繪制三維圖形116
7.6.1 繪制三維曲線圖116
7.6.2 繪制三維散點(diǎn)圖117
7.6.3 繪制三維柱狀圖118
7.7 本章小結(jié)119
第8章 通過網(wǎng)絡(luò)爬蟲獲取數(shù)據(jù)120
8.1 和爬蟲有關(guān)的HTTP120
8.1.1 基于HTTP的請(qǐng)求處理流程120
8.1.2 HTTP請(qǐng)求頭包含操作系統(tǒng)和瀏覽器信息122
8.1.3 Post和Get請(qǐng)求方法122
8.1.4 HTTP常見的狀態(tài)碼122
8.2 通過Urllib庫(kù)獲取網(wǎng)頁(yè)信息123
8.2.1 通過request爬取網(wǎng)頁(yè)123
8.2.2 設(shè)置超時(shí)時(shí)間124
8.2.3 用URLError處理網(wǎng)絡(luò)異常124
8.2.4 設(shè)置header屬性來(lái)模擬瀏覽器發(fā)送請(qǐng)求125
8.3 通過BeautifulSoup提取頁(yè)面信息125
8.3.1 安裝BeautifulSoup庫(kù)125
8.3.2 用Tag提取HTML元素和屬性126
8.3.3 用NavigableString提取元素值127
8.3.4 用Comment提取注釋127
8.3.5 制定規(guī)則搜索指定的內(nèi)容128
8.4 通過正則表達(dá)式截取信息130
8.4.1 查找指定字符串130
8.4.2 用通用字符來(lái)模糊匹配130
8.4.3 通過原子表來(lái)定義匹配規(guī)則131
8.4.4 用findall按匹配規(guī)則截取內(nèi)容132
8.5 用Scrapy爬取博客園文章信息134
8.5.1 通過Scrapy命令創(chuàng)建爬蟲項(xiàng)目134
8.5.2 明確爬取目標(biāo)，制定爬取規(guī)則134
8.5.3 在Item模塊里定義數(shù)據(jù)模型136
8.5.4 生成爬蟲文件，定義爬取動(dòng)作136
8.5.5 在pipelines文件里定義數(shù)據(jù)存儲(chǔ)方式137
8.5.6 啟動(dòng)爬蟲程序，觀察運(yùn)行效果138
8.6 本章小結(jié)139
第9章 數(shù)據(jù)分析的常用方法140
9.1 準(zhǔn)備并存儲(chǔ)數(shù)據(jù)140
9.1.1 用Pandas_datareader庫(kù)獲取數(shù)據(jù)140
9.1.2 以csv和Excel格式存儲(chǔ)數(shù)據(jù)141
9.1.3 準(zhǔn)備MySQL環(huán)境142
9.1.4 在MySQL里存儲(chǔ)數(shù)據(jù)142
9.1.5 從數(shù)據(jù)表里讀取數(shù)據(jù)145
9.2 描述性統(tǒng)計(jì)146
9.2.1 平均數(shù)、中位數(shù)和百分位數(shù)146
9.2.2 用箱狀圖展示分位數(shù)147
9.2.3 統(tǒng)計(jì)極差、方差和標(biāo)準(zhǔn)差148
9.3 基于時(shí)間序列的統(tǒng)計(jì)方法148
9.3.1 用rolling方法計(jì)算移動(dòng)平均值148
9.3.2 基于時(shí)間序列的自相關(guān)性分析149
9.3.3 基于時(shí)間序列的偏自相關(guān)性分析151
9.3.4 用熱力圖分析不同時(shí)間序列的相關(guān)性152
9.4 概率分析方法與推斷統(tǒng)計(jì)154
9.4.1 分析收盤價(jià)，繪制小提琴圖154
9.4.2 用直方圖來(lái)擬合正態(tài)分布效果155
9.4.3 驗(yàn)證序列是否滿足正態(tài)分布156
9.4.4 參數(shù)估計(jì)方法157
9.4.5 顯著性驗(yàn)證158
9.5 回歸分析方法159
9.5.1 構(gòu)建一元線性回歸模型159
9.5.2 以多元線性回歸模型預(yù)測(cè)股價(jià)162
9.6 本章小結(jié)1