Python基礎(chǔ)與大數(shù)據(jù)應(yīng)用

第 1章
Python環(huán)境搭建　1
1．1　Python版本概述及下載Python安裝文件　1
1．1．1　Python版本概述　1
1．1．2　下載Python安裝文件　2
1．2　安裝Python　5
1．2．1　解壓下載的文件　5
1．2．2　運(yùn)行Python安裝文件　5
1．3　Python交互模式　6
1．4　iPython 3和PyCharm概述　7
1．4．1　iPython 3概述　7
1．4．2　PyCharm概述　9
1．5　項(xiàng)目訓(xùn)練：Python的安裝與使用　13
1．6　本章小結(jié)　15
1．7　練習(xí)　15
1．8　拓展訓(xùn)練項(xiàng)目　16
第　2章
Python編程基礎(chǔ)　17
2．1　變量　17
2．2　數(shù)值　19
2．2．1　整型　19
2．2．2　浮點(diǎn)型　19
2．2．3　復(fù)數(shù)型　20
2．2．4　布爾型　20
2．3　字符串　21
2．3．1　轉(zhuǎn)義字符　21
2．3．2　字符串運(yùn)算　21
2．3．3　字符串操作方法　22
2．4　列表　23
2．4．1　列表的創(chuàng)建與刪除　23
2．4．2　列表操作方法　24
2．4．3　列表切片操作　25
2．5　元組　27
2．6　字典　28
2．6．1　字典的創(chuàng)建與訪問　28
2．6．2　字典元素的修改　28
2．6．3　字典操作方法　29
2．7　運(yùn)算符　30
2．7．1　算術(shù)運(yùn)算符　30
2．7．2　位運(yùn)算符　31
2．7．3　邏輯運(yùn)算符　31
2．7．4　比較運(yùn)算符　32
2．7．5　賦值運(yùn)算符　32
2．7．6　其他運(yùn)算符　33
2．8　Python代碼編寫規(guī)范　34
2．9　控制流　35
2．9．1　順序結(jié)構(gòu)程序　35
2．9．2　分支結(jié)構(gòu)程序　40
2．9．3　循環(huán)結(jié)構(gòu)程序　45
2．10　項(xiàng)目訓(xùn)練：個(gè)人所得稅計(jì)算　53
2．11　本章小結(jié)　56
2．12　練習(xí)　56
2．13　拓展訓(xùn)練項(xiàng)目　58
2．13．1　Python數(shù)值型變量的定義與賦值　58
2．13．2　Python控制流和運(yùn)算符　59
2．13．3　列表的基本操作　59
2．13．4　元組的基本操作　59
2．13．5　字典的基本操作　59
2．13．6　字符串的基本操作　60
第3章
函數(shù)　61
3．1　自定義函數(shù)　61
3．1．1　函數(shù)定義格式　61
3．1．2　函數(shù)的設(shè)計(jì)　62
3．1．3　lambda表達(dá)式　62
3．2　函數(shù)調(diào)用　63
3．3　函數(shù)參數(shù)　64
3．3．1　位置參數(shù)　64
3．3．2　默認(rèn)參數(shù)　64
3．3．3　關(guān)鍵參數(shù)　65
3．3．4　可變長(zhǎng)度參數(shù)　66
3．4　變量作用域　68
3．4．1　局部變量　68
3．4．2　全局變量　69
3．5　異?！?0
3．5．1　Python標(biāo)準(zhǔn)異常類　70
3．5．2　異常處理　71
3．6　項(xiàng)目訓(xùn)練：哥德巴赫狂想——任何大于2的偶數(shù)總可以分解成兩個(gè)素?cái)?shù)的和　75
3．7　本章小結(jié)　76
3．8　練習(xí)　77
3．9　拓展訓(xùn)練項(xiàng)目　78
3．9．1　用函數(shù)實(shí)現(xiàn)乘法口訣　78
3．9．2　Python函數(shù)參數(shù)　78
3．9．3　Python局部變量和全局變量　78
3．9．4　Python異常捕獲與處理　78
第4章
面向?qū)ο缶幊袒A(chǔ)　79
4．1　類和對(duì)象　79
4．1．1　類　79
4．1．2　對(duì)象　80
4．2　屬性與方法　80
4．2．1　屬性　80
4．2．2　方法　83
4．3　繼承　84
4．4　多態(tài)　86
4．5　項(xiàng)目訓(xùn)練：簡(jiǎn)單學(xué)生成績(jī)管理系統(tǒng)　88
4．6　本章小結(jié)　91
4．7　練習(xí)　92
4．8　拓展訓(xùn)練項(xiàng)目　93
4．8．1　Python類與對(duì)象　93
4．8．2　類方法、實(shí)例方法和靜態(tài)方法　93
4．8．3　類繼承、組合　94
4．8．4　類的多重繼承　94
第5章
模塊　95
5．1　模塊的創(chuàng)建和命名空間　95
5．1．1　模塊的創(chuàng)建　95
5．1．2　命名空間　96
5．2　模塊的導(dǎo)入和路徑　97
5．2．1　模塊的導(dǎo)入　97
5．2．2　模塊的路徑　98
5．3　包　100
5．4　Python內(nèi)置模塊　100
5．4．1　math模塊　100
5．4．2　random模塊　101
5．4．3　time模塊　101
5．4．4　datetime模塊　103
5．4．5　calendar模塊　104
5．4．6　sys模塊　105
5．4．7　zipfile模塊　106
5．5　項(xiàng)目訓(xùn)練：日歷　108
5．6　本章小結(jié)　110
5．7　練習(xí)　111
5．8　拓展訓(xùn)練項(xiàng)目　111
5．8．1　Python模塊導(dǎo)入　111
5．8．2　zipfile模塊的使用　112
5．8．3　Python模塊的屬性　112
5．8．4　Python模塊內(nèi)置函數(shù)　112
第6章
Python文件和數(shù)據(jù)庫　113
6．1　文件的基本操作　113
6．1．1　內(nèi)置函數(shù)open()　113
6．1．2　文件對(duì)象常用的屬性和方法　114
6．1．3　文件操作案例　116
6．2　文件系統(tǒng)的基本操作　119
6．3　MySQL數(shù)據(jù)庫　121
6．3．1　MySQL簡(jiǎn)介　121
6．3．2　安裝MySQL　122
6．3．3　使用Python連接MySQL數(shù)據(jù)庫　126
6．3．4　MySQL的基本操作　127
6．4　項(xiàng)目訓(xùn)練：使用Python完成課程表和學(xué)生信息表的創(chuàng)建　128
6．5　本章小結(jié)　131
6．6　練習(xí)　132
6．7　拓展訓(xùn)練項(xiàng)目　133
6．7．1　安裝MySQL數(shù)據(jù)庫和Python連接數(shù)據(jù)庫　133
6．7．2　使用Python實(shí)現(xiàn)MySQL增查改刪　133
6．7．3　Python文件的基本操作　133
6．7．4　Python文件目錄的基本操作　134
第7章
Python爬蟲基礎(chǔ)　135
7．1　網(wǎng)絡(luò)爬蟲概述及其結(jié)構(gòu)　135
7．1．1　網(wǎng)絡(luò)爬蟲概述　135
7．1．2　網(wǎng)絡(luò)爬蟲結(jié)構(gòu)　136
7．2　urllib庫　137
7．2．1　urllib．request模塊　137
7．2．2　urllib．parse模塊　138
7．2．3　urllib．error模塊　140
7．3　使用urllib爬取網(wǎng)頁　141
7．4　瀏覽器的模擬與實(shí)戰(zhàn)　142
7．5　正則表達(dá)式　143
7．6　圖片爬蟲實(shí)戰(zhàn)　147
7．7　項(xiàng)目訓(xùn)練：用urllib庫爬取百度貼吧　148
7．8　本章小結(jié)　152
7．9　練習(xí)　152
7．10　拓展訓(xùn)練項(xiàng)目　153
7．10．1　urllib庫的使用　153
7．10．2　百度貼吧網(wǎng)頁爬蟲　153
7．10．3　淘寶網(wǎng)站圖片爬蟲　153
第8章
Python爬蟲框架　154
8．1　常見爬蟲框架　154
8．2　Scrapy爬蟲框架的安裝　155
8．3　Scrapy爬蟲框架簡(jiǎn)介　156
8．4　Scrapy常用工具命令　157
8．4．1　創(chuàng)建一個(gè)Scrapy項(xiàng)目　157
8．4．2　Scrapy全局命令　158
8．4．3　Scrapy項(xiàng)目命令　160
8．5　Scrapy爬蟲實(shí)戰(zhàn)　161
8．6　項(xiàng)目訓(xùn)練：用Scrapy爬取豆瓣圖書　167
8．7　本章小結(jié)　171
8．8　練習(xí)　171
8．9　拓展訓(xùn)練項(xiàng)目　171
8．9．1　Scrapy框架的安裝及使用　171
8．9．2　Scrapy命令行工具　172
第9章
數(shù)據(jù)分析基礎(chǔ)　173
9．1　numpy模塊　173
9．1．1　ndarray類型數(shù)組　174
9．1．2　matrix類型矩陣　182
9．1．3　matrix類型和array類型的區(qū)別　189
9．2　pandas模塊　193
9．2．1　pandas模塊基礎(chǔ)　193
9．2．2　pandas模塊數(shù)據(jù)清洗　199
9．2．3　pandas模塊數(shù)據(jù)預(yù)處理　221
9．2．4　pandas模塊數(shù)據(jù)提取　230
9．2．5　pandas模塊數(shù)據(jù)篩選　234
9．2．6　pandas模塊數(shù)據(jù)匯總　235
9．2．7　pandas模塊數(shù)據(jù)統(tǒng)計(jì)　237
9．2．8　pandas模塊綜合應(yīng)用示例　239
9．3　項(xiàng)目訓(xùn)練：清洗和預(yù)處理8．6節(jié)中爬取的doubanread． csv文件　245
9．4　本章小結(jié)　247
9．5　練習(xí)　247
9．6　拓展訓(xùn)練項(xiàng)目　249
9．6．1　pandas基本功能實(shí)驗(yàn)　249
9．6．2　pandas匯總和計(jì)算實(shí)驗(yàn)　249
9．6．3　pandas缺失數(shù)據(jù)處理　249
9．6．4　pandas構(gòu)建層次化索引　249
第　10章
pandas數(shù)據(jù)分析　251
10．1　pandas文件讀寫基礎(chǔ)　251
10．1．1　CSV文件的讀寫　251
10．1．2　Excel文件的讀寫　254
10．2　pandas與MySQL數(shù)據(jù)庫的交互　256
10．2．1　pandas與MySQL連接的步驟　256
10．2．2　pandas與MySQL交互　257
10．3　pandas字符串處理　259
10．4　pandas數(shù)據(jù)分組與聚合　265
10．4．1　使用內(nèi)置的聚合函數(shù)進(jìn)行聚合運(yùn)算　265
10．4．2　分組與聚合過程　267
10．4．3　agg()和apply()聚合函數(shù)　268
10．5　項(xiàng)目訓(xùn)練：電影數(shù)據(jù)統(tǒng)計(jì)　271
10．6　本章小結(jié)　274
10．7　練習(xí)　274
10．8　拓展訓(xùn)練項(xiàng)目　274
10．8．1　pandas文件讀寫　274
10．8．2　pandas數(shù)據(jù)庫讀寫　275
10．8．3　pandas數(shù)據(jù)處理　275
10．8．4　pandas數(shù)據(jù)聚合和組迭代　275
第　11章
Python可視化與可視化工具　276
11．1　Python可視化與可視化工具介紹　276
11．2　pandas基本圖形繪制　278
11．2．1　折線圖　278
11．2．2　柱狀圖　282
11．2．3　直方圖　285
11．2．4　散點(diǎn)圖　285
11．2．5　面積圖　287
11．2．6　餅圖　287
11．2．7　密度圖　290
11．3　matplotlib繪圖　291
11．3．1　matplotlib繪圖基礎(chǔ)　291
11．3．2　matplotlib交互繪圖　291
11．4　matplotlib．pyplot的使用　294
11．4．1　pyplot繪圖基礎(chǔ)　294
11．4．2　多種類型圖的繪制　297
11．5　項(xiàng)目訓(xùn)練：電影數(shù)據(jù)信息分析　306
11．6　本章小結(jié)　310
11．7　練習(xí)　310
11．8　拓展訓(xùn)練項(xiàng)目　310
11．8．1　pandas繪圖　310
11．8．2　matplotlib交互式繪圖實(shí)踐　310
11．8．3　pyplot繪圖元素的設(shè)置　311
11．8．4　子圖的繪制　311
附錄　312
參考文獻(xiàn)　316