Python 3.7網(wǎng)絡(luò)爬蟲快速入門

目  錄
第1章  簡(jiǎn)識(shí)PYTHON 1
1.1  了解PYTHON 1
1.1.1  Python的概念 1
1.1.2  有趣的Python程序 2
1.2  集成開發(fā)環(huán)境 4
1.2.1  安裝Python 3.7 4
1.2.2  從IDLE啟動(dòng)Python 6
1.3  編寫自己的個(gè)PYTHON程序：一個(gè)簡(jiǎn)單的問候 8
1.4  小結(jié) 11
第2章  PYTHON語法速覽 12
2.1  數(shù)據(jù)類型與變量 12
2.1.1  數(shù)據(jù)類型 12
2.1.2  變量 14
2.2  運(yùn)算符 15
2.2.1  算術(shù)運(yùn)算符 16
2.2.2  比較運(yùn)算符 17
2.2.3  賦值運(yùn)算符 17
2.2.4  邏輯運(yùn)算符 18
2.2.5  位運(yùn)算符 19
2.2.6  成員運(yùn)算符 20
2.2.7  身份運(yùn)算符 21
2.2.8  運(yùn)算符的優(yōu)先級(jí) 21
2.3  使用復(fù)合類型 21
2.3.1  列表 22
2.3.2  元組 26
2.3.3  字典 26
2.3.4  集合 27
2.4  流程控制結(jié)構(gòu) 29
2.4.1  選擇結(jié)構(gòu) 29
2.4.2  重復(fù)結(jié)構(gòu)（循環(huán)結(jié)構(gòu)） 30
2.5  小結(jié) 33
第3章  函  數(shù) 34
3.1  認(rèn)識(shí)函數(shù) 34
3.1.1  什么是函數(shù) 34
3.1.2  創(chuàng)建函數(shù) 35
3.2  使用函數(shù) 35
3.2.1  參數(shù) 36
3.2.2  返回值 38
3.2.3  函數(shù)的遞歸 39
3.3  實(shí)踐一下 40
3.3.1  實(shí)踐一：編寫一個(gè)函數(shù) 40
3.3.2  實(shí)踐二：遍歷與計(jì)數(shù) 41
3.4  小結(jié) 42
第4章  LXML模塊和XPATH語法 43
4.1  LXML模塊 43
4.1.1  什么是模塊 43
4.1.2  關(guān)于lxml模塊 44
4.1.3  lxml模塊的安裝 44
4.1.4  lxml庫的用法 46
4.2  XPATH語法 46
4.2.1  基本語法 46
4.2.2  基本操作 47
4.2.3  lxml庫的用法 49
4.2.4  XPath范例程序測(cè)試 50
4.3  爬蟲LXML解析實(shí)戰(zhàn) 53
4.3.1  爬取豆瓣網(wǎng)站 53
4.3.2  爬取電影天堂 55
4.3.3  爬取貓眼電影 58
4.3.4  爬取騰訊招聘網(wǎng) 61
4.3.5  關(guān)于HTML 63
4.4  小結(jié) 63
第5章  BEAUTIFULSOUP庫 64
5.1  簡(jiǎn)識(shí)BEAUTIFULSOUP 4 64
5.1.1  安裝與配置 64
5.1.2  基本用法 66
5.2  BEAUTIFULSOUP 對(duì)象 67
5.2.1  創(chuàng)建BeautifulSoup對(duì)象 67
5.2.2  4類對(duì)象 70
5.2.3  遍歷文檔樹 74
5.2.4  搜索文檔樹 78
5.3  方法和CSS選擇器 81
5.3.1  find類方法 81
5.3.2  CSS選擇器 82
5.4  爬取示范：使用BEAUTIFULSOUP爬取電影天堂 85
5.4.1  基本思路 85
5.4.2  實(shí)際爬取 85
5.5  小結(jié) 87
第6章  正則表達(dá)式 88
6.1  了解正則表達(dá)式 88
6.1.1  基本概念 88
6.1.2  re模塊 89
6.1.3  compile()方法 89
6.1.4  match()方法 90
6.1.5  group()和groups()方法 90
6.1.6  search()方法 90
6.1.7  findall()方法 92
6.1.8  finditer()方法 93
6.1.9  split()方法 94
6.1.10  sub()方法 94
6.2  抓取 95
6.2.1  抓取標(biāo)簽間的內(nèi)容 95
6.2.2  抓取trtd標(biāo)簽間的內(nèi)容 98
6.2.3  抓取標(biāo)簽中的參數(shù) 99
6.2.4  字符串處理及替換 101
6.3  爬取實(shí)戰(zhàn) 102
6.3.1  獲取數(shù)據(jù) 103
6.3.2  篩選數(shù)據(jù) 104
6.3.3  保存數(shù)據(jù) 107
6.3.4  顯示數(shù)據(jù) 107
6.4  總結(jié) 108
第7章  JSON文件處理、CSV文件處理和MYSQL數(shù)據(jù)庫操作 109
7.1  簡(jiǎn)識(shí)JSON 109
7.1.1  什么是JSON 109
7.1.2  字典和列表轉(zhuǎn)JSON 110
7.1.3  將JSON數(shù)據(jù)轉(zhuǎn)儲(chǔ)到文件中 111
7.1.4  將一個(gè)JSON字符串加載為Python對(duì)象 111
7.1.5  從文件中讀取JSON 112
7.2  CSV文件處理 113
7.2.1  讀取CSV文件 113
7.2.2  把數(shù)據(jù)寫入CSV文件 114
7.2.3  練習(xí) 115
7.3  MYSQL數(shù)據(jù)庫 117
7.3.1  MySQL數(shù)據(jù)庫的安裝 117
7.3.2  安裝MySQL模塊 127
7.3.3  連接MySQL 127
7.3.4  執(zhí)行SQL語句 128
7.3.5  創(chuàng)建表 129
7.3.6  插入數(shù)據(jù) 130
7.3.7  查看數(shù)據(jù) 132
7.3.8  修改數(shù)據(jù) 133
7.3.9  刪除數(shù)據(jù) 135
7.3.10  實(shí)踐操作 136
7.4  小結(jié) 139
第8章  多線程爬蟲 140
8.1  關(guān)于多線程 140
8.1.1  基本知識(shí) 140
8.1.2  多線程的適用范圍 141
8.2  多線程的實(shí)現(xiàn) 142
8.2.1  使用_thread模塊創(chuàng)建多線程 142
8.2.2  關(guān)于Threading模塊 145
8.2.3  使用函數(shù)方式創(chuàng)建線程 146
8.2.4  傳遞可調(diào)用的類的實(shí)例來創(chuàng)建線程 148
8.2.5  派生子類并創(chuàng)建子類的實(shí)例 149
8.3  使用多進(jìn)程 150
8.3.1  創(chuàng)建子進(jìn)程 150
8.3.2  將進(jìn)程定義為類 151
8.3.3  創(chuàng)建多個(gè)進(jìn)程 152
8.4  爬取示范：多線程爬取豆瓣電影 153
8.4.1  使用多進(jìn)程進(jìn)行爬取 154
8.4.2  使用多線程進(jìn)行爬取 156
8.5  小結(jié) 158
第9章  圖形驗(yàn)證識(shí)別技術(shù) 159
9.1  圖像識(shí)別開源庫：TESSERACT 159
9.1.1  安裝Tesseract 159
9.1.2  設(shè)置環(huán)境變量 164
9.1.3  驗(yàn)證安裝 166
9.2  對(duì)網(wǎng)絡(luò)驗(yàn)證碼的識(shí)別 168
9.2.1  讀取網(wǎng)絡(luò)驗(yàn)證碼并識(shí)別 168
9.2.2  對(duì)驗(yàn)證碼進(jìn)行轉(zhuǎn)化 169
9.3  小結(jié) 170
第10章  SCRAPY框架 171
10.1  了解SCRAPY 171
10.1.1  Scrapy框架概述 171
10.1.2  安裝 173
10.2  開發(fā)SCRAPY的過程 176
10.2.1  Scrapy開發(fā)步驟 176
10.2.2  Scrapy保存信息的格式 177
10.2.3  項(xiàng)目中各個(gè)文件的作用 178
10.3  爬蟲范例 179
10.3.1  Scrapy爬取美劇天堂 179
10.3.2  Scrapy爬取豆瓣網(wǎng) 182
10.3.3  Scrapy爬取豆瓣網(wǎng)II 186
10.4  總結(jié) 189
第11章  PYQUERY模塊 190
11.1  PYQUERY模塊 190
11.1.1  什么是PyQuery模塊 190
11.1.2  PyQuery模塊的安裝 190
11.2  PYQUERY模塊用法 191
11.2.1  使用字符串初始化PyQuery對(duì)象 191
11.2.2  使用文件初始化PyQuery對(duì)象 192
11.2.3  使用URL初始化PyQuery對(duì)象 193
11.3  CSS篩選器的使用 194
11.3.1  基本CSS選擇器 194
11.3.2  查找節(jié)點(diǎn) 195
11.3.3  遍歷結(jié)果并輸出 197
11.3.4  獲取文本信息 198
11.4  爬蟲PYQUERY解析實(shí)戰(zhàn) 200
11.4.1  爬取貓眼票房 200
11.4.2  爬取微博熱搜 201
11.5  小結(jié) 202