Python 3網(wǎng)絡爬蟲實戰(zhàn)

第1章  Python環(huán)境配置  1
1.1  Python簡介  1
1.1.1  Python的歷史由來  1
1.1.2  Python的現(xiàn)狀  2
1.1.3  Python的應用  2
1.2  Python 3.8.0開發(fā)環(huán)境配置  4
1.2.1  在Windows下安裝Python  4
1.2.2  在Windows下安裝配置pip  8
1.2.3  在Linux下安裝Python  9
1.2.4  在Linux下安裝配置pip  11
1.2.5  永遠的hello world  15
1.3  本章小結  19
第2章  爬蟲基礎快速入門  20
2.1  HTTP基本原理  20
2.1.1  URI和URL  20
2.1.2  超文本  21
2.1.3  HTTP和HTTPS  21
2.1.4  HTTP請求過程  22
2.1.5  請求  24
2.1.6  響應  26
2.2  網(wǎng)頁基礎  27
2.2.1  網(wǎng)頁的組成  27
2.2.2  網(wǎng)頁的結構  28
2.2.3  節(jié)點樹及節(jié)點間的關系  30
2.2.4  選擇器  36
2.3  爬蟲的基本原理  37
2.3.1  爬蟲概述  37
2.3.2  能抓取什么樣的數(shù)據(jù)  37
2.3.3  JavaScript渲染頁面  38
2.4  會話和Cookies  39
2.4.1  靜態(tài)網(wǎng)頁和動態(tài)網(wǎng)頁  40
2.4.2  無狀態(tài)HTTP  41
2.4.3  常見誤區(qū)  42
2.5  代理的基本原理  42
2.5.1  基本原理  42
2.5.2  代理的作用  43
2.5.3  代理分類  43
2.5.4  常見代理設置  44
2.6  本章小結  44
第3章  數(shù)據(jù)存儲與解析  45
3.1  文件存儲  45
3.1.1  TXT文件存儲  45
3.1.2  JSON文件存儲  49
3.1.3  CSV文件存儲  52
3.2  關系型數(shù)據(jù)庫存儲  57
3.2.1  連接數(shù)據(jù)庫  59
3.2.2  創(chuàng)建表  59
3.2.3  插入數(shù)據(jù)  60
3.2.4  瀏覽數(shù)據(jù)  61
3.2.5  修改數(shù)據(jù)  62
3.2.6  刪除數(shù)據(jù)  63
3.3  非關系型數(shù)據(jù)庫存儲  64
3.3.1  安裝數(shù)據(jù)庫  64
3.3.2  MongoDB概念解析  68
3.3.3  創(chuàng)建數(shù)據(jù)庫  68
3.3.4  創(chuàng)建集合  69
3.3.5  插入文檔  69
3.3.6  查詢集合數(shù)據(jù)  71
3.3.7  修改記錄  73
3.3.8  數(shù)據(jù)排序  74
3.3.9  刪除文檔  75
3.4  lxml模塊解析數(shù)據(jù)  76
3.4.1  安裝模塊  76
3.4.2  XPath常用規(guī)則  76
3.4.3  讀取文件進行解析  79
3.5  本章小結  81
第4章  Python爬蟲常用模塊  82
4.1  Python網(wǎng)絡爬蟲技術核心  82
4.1.1  Python網(wǎng)絡爬蟲實現(xiàn)原理  82
4.1.2  爬行策略  83
4.1.3  身份識別  83
4.2  Python 3標準庫之urllib.request模塊  84
4.2.1  urllib.request請求返回網(wǎng)頁  84
4.2.2  urllib.request使用代理訪問網(wǎng)頁  86
4.2.3  urllib.request修改header  89
4.3  Python 3標準庫之logging模塊  93
4.3.1  簡述logging模塊  93
4.3.2  自定義模塊myLog  97
4.4  re模塊（正則表達式）  100
4.4.1  re模塊（正則表達式的操作）  100
4.4.2  re模塊實戰(zhàn)  102
4.5  其他有用模塊  103
4.5.1  sys模塊（系統(tǒng)參數(shù)獲?。?nbsp; 103
4.5.2  time模塊（獲取時間信息）  105
4.6  本章小結  108
第5章  Scrapy爬蟲框架  109
5.1  安裝Scrapy  109
5.1.1  在Windows下安裝Scrapy環(huán)境  109
5.1.2  在Linux下安裝Scrapy  110
5.1.3  vim編輯器  111
5.2  Scrapy選擇器XPath和CSS  112
5.2.1  XPath選擇器  112
5.2.2  CSS選擇器  115
5.2.3  其他選擇器  116
5.3  Scrapy爬蟲實戰(zhàn)一：今日影視  117
5.3.1  創(chuàng)建Scrapy項目  117
5.3.2  Scrapy文件介紹  119
5.3.3  Scrapy爬蟲的編寫  121
5.4  Scrapy爬蟲實戰(zhàn)二：天氣預報  128
5.4.1  項目準備  129
5.4.2  創(chuàng)建并編輯Scrapy爬蟲  130
5.4.3  數(shù)據(jù)存儲到JSON  137
5.4.4  數(shù)據(jù)存儲到MySQL  139
5.5  Scrapy爬蟲實戰(zhàn)三：獲取代理  145
5.5.1  項目準備  145
5.5.2  創(chuàng)建編輯Scrapy爬蟲  146
5.5.3  多個Spider  152
5.5.4  處理Spider數(shù)據(jù)  156
5.6  Scrapy爬蟲實戰(zhàn)四：糗事百科  158
5.6.1  目標分析  158
5.6.2  創(chuàng)建編輯Scrapy爬蟲  159
5.6.3  Scrapy項目中間件——添加headers  160
5.6.4  Scrapy項目中間件——添加Proxy  163
5.7  Scrapy爬蟲實戰(zhàn)五：爬蟲攻防  166
5.7.1  創(chuàng)建一般爬蟲  166
5.7.2  封鎖間隔時間破解  169
5.7.3  封鎖Cookies破解  170
5.7.4  封鎖User-Agent破解  170
5.7.5  封鎖IP破解  176
5.8  本章小結  179
第6章  BeautifulSoup爬蟲  180
6.1  安裝BeautifulSoup環(huán)境  180
6.1.1  在Windows下安裝BeautifulSoup  180
6.1.2  在Linux下安裝BeautifulSoup  181
6.1.3  強大的IDE——Eclipse  181
6.2  BeautifulSoup解析器  190
6.2.1  bs4解析器選擇  190
6.2.2  lxml解析器的安裝  191
6.2.3  使用bs4過濾器  192
6.3  bs4爬蟲實戰(zhàn)一：獲取百度貼吧內容  197
6.3.1  目標分析  197
6.3.2  項目實施  199
6.3.3  代碼分析  206
6.3.4  Eclipse調試  207
6.4  bs4爬蟲實戰(zhàn)二：獲取雙色球中獎信息  208
6.4.1  目標分析  209
6.4.2  項目實施  211
6.4.3  保存結果到Excel  214
6.4.4  代碼分析  219
6.5  bs4爬蟲實戰(zhàn)三：獲取起點小說信息  220
6.5.1  目標分析  220
6.5.2  項目實施  222
6.5.3  保存結果到MySQL  224
6.5.4  代碼分析  228
6.6  bs4爬蟲實戰(zhàn)四：獲取電影信息  229
6.6.1  目標分析  229
6.6.2  項目實施  230
6.6.3  bs4反爬蟲  233
6.6.4  代碼分析  235
6.7  bs4爬蟲實戰(zhàn)五：獲取音悅臺榜單  236
6.7.1  目標分析  236
6.7.2  項目實施  237
6.7.3  代碼分析  242
6.8  本章小結  243
第7章  PyQuery模塊  244
7.1  PyQuery模塊  244
7.1.1  什么是PyQuery模塊  244
7.1.2  PyQuery與其他工具  244
7.1.3  PyQuery模塊的安裝  245
7.2  PyQuery模塊的用法  247
7.2.1  使用字符串初始化  247
7.2.2  使用文件初始化  248
7.2.3  使用URL初始化  249
7.3  CSS篩選器的使用  250
7.3.1  基本CSS選擇器  250
7.3.2  查找節(jié)點  251
7.3.3  遍歷結果  255
7.3.4  獲取文本信息  256
7.4  PyQuery爬蟲實戰(zhàn)一：爬取百度風云榜  258
7.5  PyQuery爬蟲實戰(zhàn)二：爬取微博熱搜  259
7.6  本章小結  260
第8章  Selenium模擬瀏覽器  261
8.1  安裝Selenium模塊  261
8.1.1  在Windows下安裝Selenium模塊  261
8.1.2  在Linux下安裝Selenium模塊  262
8.2  瀏覽器選擇  262
8.2.1  Webdriver支持列表  262
8.2.2  在Windows下安裝PhantomJS  263
8.2.3  在Linux下安裝PhantomJS  265
8.3  Selenium&PhantomJS抓取數(shù)據(jù)  266
8.3.1  獲取百度搜索結果  267
8.3.2  獲取搜索結果  269
8.3.3  獲取有效數(shù)據(jù)位置  271
8.3.4  從位置中獲取有效數(shù)據(jù)  273
8.4  Selenium&PhantomJS實戰(zhàn)一：獲取代理  274
8.4.1  準備環(huán)境  274
8.4.2  爬蟲代碼  276
8.4.3  代碼解釋  278
8.5  Selenium&PhantomJS實戰(zhàn)二：漫畫爬蟲  279
8.5.1  準備環(huán)境  279
8.5.2  爬蟲代碼  281
8.5.3  代碼解釋  283
8.6  本章小結  284
 
第9章  PySpider框架的使用  285
9.1  安裝PySpider  285
9.1.1  安裝PySpider  285
9.1.2  使用PyQuery測試  291
9.2  PySpider實戰(zhàn)一：優(yōu)酷影視排行  293
9.2.1  創(chuàng)建項目  293
9.2.2  爬蟲編寫一：使用PySpider PyQuery實現(xiàn)爬取  295
9.2.3  爬蟲編寫二：使用PySpider BeautifulSoup實現(xiàn)爬取  301
9.3  PySpider實戰(zhàn)二：電影下載  304
9.3.1  項目分析  304
9.3.2  爬蟲編寫  306
9.3.3  爬蟲運行、調試  312
9.3.4  刪除項目  317
9.4  PySpider實戰(zhàn)三：音悅臺MusicTop  320
9.4.1  項目分析  320
9.4.2  爬蟲編寫  321
9.5  本章小結  325
第10章  圖形驗證識別技術  326
10.1  圖像識別開源庫：Tesseract  326
10.1.1  安裝Tesseract  326
10.1.2  設置環(huán)境變量  329
10.1.3  測試一：使用tesseract命令識別圖片中的字符  330
10.1.4  測試二：使用pytesseract模塊識別圖片中的英文字符  331
10.1.5  測試三：使用pytesseract模塊識別圖片中的中文文字  332
10.2  對網(wǎng)絡驗證碼的識別  333
10.2.1  圖形驗證實戰(zhàn)一：讀取網(wǎng)絡驗證碼并識別  333
10.2.2  圖形驗證實戰(zhàn)二：對驗證碼進行轉化  334
10.3  實戰(zhàn)三：破解滑塊驗證碼  335
10.3.1  所需工具  335
10.3.2  解決思路  335
10.3.3  編寫代碼  336
10.4  本章小結  341
第11章  爬取App  342
11.1  Charles的使用  342
11.1.1  下載安裝Charles  342
11.1.2  界面介紹  343
11.1.3  Proxy菜單  345
11.1.4  使用Charles進行PC端抓包  350
11.1.5  使用Charles進行移動端抓包  350
11.2  Mitmproxy的使用  351
11.2.1  安裝Mitmproxy  351
11.2.2  啟動Mitmproxy  352
11.2.3  編寫自定義腳本  354
11.2.4  Mitmproxy事件  355
11.2.5  實戰(zhàn)：演示Mitmproxy  358
11.3  實戰(zhàn)：使用Mitmdump爬取App  362
11.3.1  事先準備  363
11.3.2  帶腳本抓取  364
11.3.3  分析結果并保存  365
11.4  Appium的基本使用  366
11.4.1  安裝Appium—直接下載安裝包AppiumDesktop  366
11.4.2  安裝Appium—通過Node.js  368
11.4.3  Android 開發(fā)環(huán)境配置  368
11.4.4  iOS 開發(fā)環(huán)境配置  368
11.4.5  使用Appium  369
11.4.6  操作App  371
11.5  本章小結  374
第12章  爬蟲與反爬蟲  375
12.1  防止爬蟲IP被禁  375
12.1.1  反爬蟲在行動  375
12.1.2  爬蟲的應對  378
12.2  在爬蟲中使用Cookies  382
12.2.1  通過Cookies反爬蟲  382
12.2.2  帶Cookies的爬蟲  383
12.2.3  動態(tài)加載反爬蟲  386
12.2.4  使用瀏覽器獲取數(shù)據(jù)  386
12.3  本章小結  386