Python網(wǎng)絡(luò)爬蟲(chóng)案例實(shí)戰(zhàn)

第1章爬蟲(chóng)網(wǎng)絡(luò)概述

1.1HTTP基本原理

1.1.1URL和URL

1.1.2超文本

1.1.3HTTP和HTTPS

1.1.4HTTP請(qǐng)求過(guò)程

1.1.5請(qǐng)求

1.1.6響應(yīng)

1.2網(wǎng)頁(yè)基礎(chǔ)

1.2.1網(wǎng)頁(yè)的組成

1.2.2節(jié)點(diǎn)樹(shù)及節(jié)點(diǎn)間的關(guān)系

1.2.3選擇器

1.3網(wǎng)絡(luò)爬蟲(chóng)合法性

1.3.1Robots協(xié)議

1.3.2網(wǎng)絡(luò)爬蟲(chóng)的約束

1.4網(wǎng)絡(luò)爬蟲(chóng)技術(shù)

1.4.1網(wǎng)絡(luò)爬蟲(chóng)的概述

1.4.2網(wǎng)絡(luò)爬蟲(chóng)原理

1.4.3網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的工作原理

1.4.4Python爬蟲(chóng)的架構(gòu)

1.4.5爬蟲(chóng)對(duì)互聯(lián)網(wǎng)進(jìn)行劃分

1.5爬取策略

1.6爬蟲(chóng)網(wǎng)絡(luò)更新策略

1.7會(huì)話和Cookie

1.7.1靜態(tài)網(wǎng)頁(yè)和動(dòng)態(tài)網(wǎng)頁(yè)

1.7.2無(wú)狀態(tài)HTTP

1.7.3常見(jiàn)誤區(qū)

1.8代理的基本原理

1.8.1基本原理

1.8.2代理的作用

1.8.3爬蟲(chóng)代理

1.8.4代理分類(lèi)

1.8.5常見(jiàn)代理設(shè)置

1.9習(xí)題

第2章Python平臺(tái)及Web前端

2.1Python軟件概述

2.2Python的安裝

2.2.1在Linux系統(tǒng)中搭建Python環(huán)境

2.2.2在Windows系統(tǒng)中搭建Python環(huán)境

2.2.3使用pip安裝第三方庫(kù)

2.3Python的入門(mén)

2.3.1基本命令

2.3.2數(shù)據(jù)類(lèi)型

2.4條件語(yǔ)句與循環(huán)語(yǔ)句

2.4.1條件語(yǔ)句

2.4.2循環(huán)語(yǔ)句

2.5面向?qū)ο缶幊?/p>

2.5.1面向?qū)ο蠹夹g(shù)簡(jiǎn)介

2.5.2類(lèi)定義

2.5.3類(lèi)對(duì)象

2.5.4類(lèi)的方法

2.5.5繼承

2.6第一個(gè)爬蟲(chóng)實(shí)例

2.7Web前端

2.8習(xí)題

第3章靜態(tài)網(wǎng)頁(yè)爬取

3.1Requests的安裝

3.2獲取響應(yīng)內(nèi)容

3.3JSON數(shù)據(jù)庫(kù)

3.3.1JSON的使用

3.3.2爬取抽屜網(wǎng)信息

3.4傳遞URL參數(shù)

3.5獲取響應(yīng)內(nèi)容

3.6獲取網(wǎng)頁(yè)編碼

3.7定制請(qǐng)求頭

3.8發(fā)送POST請(qǐng)求

3.9設(shè)置超時(shí)

3.10代理訪問(wèn)

3.11自定義請(qǐng)求頭部

3.12Requests爬蟲(chóng)實(shí)踐

3.12.1狀態(tài)碼521網(wǎng)頁(yè)的爬取

3.12.2TOP250電影數(shù)據(jù)

3.13習(xí)題

第4章動(dòng)態(tài)網(wǎng)頁(yè)爬取

4.1動(dòng)態(tài)爬取淘寶網(wǎng)實(shí)例

4.2什么是Ajax

4.2.1Ajax分析

4.2.2Ajax結(jié)果提取

4.2.3Ajax爬取今日頭條街拍美圖

4.3解析真實(shí)地址爬取

4.4selenium爬取動(dòng)態(tài)網(wǎng)頁(yè)

4.4.1安裝selenium

4.4.2爬取百度表情包

4.5爬取去哪兒網(wǎng)

4.6習(xí)題

第5章解析網(wǎng)頁(yè)

5.1獲取豆瓣電影

5.2正則表達(dá)式解析網(wǎng)頁(yè)

5.2.1字符串匹配

5.2.2起始位置匹配字符串

5.2.3所有子串匹配

5.2.4Requests爬取貓眼電影排行

5.3BeautifulSoup解析網(wǎng)頁(yè)

5.4PyQuery解析庫(kù)

5.4.1使用PyQuery

5.4.2PyQuery爬取煎蛋網(wǎng)商品圖片

5.5lxml解析網(wǎng)頁(yè)

5.5.1使用lxml

5.5.2文件讀取

5.5.3XPath使用

5.5.4爬取LOL百度貼吧圖片

5.6爬取二手房網(wǎng)站數(shù)據(jù)

5.7習(xí)題

第6章并發(fā)與Web

6.1并發(fā)和并行、同步和異步、阻塞與非阻塞

6.1.1并發(fā)和并行

6.1.2同步與異步

6.1.3阻塞與非阻塞

6.2線程

6.2.1線程模塊

6.2.2使用Threading模塊創(chuàng)建線程

6.2.3線程同步

6.2.4線程池在Web編程的應(yīng)用

6.3隊(duì)列

6.4進(jìn)程

6.4.1進(jìn)程與線程的歷史

6.4.2進(jìn)程與線程之間的關(guān)系

6.4.3進(jìn)程與進(jìn)程池

6.5協(xié)程

6.5.1協(xié)程的生成器的基本行為

6.5.2協(xié)程的4個(gè)狀態(tài)

6.5.3終止協(xié)程和異常處理

6.5.4顯式地將異常發(fā)給協(xié)程

6.5.5yield from獲取協(xié)程的返回值

6.5.6協(xié)程案例分析

6.6分布式進(jìn)程案例分析

6.7網(wǎng)絡(luò)編程

6.7.1TCP編程

6.7.2UDP編程

6.8習(xí)題

第7章Python數(shù)據(jù)庫(kù)存儲(chǔ)

7.1幾種保存方法

7.1.1Open函數(shù)保存

7.1.2pandas包保存

7.1.3CSV模塊保存

7.1.4numpy包保存

7.2JSON文件存儲(chǔ)

7.2.1對(duì)象和數(shù)組

7.2.2讀取JSON

7.2.3讀JSON文件

7.2.4輸出JSON

7.3存儲(chǔ)到MongoDB數(shù)據(jù)庫(kù)

7.3.1MongoDB的特點(diǎn)

7.3.2下載安裝MongoDB

7.3.3配置 MongoDB 服務(wù)

7.3.4創(chuàng)建數(shù)據(jù)庫(kù)

7.4爬取虎撲論壇帖子

7.5習(xí)題

第8章Python反爬蟲(chóng)

8.1為什么會(huì)被反爬蟲(chóng)

8.2反爬蟲(chóng)的方式有哪些

8.2.1不返回網(wǎng)頁(yè)

8.2.2返回?cái)?shù)據(jù)非目標(biāo)網(wǎng)頁(yè)

8.2.3獲取數(shù)據(jù)變難

8.3怎樣“反反爬蟲(chóng)”

8.3.1修改請(qǐng)求頭

8.3.2修改爬蟲(chóng)訪問(wèn)周期

8.3.3使用代理

8.4習(xí)題

第9章Python中文亂碼問(wèn)題

9.1什么是字符編碼

9.2Python的字符編碼

9.3解決中文編碼問(wèn)題

9.4網(wǎng)頁(yè)使用gzip壓縮

9.5Python讀寫(xiě)文件中出現(xiàn)亂碼

9.6Matplotlib中文亂碼問(wèn)題

9.7習(xí)題

第10章Python登錄與驗(yàn)證碼

10.1登錄表單

10.1.1處理登錄表單

10.1.2處理Cookie

10.1.3完整的登錄代碼

10.2驗(yàn)證碼處理

10.2.1如何使用驗(yàn)證碼驗(yàn)證

10.2.2人工方法處理驗(yàn)證碼

10.2.3OCR處理驗(yàn)證碼

10.3極驗(yàn)滑動(dòng)驗(yàn)證碼的識(shí)別案例

10.4點(diǎn)觸驗(yàn)證碼的識(shí)別案例

10.5習(xí)題

第11章Python采集服務(wù)器

11.1使用服務(wù)器采集原因

11.1.1大規(guī)模爬蟲(chóng)的需要

11.1.2防止IP地址被封殺

11.2動(dòng)態(tài)IP撥號(hào)服務(wù)器

11.2.1購(gòu)買(mǎi)撥號(hào)服務(wù)器

11.2.2登錄服務(wù)器

11.2.3Python更換IP

11.2.4爬蟲(chóng)與更換IP功能結(jié)合

11.3Tor代理服務(wù)器

11.3.1安裝Tor

11.3.2使用Tor

11.3.3實(shí)現(xiàn)自動(dòng)投票

11.4習(xí)題

第12章Python基礎(chǔ)爬蟲(chóng)

12.1架構(gòu)及流程

12.2URL管理器

12.3HTML下載器

12.4HTML解析器

12.5數(shù)據(jù)存儲(chǔ)器

12.6爬蟲(chóng)調(diào)度器實(shí)現(xiàn)

12.7習(xí)題

第13章Python的App爬取

13.1Charles爬取

13.2Appium爬取

13.2.1Appium安裝

13.2.2Appium的基本使用

13.3API爬取

13.4Appium爬取微信朋友圈

13.5習(xí)題

第14章Python分布式爬蟲(chóng)

14.1主從模式

14.1.1URL管理器

14.1.2數(shù)據(jù)存儲(chǔ)器

14.1.3控制調(diào)度器

14.2爬蟲(chóng)節(jié)點(diǎn)

14.2.1HTML下載器

14.2.2HTML解析器

14.2.3爬蟲(chóng)調(diào)度器

14.3Redis

14.3.1Redis的安裝

14.3.2Redis的配置

14.3.3數(shù)據(jù)類(lèi)型

14.4Python與Redis

14.4.1連接方式

14.4.2連接池

14.4.3Redis的基本操作

14.4.4管道

14.4.5發(fā)布和訂閱

14.5操作RabbitMQ

14.5.1安裝Erlang

14.5.2安裝RabbitMQ

14.6習(xí)題

第15章爬蟲(chóng)的綜合實(shí)戰(zhàn)

15.1Email提醒

15.2爬取mp3資源信息

15.3創(chuàng)建云起書(shū)院爬蟲(chóng)

15.4使用代理爬取微信公眾號(hào)文章

參考文獻(xiàn)