Python網(wǎng)絡(luò)爬蟲（Scrapy框架新技術(shù)技能人才培養(yǎng)系列教程）

第1章 使用第三方庫實現(xiàn)信息抓取
任務(wù)1 使用第三方庫實現(xiàn)北京公交站點(diǎn)頁面信息抓取
1．1．1 介紹爬蟲
1．1．2 HTTP
1．1．3 HTML
1．1．4 使用第三方庫實現(xiàn)爬蟲功能
1．1．5 技能實訓(xùn)
任務(wù)2 使用第三方庫實現(xiàn)北京公交站點(diǎn)詳細(xì)信息抓取
1．2．1 lxml庫
1．2．2 第三方庫數(shù)據(jù)抓取及保存
1．2．3 技能實訓(xùn)
本章小結(jié)
本章作業(yè)
第2章 初探Scrapy爬蟲框架
任務(wù)1 安裝Scrapy爬蟲框架并創(chuàng)建爬蟲工程
2．1．1 根據(jù)使用場景劃分爬蟲種類
2．1．2 開發(fā)基于Scrapy爬蟲框架的工程
任務(wù)2 學(xué)習(xí)并掌握Scrapy爬蟲框架各模塊的功能
2．2．1 Scrapy爬蟲工程組成
2．2．2 Scrapy爬蟲框架架構(gòu)
本章小結(jié)
本章作業(yè)
第3章 提取網(wǎng)頁數(shù)據(jù)
任務(wù)1 使用Scrapy的選擇器提取豆瓣電影信息
3．1．1 Response對象
3．1．2 css選擇器
3．1．3 多層級網(wǎng)頁爬取
3．1．4 技能實訓(xùn)
任務(wù)2 使用正則表達(dá)式從電影介紹詳情中提取信息
3．2．1 正則表達(dá)式
3．2．2 技能實訓(xùn)
本章小結(jié)
本章作業(yè)
第4章 Scrapy數(shù)據(jù)保存（文件、MySQL、MongoDB）
任務(wù)一 使用Feed exports將爬取的電影信息保存到常見數(shù)據(jù)格式文件中
4．1．1 Feed exports
4．1．2 技能實訓(xùn)
任務(wù)2 使用pipeline將爬取的電影信息數(shù)據(jù)保存到數(shù)據(jù)庫中
4．2．1 Python操作MySQL數(shù)據(jù)庫
4．2．2 pipeline模塊
4．2．3 將數(shù)據(jù)保存到MongoDB中
4．2．4 技能實訓(xùn)
本章小結(jié)
本章作業(yè)
第5章 Scrapy反反爬技術(shù)
任務(wù)1 學(xué)習(xí)反爬蟲和反反爬蟲策略
5．1．1 反爬蟲方法和反反爬蟲策略
5．1．2 Scrapy設(shè)置實現(xiàn)反反爬
5．1．3 技能實訓(xùn)
任務(wù)2 學(xué)習(xí)Scrapy框架中*多常用的設(shè)置
……