數(shù)據(jù)采集與預(yù)處理

第1章 概述
1.1 大數(shù)據(jù)采集
1.1.1 大數(shù)據(jù)來源
1.1.2 大數(shù)據(jù)采集方式
1.1.3 數(shù)據(jù)預(yù)處理
1.2 網(wǎng)絡(luò)爬蟲原理和分類
1.2.1 爬蟲原理
1.2.2 爬蟲分類
1.2.3 常用爬蟲工具
1.3 網(wǎng)絡(luò)爬蟲法律規(guī)范
1.3.1 數(shù)據(jù)隱私保護(hù)
1.3.2 Robots協(xié)議
1.3.3 法律法規(guī)
本章小結(jié)
本章習(xí)題
第2章 Python基礎(chǔ)
2，1 Python環(huán)境搭建
2.1.1 Python解釋器
2.1.2 PyCharm的安裝
2.2 Python基礎(chǔ)
2.2.1 Python語法基礎(chǔ)
2.2.2 數(shù)據(jù)類型
2.2.3 程序結(jié)構(gòu)
2.2.4 函數(shù)
2.2.5 面向?qū)ο?br /> 本章小結(jié)
本章習(xí)題
第3章 靜態(tài)網(wǎng)頁爬取
3.1 HTTP協(xié)議概述
3.1.1 請求響應(yīng)模型
3.1.2 請求報文
3.1.3 響應(yīng)報文
3.2 使用Requests庫提取網(wǎng)頁數(shù)據(jù)
3.2.1 Requests庫的安裝
3.2.2 Requests庫的請求方法
3.2.3 使用Requests庫發(fā)送GET請求
3.2.4 使用Requests庫發(fā)送POST請求
3.2.5 Requests庫的響應(yīng)對象
3.2.6 HTTP狀態(tài)碼
3.2.7 定制請求頭
3.2.8 Requests庫發(fā)送GET請求的通用代碼
3.3 使用urllib庫提取網(wǎng)頁數(shù)據(jù)
3.3.1 使用urllib庫發(fā)送GET請求
3.3.2 使用urllib庫發(fā)送POST請求
3.3.3 urllib庫的用戶代理
3.4 案例1 QQ表情包圖片爬取
3.4.1 任務(wù)描述
3.4.2 任務(wù)分析
3.4.3 任務(wù)實現(xiàn)
3.5 案例 2手機(jī)號碼歸屬地查詢
3.5.1 任務(wù)描述
3.5.2 任務(wù)分析
3.5.3 任務(wù)實現(xiàn)
本章小結(jié)
本章習(xí)題
第4章 網(wǎng)頁解析
4.1 使用BeautifulSoup解析網(wǎng)頁
4.1.1 BeautifulSoup庫的安裝
4.1.2 BeautifulSoup解析器
……
第5章 數(shù)據(jù)存儲
第6章 動態(tài)網(wǎng)頁爬取
第7章 Scrpay框架初探
第8章 Scrpay框架深入
第9章 數(shù)據(jù)預(yù)處理
第10章 招聘網(wǎng)站數(shù)據(jù)分析
參考文獻(xiàn)