商務(wù)數(shù)據(jù)采集

開?篇
項(xiàng)目一　平臺類數(shù)據(jù)工具使用
任務(wù)1.1　指數(shù)類數(shù)據(jù)工具――百度指數(shù)
【基礎(chǔ)知識】
一、趨勢研究
二、需求圖譜
三、人群畫像
【任務(wù)實(shí)施】
【思考題】
任務(wù)1.2　電商平臺數(shù)據(jù)工具――生意參謀
【基礎(chǔ)知識】
一、首頁
二、實(shí)時概況
三、流量和品類
四、交易和服務(wù)
五、市場
【任務(wù)實(shí)施】
【思考題】
任務(wù)1.3　插件類數(shù)據(jù)工具――店偵探
【基礎(chǔ)知識】
一、店偵探簡介
二、店偵探插件安裝及使用
【任務(wù)實(shí)施】
一、店偵探插件數(shù)據(jù)采集
二、店偵探競店數(shù)據(jù)采集
【思考題】
任務(wù)1.4　新媒體類數(shù)據(jù)工具――飛瓜
【基礎(chǔ)知識】
【任務(wù)實(shí)施】
【思考題】
項(xiàng)目二　網(wǎng)絡(luò)數(shù)據(jù)采集器使用
任務(wù)2.1　京東產(chǎn)品信息試采――八爪魚基礎(chǔ)教程
【基礎(chǔ)知識】
一、HTTP請求響應(yīng)過程
二、爬蟲的基本原理
三、八爪魚介紹
【任務(wù)實(shí)施】
一、八爪魚簡易模式的使用
二、八爪魚自定義模式的使用
【思考題】
任務(wù)2.2　京東評論內(nèi)容采集――Ajax
【基礎(chǔ)知識】
【任務(wù)實(shí)施】
【思考題】
任務(wù)2.3　京東評論內(nèi)容修正――XPath
【基礎(chǔ)知識】
一、XPath概念
二、查看和調(diào)試XPath
三、XPath表達(dá)式
【任務(wù)實(shí)施】
【思考題】
任務(wù)2.4　京東評論圖片采集――正則表達(dá)式
【基礎(chǔ)知識】
【任務(wù)實(shí)施】
【思考題】
任務(wù)2.5　用戶登錄模式采集――自定義Cookie
【基礎(chǔ)知識】
一、靜態(tài)網(wǎng)頁和動態(tài)網(wǎng)頁
二、無狀態(tài)HTTP
三、Cookie
四、Session
五、Cookie屬性結(jié)構(gòu)
【任務(wù)實(shí)施】
【思考題】
項(xiàng)目三　蘇寧市場競爭數(shù)據(jù)采集
任務(wù)3.1　蘇寧請求流程分析――Chrome＆Postman
【基礎(chǔ)知識】
一、打開Chrome開發(fā)者工具
二、 Elements
三、 Network
【任務(wù)實(shí)施】
一、搜索結(jié)果列表頁分析
二、蘇寧產(chǎn)品詳情頁參數(shù)分析
三、蘇寧產(chǎn)品評論參數(shù)分析
【思考題】
任務(wù)3.2　蘇寧產(chǎn)品列表請求――Requests庫的使用
【基礎(chǔ)知識】
一、基本用法
二、 用法
【任務(wù)實(shí)施】
【思考題】
任務(wù)3.3　列表響應(yīng)數(shù)據(jù)提取――lxml＆RE庫
【基礎(chǔ)知識】
一、lxml庫
二、RE庫
【任務(wù)實(shí)施】
一、蘇寧產(chǎn)品URL提取
二、蘇寧clusterId提取
【思考題】
任務(wù)3.4　評論響應(yīng)數(shù)據(jù)輸出――JSON
【基礎(chǔ)知識】
一、JSON基礎(chǔ)知識
二、JSON用法
【任務(wù)實(shí)施】
【思考題】
任務(wù)3.5　蘇寧用戶賬號登錄――Selenium＆ChromeDriver
【基礎(chǔ)知識】
一、環(huán)境配置
二、基礎(chǔ)用法
【任務(wù)實(shí)施】
【思考題】
項(xiàng)目四　采集數(shù)據(jù)存儲
任務(wù)4.1　 簡單的文件型存儲――Excel、CSV文件
【基礎(chǔ)知識】
一、Excel文件
二、CSV文件
【任務(wù)實(shí)施】
一、使用Excel存儲數(shù)據(jù)
二、使用CSV存儲數(shù)據(jù)
三、Excel與CSV文件互轉(zhuǎn)
【思考題】
任務(wù)4.2　 普通的關(guān)系型數(shù)據(jù)庫――MySQL
【基礎(chǔ)知識】
一、MySQL認(rèn)知
二、MySQL的安裝
三、MySQL可視化客戶端的使用
【任務(wù)實(shí)施】
一、MySQL數(shù)據(jù)庫的數(shù)據(jù)操作
二、MySQL數(shù)據(jù)庫與Excel文件的交互
【思考題】
任務(wù)4.3　 潮流的分布式數(shù)據(jù)庫――MongoDB
【基礎(chǔ)知識】
一、MongoDB認(rèn)知
二、MongoDB的安裝
三、MongoDB可視化客戶端的使用
【任務(wù)實(shí)施】
【思考題】
項(xiàng)目五　數(shù)據(jù)清洗
任務(wù)5.1　數(shù)據(jù)規(guī)范處理――表格規(guī)范
【基礎(chǔ)知識】
一、數(shù)據(jù)類型
二、一維表vs二維表
【任務(wù)實(shí)施】
一、數(shù)據(jù)類型轉(zhuǎn)換
二、數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換
【思考題】
任務(wù)5.2　錯誤數(shù)據(jù)處理――查錯補(bǔ)缺
【基礎(chǔ)知識】
【任務(wù)實(shí)施】
一、缺失值處理
二、重復(fù)值處理
三、邏輯錯誤處理
【思考題】
任務(wù)5.3　文本數(shù)據(jù)處理――文本操作
【基礎(chǔ)知識】
【任務(wù)實(shí)施】
一、查找替換
二、單元格特殊字符去除
三、文本數(shù)據(jù)提取
【思考題】
任務(wù)5.4　無序數(shù)據(jù)處理――篩選排序
【基礎(chǔ)知識】
一、邏輯“與”“或”“非”
二、排序依據(jù)
【任務(wù)實(shí)施】
一、數(shù)據(jù)篩選
二、數(shù)據(jù)排序
【思考題】
任務(wù)5.5　數(shù)據(jù)分合處理――拆分合并
【基礎(chǔ)知識】
【任務(wù)實(shí)施】
一、數(shù)據(jù)拆分
二、數(shù)據(jù)合并
三、合并單元格拆分
【思考題】
參考文獻(xiàn)