數(shù)據(jù)采集與預(yù)處理

項目1
數(shù)據(jù)采集與預(yù)處理準備　1
學(xué)習目標　1
項目描述　1
任務(wù)1　認識數(shù)據(jù)采集技術(shù)，熟悉數(shù)據(jù)采集平臺　1
任務(wù)描述　1
任務(wù)目標　2
知識準備　2
任務(wù)實施　10
任務(wù)2　認識數(shù)據(jù)預(yù)處理技術(shù)　13
任務(wù)描述　13
任務(wù)目標　13
知識準備　13
任務(wù)實施　19
項目2
網(wǎng)絡(luò)爬蟲實踐　24
學(xué)習目標　24
項目描述　24
任務(wù)1　使用urllib爬取北京公交線路信息　24
任務(wù)描述　24
任務(wù)目標　25
知識準備　25
任務(wù)實施　48
任務(wù)2　使用Selenium爬取淘寶網(wǎng)站信息　58
任務(wù)描述　58
任務(wù)目標　58
知識準備　58
任務(wù)實施　69
任務(wù)3　使用Scrapy爬取北京公交信息　75
任務(wù)描述　75
任務(wù)目標　75
知識準備　75
任務(wù)實施　78
任務(wù)4　創(chuàng)新與拓展　86
任務(wù)描述　86
任務(wù)目標　86
項目3
日志數(shù)據(jù)采集實踐　87
學(xué)習目標　87
項目描述　87
任務(wù)1　Flume的安裝和配置　87
任務(wù)描述　87
任務(wù)目標　88
知識準備　88
任務(wù)實施　95
任務(wù)2　Flume采集數(shù)據(jù)上傳到集群　105
任務(wù)描述　105
任務(wù)目標　106
知識準備　106
任務(wù)實施　110
任務(wù)3　創(chuàng)新與拓展　118
任務(wù)描述　118
任務(wù)目標　118
項目4
數(shù)據(jù)預(yù)處理實踐　119
學(xué)習目標　119
項目描述　119
任務(wù)1　用Pig進行數(shù)據(jù)預(yù)處理　119
任務(wù)描述　119
任務(wù)目標　120
知識準備　120
任務(wù)實施　134
任務(wù)2　用Kettle進行數(shù)據(jù)預(yù)處理　137
任務(wù)描述　137
任務(wù)目標　137
知識準備　137
任務(wù)實施　139
任務(wù)3　用Pandas進行數(shù)據(jù)預(yù)處理　150
任務(wù)描述　150
任務(wù)目標　150
知識準備　150
任務(wù)實施　153
任務(wù)4　用OpenRefine進行數(shù)據(jù)預(yù)處理　155
任務(wù)描述　155
任務(wù)目標　155
知識準備　155
任務(wù)實施　157
任務(wù)5　用Flume Interceptor對日志信息進行數(shù)據(jù)預(yù)處理　162
任務(wù)描述　162
任務(wù)目標　163
知識準備　163
任務(wù)實施　167
任務(wù)6　創(chuàng)新與拓展　176
任務(wù)描述　176
任務(wù)目標　176