大數(shù)據(jù)平臺應用

第1章 感知大數(shù)據(jù)\t1
任務1 認知大數(shù)據(jù)\t1
子任務1 定義大數(shù)據(jù)\t2
子任務2 洞悉大數(shù)據(jù)的特征\t2
任務2 探究大數(shù)據(jù)常用的技術\t3
任務3 窺視大數(shù)據(jù)的商業(yè)應用\t4
課后練習\t5
第2章 環(huán)視Hadoop\t6
任務1 溯源Hadoop\t6
子任務1 較量Hadoop與傳統(tǒng)文件系統(tǒng)\t8
子任務2 發(fā)現(xiàn)Hadoop的核心和特點\t9
子任務3 初訪MapReduce\t10
任務2 查究Hadoop分布式文件系統(tǒng)\t12
子任務1 探究HDFS工作機制\t12
子任務2 厘清HDFS的前提和設計目標\t15
子任務3 深挖HDFS的核心機制\t19
任務3 構建MapReduce編程模型\t22
子任務1 解構MapReduce編程模型\t22
子任務2 揭秘YARN與MapReduce\t24
任務4 漫游Hadoop系統(tǒng)及其生態(tài)圈\t25
課后練習\t32
第3章 部署Hadoop大數(shù)據(jù)平臺\t34
任務1 掌控Hadoop平臺的部署模式\t34
任務2 部署Hadoop集群\t36
任務3 編寫首個MapReduce程序\t59
任務4 初次運行MapReduce程序\t60
課后練習\t64
本章附錄\t65
第4章 設計爬蟲獲取數(shù)據(jù)源\t69
任務1 初探大數(shù)據(jù)\t69
任務2 剖析大數(shù)據(jù)\t74
任務3 爬取大數(shù)據(jù)\t76
任務4 活用Scrapy框架高效編制爬蟲\t79
任務5 運用Scrapy\t81
課后練習\t89
第5章 清洗數(shù)據(jù)與存儲結構化\t91
任務1 揭示數(shù)據(jù)清洗\t91
任務2 清洗數(shù)據(jù)\t92
子任務1 熟知數(shù)據(jù)的基本操作\t92
子任務2 處理數(shù)據(jù)缺失\t94
子任務3 規(guī)范化數(shù)據(jù)\t96
子任務4 處理數(shù)據(jù)表結構的錯誤\t97
子任務5 處理日期數(shù)據(jù)的問題\t102
任務3 使用分布式數(shù)據(jù)庫系統(tǒng)和結構存儲數(shù)據(jù)\t104
子任務1 安裝并使用Hive數(shù)據(jù)倉庫\t104
子任務2 安裝并使用HBase分布式數(shù)據(jù)庫\t110
課后練習\t114
第6章 分析大數(shù)據(jù)\t115
任務1 透視數(shù)據(jù)分析\t115
任務2 構建分析模型\t116
子任務1 厘清數(shù)據(jù)分析過程\t116
子任務2 數(shù)據(jù)機器學習模型\t117
任務3 運用大數(shù)據(jù)分析算法分析數(shù)據(jù)\t119
子任務1 運用K-Means聚類算法分析數(shù)據(jù)\t120
子任務2 運用線性回歸算法分析數(shù)據(jù)\t123
子任務3 運用決策樹算法分析數(shù)據(jù)\t127
課后練習\t130
第7章 可視化大數(shù)據(jù)\t131
任務1 洞察pyecharts庫\t131
任務2 活用可視化\t132
子任務1 活用柱狀圖/條形圖（Bar）\t132
子任務2 活用散點圖（EffectScatter）\t139
子任務3 活用漏斗圖（Funnel）\t142
子任務4 活用儀表盤（Gauge）\t143
子任務5 活用地理坐標圖（Geo）\t144
子任務6 活用關系圖（Graph）\t145
子任務7 活用熱力圖（HeatMap）\t148
子任務8 活用K線圖（Kline/Candlestick）\t150
子任務9 活用折線圖/面積圖（Line）\t152
子任務10 活用水球圖（Liquid）\t153
子任務11 活用地圖（Map）\t154
子任務12 活用餅圖（Pie）\t155
子任務13 活用平行坐標系（Parallel）\t156
子任務14 活用雷達圖（Radar）\t159
子任務15 活用詞云（WordCloud）圖\t160
課后練習\t161
第8章 平臺化快速部署Hadoop\t163
任務1 探尋大數(shù)據(jù)管理平臺\t163
任務2 配置基礎環(huán)境\t165
子任務1 配置Linux系統(tǒng)\t165
子任務2 禁用Transparent Huge Pages\t169
子任務3 安裝并配置JDK\t170
任務3 安裝并配置Ambari\t170
任務4 快速部署Hadoop大數(shù)據(jù)集群\t173
課后練習\t178
附錄A 課后練習參考答案\t179