大數(shù)據(jù)離線分析

緒論001
第1章走進(jìn)Hive003
1.1Hive簡介003
1.1.1Hive發(fā)展史003
1.1.2體系結(jié)構(gòu)004
1.2Hive的安裝部署005
1.2.1安裝配置Hive005
1.2.2啟動(dòng)Hive008
1.3Hive命令009
1.3.1Hive命令行選項(xiàng)009
1.3.2CLI命令行界面010
1.3.3Hive中CLI命令的快速編輯011
1.3.4Hive中的腳本011
1.3.5dfs命令的執(zhí)行013
1.4數(shù)據(jù)類型和文件格式014
1.4.1基本數(shù)據(jù)類型014
1.4.2集合數(shù)據(jù)類型015
1.4.3文本文件數(shù)據(jù)編碼016
本章小結(jié)018
習(xí)題018
第2章HiveQL數(shù)據(jù)定義020
2.1數(shù)據(jù)庫的創(chuàng)建與查詢020
2.2數(shù)據(jù)庫的修改與刪除021
2.3創(chuàng)建表022
2.3.1管理表023
2.3.2外部表023
2.3.3查看表結(jié)構(gòu)024
2.4修改表025
2.5刪除表026大數(shù)據(jù)
離線分析
目錄
2.6分區(qū)表027
2.6.1外部分區(qū)表028
2.6.2自定義表的存儲(chǔ)格式030
2.6.3增加、修改和刪除分區(qū)表031
2.7桶表031
本章小結(jié)032
習(xí)題033
第3章HiveQL數(shù)據(jù)操作034
3.1數(shù)據(jù)加載與導(dǎo)出034
3.1.1數(shù)據(jù)加載034
3.1.2數(shù)據(jù)導(dǎo)出036
3.2數(shù)據(jù)查詢037
3.2.1SELECT ... FROM語句037
3.2.2WHERE語句040
3.2.3GROUP BY語句與HAVING語句042
3.2.4JOIN語句043
3.2.5ORDER BY語句和SORT BY語句046
3.2.6CLUSTER BY語句047
3.2.7UNION ALL語句048
3.3抽樣查詢048
3.3.1數(shù)據(jù)塊抽樣049
3.3.2分桶表的輸入裁剪049
本章小結(jié)051
習(xí)題051
第4章HiveQL視圖和索引052
4.1視圖052
4.1.1創(chuàng)建視圖052
4.1.2顯示視圖053
4.1.3刪除視圖054
4.2索引054
4.2.1創(chuàng)建索引055
4.2.2重建索引055
4.2.3顯示索引056
4.2.4刪除索引056
本章小結(jié)057
習(xí)題057
第5章Hive的函數(shù)058
5.1函數(shù)簡介058
5.1.1發(fā)現(xiàn)和描述函數(shù)058
5.1.2調(diào)用函數(shù)059
5.1.3標(biāo)準(zhǔn)函數(shù)059
5.1.4聚合函數(shù)061
5.1.5表生成函數(shù)067
5.2用戶自定義函數(shù)UDF068
5.3用戶自定義聚合函數(shù)UDAF072
5.4用戶自定義表生成函數(shù)UDTF074
5.5UDF的標(biāo)注075
5.5.1定數(shù)性標(biāo)注(deterministic)076
5.5.2狀態(tài)性標(biāo)注(stateful)076
5.5.3唯一性標(biāo)注(distinctLike)076
本章小結(jié)076
習(xí)題077
第6章認(rèn)識(shí)Pig078
6.1初識(shí)Pig078
6.1.1Pig是什么078
6.1.2Pig的應(yīng)用場(chǎng)景078
6.1.3Pig的設(shè)計(jì)思想079
6.1.4Pig的發(fā)展簡史080
6.2安裝、運(yùn)行Pig080
6.2.1安裝Pig080
6.2.2運(yùn)行Pig081
本章小結(jié)082
習(xí)題082
第7章Pig基礎(chǔ)084
7.1命令行工具Grunt084
7.1.1輸入Pig Latin腳本084
7.1.2使用HDFS命令085
7.1.3控制Pig087
7.2Pig數(shù)據(jù)類型088
7.2.1基本類型088
7.2.2復(fù)雜類型089
7.2.3NULL值089
7.2.4類型轉(zhuǎn)換090
本章小結(jié)092
習(xí)題092
第8章Pig Latin編程093
8.1Pig Latin介紹093
8.1.1基礎(chǔ)知識(shí)093
8.1.2輸入和輸出094
8.2關(guān)系操作095
8.2.1foreach語句096
8.2.2filter語句096
8.2.3group語句097
8.2.4order語句097
8.2.5distinct語句098
8.2.6join語句098
8.2.7limit語句098
8.2.8sample語句099
8.2.9parallel語句099
8.3用戶自定義函數(shù)UDF101
8.3.1注冊(cè)UDF102
8.3.2define命令和UDF103
8.3.3調(diào)用Java函數(shù)104
8.4開發(fā)工具104
8.4.1describe104
8.4.2explain105
8.4.3illustrate107
8.4.4Pig統(tǒng)計(jì)信息109
8.4.5M/R作業(yè)狀態(tài)信息111
8.4.6調(diào)試技巧112
本章小結(jié)113
習(xí)題113
第9章數(shù)據(jù)ETL工具Sqoop115
9.1安裝Sqoop115
9.2數(shù)據(jù)導(dǎo)入117
9.2.1導(dǎo)入實(shí)例118
9.2.2導(dǎo)入數(shù)據(jù)的使用119
9.2.3數(shù)據(jù)導(dǎo)入代碼生成120
9.3數(shù)據(jù)導(dǎo)出121
9.3.1導(dǎo)出實(shí)例121
9.3.2導(dǎo)出和SequenceFile123
本章小結(jié)123
習(xí)題124
第10章Hadoop工作流引擎Oozie125
10.1Oozie是什么125
10.2Oozie的安裝125
10.3Oozie的編寫與運(yùn)行131
10.3.1Workflow組件131
10.3.2Coordinator組件133
10.3.3Bundle組件134
10.3.4作業(yè)的部署與執(zhí)行134
10.3.5向作業(yè)傳遞參數(shù)136
10.4Oozie控制臺(tái)136
10.4.1控制臺(tái)界面136
10.4.2獲取作業(yè)信息137
10.5Oozie的高級(jí)特性139
10.5.1自定義Oozie Workflow139
10.5.2使用Oozie JavaAPI141
本章小結(jié)143
習(xí)題143
第11章離線計(jì)算實(shí)例145
11.1微博歷史數(shù)據(jù)分析145
11.1.1數(shù)據(jù)結(jié)構(gòu)145
11.1.2需求分析146
11.1.3需求實(shí)現(xiàn)146
11.2電商銷售數(shù)據(jù)分析160
11.2.1數(shù)據(jù)結(jié)構(gòu)160
11.2.2需求分析161
11.2.3需求實(shí)現(xiàn)161
本章小結(jié)169
參考文獻(xiàn)