實(shí)時(shí)數(shù)據(jù)處理技術(shù)

第1章 緒論
1．1 實(shí)時(shí)數(shù)據(jù)處理
1．1．1 大數(shù)據(jù)中的實(shí)時(shí)業(yè)務(wù)場景
1．1．2 大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)處理解決方案
1．1．3 大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)處理技術(shù)框架
1．2 Spark實(shí)時(shí)數(shù)據(jù)處理
1．2．1 Spark技術(shù)簡介
1．2．2 Spark技術(shù)的發(fā)展歷程
1．2．3 Spark技術(shù)模塊
1．2．4 Spark技術(shù)流式處理模塊SparkStreaming
1．3 本章小結(jié)
第2章 Scala語言應(yīng)用
2．1 從-個(gè)項(xiàng)目開始
2．2 需求分析
2．3 Scala安裝及使用
2．3．1 Scala語言簡介
2．3．2 Scala的安裝與環(huán)境配置
2．3．3 Scala開發(fā)工具的安裝與配置
2．4 Scala語言基礎(chǔ)
2．4．1 數(shù)據(jù)類型
2．4．2 常量與變量的定義
2．4．3 流程控制
2．5 Scala方法與函數(shù)
2．5．1 遞歸方法
2．5．2 有默認(rèn)值方法
2．5．3 可變長參數(shù)方法
2．5．4 匿名函數(shù)
2．5．5 嵌套方法
2．5．6 偏應(yīng)用表達(dá)式
2．5．7 高階函數(shù)
2．5．8 Scala函數(shù)案例
2．6 Scala集合
2．6．1 數(shù)組
2．6．2 liSt
2．6．3 Set
2．6．4 map
2．6．5 tuple
2．6．6 Scala集合案例
2．7 本章小結(jié)
第3章 SparkStreaming
3．1 SparkStreaming初始化
3．1．1 SparkStreaming簡介
3．1．2 SparkStreaming的特點(diǎn)
3．1．3 SparkStreaming讀取數(shù)據(jù)原理
3．2 SparkStreaming處理數(shù)據(jù)案例
3．2．1 啟動LinuxSocket服務(wù)
3．2．2 生產(chǎn)數(shù)據(jù)
3．2．3 SparkStreaming讀取Socket數(shù)據(jù)
3．2．4 注意事項(xiàng)
3．3 SparkStreaming算子簡介
3．4 Transformations類算子
3．4．1 updateStateByKey算子案例
3．4．2 transform算子案例
3．4．3 reduceByKeyAndWindow算子案例
3．5 OutputOperator類算子
3．5．1 SparkStreaming監(jiān)控目錄數(shù)據(jù)案例
3．5．2 print算子案例
3．5．3 saveAsTextFile算子案例
3．6 本章小結(jié)
第4章 SparkSQL
4．1 SparkSQL概述
4．1．1 SparkSQL演變過程
4．1．2 SparkSQL數(shù)據(jù)類型
4．2 SparkSQL數(shù)據(jù)源
4．2．1 JSON數(shù)據(jù)源及案例
4．2．2 DataSet數(shù)據(jù)源及案例
4．2．3 RDD數(shù)據(jù)源及案例
4．2．4 Parquet數(shù)據(jù)源及案例
4．2．5 MySQL數(shù)據(jù)源及案例
4．3 SparkonHive配置
4．3．1 HiVeOnSpark
4．3．2 SparkonHive
4．3．3 安裝和配置Hive
4．3．4 SparkonHive配置
4．3．5 SparkShell驗(yàn)證
4．3．6 SparkonHive速度測試案例
4．3．7 SparkonHive案例分析
4．4 本章小結(jié)
第5章 數(shù)據(jù)整合
5．1 Flume與Kafka的整合使用
5．1．1 Flume日志采集系統(tǒng)
5．1．2 Flume采集數(shù)據(jù)案例
5．1．3 Kafka分布式消息系統(tǒng)
5．1．4 Flume與Kafka整合配置
5．2 SparkStreaming與Kafka整合
5．2．1 Spark與Kafka版本
5．2．2 SparkStreaming與Kafka整合
5．2．3 參數(shù)設(shè)置
5．2．4 管理消費(fèi)者offset方式
5．3 項(xiàng)目實(shí)戰(zhàn)
5．3．1 Flume配置文件
5．3．2 創(chuàng)建MySQL數(shù)據(jù)庫表
5．3．3 編寫業(yè)務(wù)核心代碼
5．3．4 任務(wù)提交
5．3．5 查看結(jié)果
5．4 本章小結(jié)
第6章 Spark優(yōu)化
6．1 資源調(diào)優(yōu)
6．1．1 資源調(diào)優(yōu)簡介
6．1．2 資源調(diào)優(yōu)方式
6．1．3 資源調(diào)優(yōu)案例
6．2 增加并行度
6．2．1 增加并行度簡介
6．2．2 增加并行度方式
6．2．3 增加并行度案例
6．3 代碼調(diào)優(yōu)
6．3．1 代碼調(diào)優(yōu)簡介
6．3．2 代碼調(diào)優(yōu)方式
6．3．3 代碼調(diào)優(yōu)案例
6．4 數(shù)據(jù)傾斜的處理
6．4．1 數(shù)據(jù)傾斜簡介
6．4．2 處理數(shù)據(jù)傾斜的方式
6．4．3 數(shù)據(jù)傾斜案例
6．5 本章小結(jié)
參考文獻(xiàn)