123,123

內(nèi)容簡(jiǎn)介

　　本書深入探討了大數(shù)據(jù)技術(shù)的核心概念和實(shí)際應(yīng)用。從大數(shù)據(jù)的基礎(chǔ)架構(gòu)Hadoop開始，逐步解析了分布式協(xié)調(diào)服務(wù)Zookeeper、數(shù)據(jù)倉(cāng)庫(kù)Hive、面向列的數(shù)據(jù)庫(kù)HBase等關(guān)鍵技術(shù)。此外，還介紹了數(shù)據(jù)遷移工具Sqoop、數(shù)據(jù)采集工具Flume、發(fā)布訂閱消息系統(tǒng)Kafka等實(shí)用工具。本書還深入講解了數(shù)據(jù)處理分析引擎Spark、全文搜索引擎Elasticsearch及分布式處理引擎Flink的工作原理和應(yīng)用實(shí)例。最后，通過電商推薦系統(tǒng)實(shí)戰(zhàn)和Flink實(shí)現(xiàn)電商用戶行為分析兩個(gè)案例，展示了大數(shù)據(jù)技術(shù)在實(shí)際業(yè)務(wù)中的應(yīng)用。本書附帶全書實(shí)例源代碼、電子版本教程（下載方式見封底），以及可掃碼觀看的長(zhǎng)達(dá)13個(gè)小時(shí)的部分實(shí)例操作視頻，幫助讀者更深入了解大數(shù)據(jù)技術(shù)的具體內(nèi)容，非常適合對(duì)大數(shù)據(jù)技術(shù)感興趣的讀者，尤其是想要深入了解大數(shù)據(jù)技術(shù)原理和應(yīng)用的開發(fā)者和管理者閱讀。

作者簡(jiǎn)介

　　韋宇杰，畢業(yè)于華南理工大學(xué)廣州學(xué)院，獲得了機(jī)械工程及自動(dòng)化的學(xué)士學(xué)位，一位融合機(jī)械工程與自動(dòng)化專業(yè)背景的資深程序員。作為一名資深程序員，在大數(shù)據(jù)領(lǐng)域深耕多年，積累了豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。他精通從數(shù)據(jù)采集、清洗、存儲(chǔ)到分析的全鏈條技術(shù)，擅長(zhǎng)運(yùn)用最前沿的工具和框架解決復(fù)雜的數(shù)據(jù)處理問題，讓龐大的數(shù)據(jù)集在他的手中煥發(fā)出前所未有的價(jià)值。他的職業(yè)生涯跨越了多個(gè)領(lǐng)域，不僅在大數(shù)據(jù)處理和系統(tǒng)開發(fā)方面表現(xiàn)出色，更在算法設(shè)計(jì)和模型構(gòu)建上擁有深厚的專業(yè)知識(shí)。在數(shù)據(jù)處理、算法設(shè)計(jì)以及系統(tǒng)優(yōu)化方面積累了豐富的經(jīng)驗(yàn)。他曾參與華為的應(yīng)用系統(tǒng)經(jīng)營(yíng)分析系統(tǒng)的研發(fā)工作，期間他充分發(fā)揮了自己的算法訓(xùn)練和模型設(shè)計(jì)能力，為項(xiàng)目的成功貢獻(xiàn)了關(guān)鍵的技術(shù)支持。這段經(jīng)歷不僅證明了他在大數(shù)據(jù)處理領(lǐng)域的實(shí)力，也彰顯了他在算法和模型構(gòu)建方面的專業(yè)素養(yǎng)。作為一位對(duì)技術(shù)充滿熱情的程序員，他深耕細(xì)作，苦練編程，善于總結(jié)，慢慢的形成了個(gè)人的編程風(fēng)格，在數(shù)據(jù)處理、算法、系統(tǒng)布局等方面有自己獨(dú)特的見解和處理方式。本書是作者多年工作經(jīng)驗(yàn)的總結(jié)，以最貼近實(shí)際的案例幫助讀者更容易，更輕松，更深入地了解大數(shù)據(jù)開發(fā)。

圖書目錄

前言
環(huán)境搭建視頻教程二維碼清單
第1章大數(shù)據(jù)簡(jiǎn)介
1.1大數(shù)據(jù)的概述
1.2大數(shù)據(jù)的特點(diǎn)
1.3大數(shù)據(jù)的應(yīng)用領(lǐng)域
1.4目前企業(yè)應(yīng)用的主流大數(shù)據(jù)技術(shù)
1.5大數(shù)據(jù)開發(fā)流程
第2章大數(shù)據(jù)基礎(chǔ)架構(gòu)Hadoop
2.1Hadoop簡(jiǎn)介
2.2Hadoop架構(gòu)詳解
2.2.1分布式存儲(chǔ)系統(tǒng)HDFS
2.2.2分布式資源管理框架YARN
2.2.3離線計(jì)算框架MapReduce
2.3HDFS讀、寫文件流程
2.3.1HDFS寫文件流程
2.3.2HDFS讀文件流程
2.4HDFS的實(shí)戰(zhàn)操作
2.4.1HDFS上傳文件
2.4.2HDFS創(chuàng)建文件
2.4.3HDFS創(chuàng)建目錄
2.4.4HDFS重命名文件
2.4.5HDFS刪除文件
2.5YARN原理
2.6YARN調(diào)度器詳解
2.7MapReduce工作原理
2.8MapReduce核心的原理Shuffle
2.8.1Map端
2.8.2Reduce端
2.9MapReduce常用三大組件
2.9.1MapReduce中的Partitioner
2.9.2MapReduce中的Sort
2.9.3MapReduce中的Combiner
2.10MapReduce項(xiàng)目實(shí)戰(zhàn)
2.10.1清洗日志
2.10.2統(tǒng)計(jì)電影最高評(píng)分
第3章分布式協(xié)調(diào)服務(wù)Zookeeper
3.1ZooKeeper簡(jiǎn)介
3.2ZooKeeper結(jié)構(gòu)和工作原理
3.2.1ZooKeeper集群角色
3.2.2ZooKeeper的數(shù)據(jù)結(jié)構(gòu)
3.2.3ZooKeeper的工作流程
3.2.4ZooKeeper的監(jiān)聽器
3.3ZooKeeper實(shí)戰(zhàn)
3.3.1ZooKeeper創(chuàng)建持久節(jié)點(diǎn)
3.3.2ZooKeeper創(chuàng)建臨時(shí)節(jié)點(diǎn)
3.3.3ZooKeeper遞歸創(chuàng)建節(jié)點(diǎn)
3.3.4ZooKeeper讀取數(shù)據(jù)
3.3.5ZooKeeper更新數(shù)據(jù)
3.3.6ZooKeeper監(jiān)聽節(jié)點(diǎn)
3.3.7ZooKeeper監(jiān)聽子節(jié)點(diǎn)
3.3.8ZooKeeper實(shí)現(xiàn)服務(wù)注冊(cè)與發(fā)現(xiàn)
第4章數(shù)據(jù)倉(cāng)庫(kù)Hive
4.1Hive簡(jiǎn)介和特點(diǎn)
4.2Hive結(jié)構(gòu)和原理
4.2.1Hive結(jié)構(gòu)
4.2.2Hive運(yùn)行的流程
4.2.3Hive的HQL轉(zhuǎn)換過程
4.3電商用戶行為分析
4.3.1項(xiàng)目背景及目的
4.3.2數(shù)據(jù)導(dǎo)入
4.3.3數(shù)據(jù)清洗
4.3.4數(shù)據(jù)分析
第5章面向列的數(shù)據(jù)庫(kù)HBase
5.1HBase簡(jiǎn)介
5.2HBase架構(gòu)
5.2.1HBase的組件
5.2.2HBase工作機(jī)制
5.3HBase數(shù)據(jù)模型
5.4HBase讀寫流程
5.4.1HBase寫操作流程
5.4.2HBase讀操作流程
5.5HBase的API示例
5.5.1HBase創(chuàng)建表
5.5.2HBase保持?jǐn)?shù)據(jù)
5.5.3HBase更新數(shù)據(jù)
5.5.4HBase獲取數(shù)據(jù)
5.5.5HBase刪除數(shù)據(jù)
5.5.6使用HBase獲取某一行數(shù)據(jù)
5.6HBase存儲(chǔ)訂單案例
第6章大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)數(shù)據(jù)遷移工具Sqoop
6.1Sqoop架構(gòu)和工作原理
6.1.1Sqoop導(dǎo)入原理
6.1.2Sqoop導(dǎo)出原理
6.2Sqoop將HDFS數(shù)據(jù)導(dǎo)入MySQL
6.3Sqoop將MySQL數(shù)據(jù)導(dǎo)入HDFS
第7章數(shù)據(jù)采集工具Flume
7.1Flume簡(jiǎn)介
7.2Flume構(gòu)成和工作原理
7.2.1Flume構(gòu)成
7.2.2Flume工作原理
7.3Flume實(shí)戰(zhàn)
7.3.1Flume監(jiān)聽目錄實(shí)戰(zhàn)
7.3.2Flume一對(duì)多實(shí)戰(zhàn)
7.3.3Flume攔截器實(shí)戰(zhàn)
7.3.4Flume采集數(shù)據(jù)到HDFS
7.3.5Kafka對(duì)接Flume實(shí)戰(zhàn)
第8章發(fā)布訂閱消息系統(tǒng)Kafka
8.1Kafka 簡(jiǎn)介
8.2Kafka的消息生產(chǎn)者
8.2.1Kafka生產(chǎn)者的運(yùn)行流程
8.2.2Kafka生產(chǎn)者分區(qū)
8.2.3副本的同步復(fù)制和異步復(fù)制
8.2.4Kafka消息發(fā)送確認(rèn)機(jī)制
8.3Kafka的Broker保存消息
8.3.1存儲(chǔ)方式與策略
8.3.2Topic創(chuàng)建與刪除
8.4Kafka的消息消費(fèi)者
8.4.1消費(fèi)機(jī)制
8.4.2消費(fèi)者組
8.5Kafka 的存儲(chǔ)機(jī)制
8.5.1Kafka主題Topic
8.5.2Kafka分片Partition
8.5.3Kafka日志Segment File
8.6Kafka 實(shí)戰(zhàn)
8.6.1Kafka發(fā)送消息
8.6.2Kafka自定義分區(qū)發(fā)送消息
8.6.3Spring Boot整合Kafka發(fā)送消息
第9章數(shù)據(jù)處理分析引擎Spark
9.1Spark 簡(jiǎn)介
9.2Spark 運(yùn)行原理
9.2.1Spark的基本概念
9.2.2Spark運(yùn)行的原理
9.2.3Driver運(yùn)行在Client
9.2.4Driver運(yùn)行在Worker節(jié)點(diǎn)
9.3Spark算子RDD
9.3.1RDD的屬性
9.3.2RDD的依賴關(guān)系
9.3.3RDD的shuffle過程
9.3.4RDD的緩存和檢查機(jī)制
9.4Spark SQL
9.4.1Spark SQL概念
9.4.2Spark SQL的架構(gòu)
9.4.3DataSets和DataFrames
9.4.4Spark SQL示例
9.5Spark Streaming
9.5.1Spark Streaming介紹/9.5.2DStream轉(zhuǎn)換操作
9.5.3Spark Streaming窗口操作
9.5.4DStream輸入
9.5.5DStream 輸出
9.5.6DSFrame和SQL操作
9.5.7Spark Streaming檢查點(diǎn)
9.6Spark Streaming接收Flume數(shù)據(jù)實(shí)戰(zhàn)
9.7Spark Streaming接收Kafka數(shù)據(jù)實(shí)戰(zhàn)
第10章全文搜索引擎Elasticsearch
10.1Elasticsearch簡(jiǎn)介
10.2Elasticsearch架構(gòu)和原理
10.2.1Elasticsearch核心概念
10.2.2Elasticsearch工作原理
10.2.3Elasticsearch倒排索引
10.3Elasticsearch實(shí)戰(zhàn)
10.3.1Elasticsearch索引創(chuàng)建
10.3.2Elasticsearch索引更新
10.3.3Elasticsearch索引查詢
10.3.4Elasticsearch索引刪除
10.3.5Elasticsearch保存文檔
10.3.6Elasticsearch更新文檔
10.3.7Elasticsearch精確查詢
10.3.8Elasticsearch模糊查詢
10.3.9Elasticsearch范圍查詢
10.3.10Elasticsearch布爾查詢
10.3.11Elasticsearch聚合查詢
10.3.12Elasticsearch高亮查詢
10.4Elasticsearch實(shí)現(xiàn)搜索系統(tǒng)
10.4.1搜索系統(tǒng)項(xiàng)目環(huán)境準(zhǔn)備
10.4.2Elasticsearch實(shí)現(xiàn)搜索功能
第11章分布式處理引擎Flink
11.1Flink 概述
11.2Flink基本組件和運(yùn)行時(shí)架構(gòu)
11.2.1Flink運(yùn)行時(shí)架構(gòu)
11.2.2Flink的分層
11.3Flink流處理流程
11.3.1Flink環(huán)境設(shè)置(Environment)
11.3.2Flink源算子(Source)
11.3.3Flink支持的數(shù)據(jù)類型
11.3.4