123,123

內(nèi)容簡(jiǎn)介

　　本書(shū)主要有以下三大特點(diǎn)：（1）理論與實(shí)戰(zhàn)相結(jié)合，不僅對(duì)Hadoop組件基本原理、編程模型等基礎(chǔ)理論進(jìn)行深入的介紹，而且從環(huán)境搭建、案例分析、項(xiàng)目創(chuàng)建和代碼實(shí)現(xiàn)等方面系統(tǒng)性地介紹如何基于hadoop組件接口開(kāi)發(fā)大數(shù)據(jù)技術(shù)應(yīng)用系統(tǒng)；（2）由淺入深，在實(shí)戰(zhàn)方面，首先，基于接口實(shí)例，介紹接口功能及基本編程框架；然后，進(jìn)一步基于綜合項(xiàng)目案例，介紹項(xiàng)目實(shí)戰(zhàn)開(kāi)發(fā)的具體過(guò)程。使得讀者深入淺出，避免讀者陷入理解基本原理和接口，卻難以具體設(shè)計(jì)和編程實(shí)現(xiàn)實(shí)際應(yīng)用中大數(shù)據(jù)處理算法的困境；（3）系統(tǒng)開(kāi)發(fā)前后端相結(jié)合，在項(xiàng)目實(shí)戰(zhàn)案例中，本書(shū)不是僅僅介紹如何基于大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)處理的過(guò)程，而是將Web系統(tǒng)的前后端相結(jié)合作為一個(gè)整體，進(jìn)行項(xiàng)目總體設(shè)計(jì)和功能實(shí)現(xiàn)，更加貼切于現(xiàn)實(shí)的項(xiàng)目應(yīng)用需求，從而提高了讀者的項(xiàng)目實(shí)戰(zhàn)能力和開(kāi)發(fā)水平。

作者簡(jiǎn)介

　　盧賢玲，女，1975年3月出生，畢業(yè)于中國(guó)人民大學(xué)信息學(xué)院軟件理論專業(yè)，獲工學(xué)博士學(xué)位，現(xiàn)為鄭州工業(yè)應(yīng)用技術(shù)學(xué)院副教授，主要研究方向?yàn)榇髷?shù)據(jù)采集與處理、數(shù)據(jù)分析與挖掘、復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)分析和信息傳播控制等。參加完成國(guó)家自然科學(xué)基金項(xiàng)目1項(xiàng)，國(guó)家863計(jì)劃課題1項(xiàng)，省部級(jí)項(xiàng)目3項(xiàng)；參編學(xué)術(shù)著作2部；發(fā)表SCI、EI、核心等學(xué)術(shù)論文20余篇。

圖書(shū)目錄

第1章大數(shù)據(jù)處理技術(shù)及應(yīng)用概述
1.1 大數(shù)據(jù)概念及特征
1.2 大數(shù)據(jù)處理技術(shù)
1.2.1 數(shù)據(jù)采集
1.2.2 數(shù)據(jù)預(yù)處理
1.2.3 數(shù)據(jù)存儲(chǔ)
1.2.4 數(shù)據(jù)計(jì)算
1.2.5 數(shù)據(jù)分析
1.2.6 數(shù)據(jù)解釋
1.3 Google大數(shù)據(jù)處理系統(tǒng)
1.3.1 GFS
1.3.2 MapReducee
1.3.3 BigTable
1.4 Hadoop大數(shù)據(jù)處理框架
1.4.1 Hadoop簡(jiǎn)介
1.4.2 Hadoop生態(tài)圈
1.5 大數(shù)據(jù)的行業(yè)應(yīng)用
第2章 Hadoop安裝與配置
2.1 虛擬機(jī)與Linux系統(tǒng)安裝
2.1.1 虛擬機(jī)安裝
2.1.2 Linux系統(tǒng)安裝
2.2 Hadoop完全分布式安裝與配置
2.2.1 SSH安裝與配置
2.2.2 JDK安裝與配置
2.2.3 Hadoop完全分布式安裝與配置
第3章分布式文件系統(tǒng)HDFS
3.1 HDFS概述
3.1.1 HDFS架構(gòu)
3.1.2 HDFS的優(yōu)缺點(diǎn)
3.2 HDFS兩種操作方式
3.2.1 HDFS Shell命令
3.2.2 HDFS JAVA AP
3.2.3 HDFS JAVA API實(shí)例
3.3 項(xiàng)目實(shí)戰(zhàn)：分布式云盤系統(tǒng)
3.3.1 開(kāi)發(fā)環(huán)境安裝與配置
3.3.2 項(xiàng)目設(shè)計(jì)
3.3.3 項(xiàng)目實(shí)現(xiàn)
3.3.4 運(yùn)行測(cè)試
第4章大數(shù)據(jù)分布式并行處理框架MapReduce
4.1 MapReduce概述
4.1.1 MapReduce計(jì)算框架
4.1.2 MapReduce工作流程
d.1.3 Spark、Flink和Hadoop比較
4.2 MapReduce編程基礎(chǔ)
4.2.1 Mapper類和Reducer類
4.2.2 MapReduce作業(yè)配置
4.2.3 MapReduce數(shù)據(jù)類型
4.3 MapReduce編程實(shí)例
4.3.1 MapReduce項(xiàng)目創(chuàng)建與運(yùn)行
4.3.2 Map編程實(shí)例
4.3.3 單個(gè)MapReduce編程實(shí)例
4.3.4 多個(gè)Mapreduce過(guò)程編程實(shí)例
4.4 項(xiàng)目實(shí)戰(zhàn)：電信手機(jī)流量數(shù)據(jù)分析系統(tǒng)
4.4.1 項(xiàng)目設(shè)計(jì)
4.4.2 項(xiàng)目實(shí)現(xiàn)
4.4.3 項(xiàng)目運(yùn)行測(cè)試
第5章分布式數(shù)據(jù)倉(cāng)庫(kù)Hive
5.1 Hive概述
5.1.1 Hive簡(jiǎn)介
5.1.2 Hive的體系架構(gòu)
5.1.3 Hive與傳統(tǒng)數(shù)據(jù)庫(kù)的對(duì)比分析
5.1.4 Hive的優(yōu)缺點(diǎn)
5.2 Hive安裝與配置
5.2.1 Hive安裝
5.2.2 安裝配置Hive+mysql
5.3 Hive Shell操作
5.3.1 Hive非交互模式常用Shell命令
5.3.2 Hive交互模式下的命令
5.3.3 Hive的常用HiveQL操作
5.4 Hive Java API
5.4.1 Hive Java API基本操作
5.4.2 Hive Java API實(shí)例
5.5 項(xiàng)目實(shí)戰(zhàn)：糧食生產(chǎn)離線大數(shù)據(jù)分析系統(tǒng)
5.5.1 系統(tǒng)設(shè)計(jì)
5.5.2 項(xiàng)目創(chuàng)建
5.5.3 系統(tǒng)實(shí)現(xiàn)關(guān)鍵技術(shù)
5.5.4 系統(tǒng)功能實(shí)現(xiàn)
5.5.5 項(xiàng)目運(yùn)行測(cè)試
第6章分布式數(shù)據(jù)庫(kù)HBase
6.1 HBase概述
6.1.1 HBase數(shù)據(jù)存儲(chǔ)模式
6.1.2 HBase的邏輯架構(gòu)
6.1.3 HBase數(shù)據(jù)模型簡(jiǎn)介
6.1.4 HBase設(shè)計(jì)
6.1.5 HBase的優(yōu)缺點(diǎn)
6.2 HBase安裝與配置
6.2.1 Zookeeper安裝與配置
6.2.2 Hbaser安裝與配置
6.3 HBase Shell命令
6.3.1 查詢操作
6.3.2 DDL操作
6.3.3 DML操作
6.3.4 HBase Shell命令綜合實(shí)例
6.4 HBase.Java API
6.4.1 HBase的常用Java API
6.4.2 HBase Java API實(shí)例
6.5 項(xiàng)目實(shí)戰(zhàn)：用戶通話記錄高效查詢系統(tǒng)
6.5.1 項(xiàng)目設(shè)計(jì)
6.5.2 項(xiàng)目實(shí)現(xiàn)
6.5.3 項(xiàng)目運(yùn)行測(cè)試
第7章海量日志采集Flume
7.1 Flume概述
7.1.1 Flume架構(gòu)
7.1.2 Flume工作原理
7.1.3 Flume特點(diǎn)
7.2 .Flume安裝與配置
7.3 F1ume基礎(chǔ)應(yīng)用
7.3.1 案例一：Avm source
7.3.2 案例二：Neteat source
7.3.3 案例三：實(shí)時(shí)監(jiān)控單個(gè)追加文件
7.3.4 案例四：監(jiān)控本地文件夾新增文件
7.3.5 案例五：實(shí)時(shí)監(jiān)控文件夾下文件追加
7.4 Flume自定義組件高階開(kāi)發(fā)
7.4.1 自定義攔截器
7.4.2 自定義Source
7.4.3 自定義Sink
7.5 項(xiàng)目實(shí)戰(zhàn)：電商平臺(tái)用戶行為日志分析系統(tǒng)
7.5.1 系統(tǒng)設(shè)計(jì)
7.5.2 項(xiàng)目實(shí)現(xiàn)
7.5.3 項(xiàng)目運(yùn)行測(cè)試
第8章基于Mahout.的個(gè)性化推薦系統(tǒng)
8.1 推薦系統(tǒng)概述
8.1.1 推薦系統(tǒng)工作流程
8.1.2 推薦機(jī)制
8.2 Mahout概述
8.2.1 Mahout的核心概念
8.2.2 Mahout應(yīng)用場(chǎng)景
8.3 Mahout安裝與配置
8.3.1 Mahout下載與配置
8.3.2 Mahout測(cè)試
8.4 Eclipse中創(chuàng)建Maven工程
8.4.1 創(chuàng)建項(xiàng)目
8.4 _2 項(xiàng)目配置
8.5 項(xiàng)目實(shí)戰(zhàn)：基于Mahout個(gè)性化新聞推薦系統(tǒng)
8.5.1 系統(tǒng)設(shè)計(jì)
8.5.2 項(xiàng)目創(chuàng)建
8.5.3 項(xiàng)目實(shí)現(xiàn)
8.5.4 項(xiàng)目運(yùn)行測(cè)試