Spark最佳實踐

定　價：￥49.00

作　者：	陳歡林世飛
出版社：	人民郵電出版社
叢編項：
標(biāo)　簽：	計算機/網(wǎng)絡(luò) 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘數(shù)據(jù)庫

購買這本書可以去

ISBN：	9787115422286	出版時間：	2016-05-01	包裝：	平裝
開本：	16開	頁數(shù)：	210	字?jǐn)?shù)：

內(nèi)容簡介

　　本書是Spark實戰(zhàn)指南，全書共分8章。前4章介紹Spark的部署、工作機制和內(nèi)核，后4章分別通過實戰(zhàn)項目介紹Spark SQL、Spark Streaming、Spark GraphX和Spark MLib功能模塊。此外，本書詳細(xì)介紹了常見的實戰(zhàn)問題，比如大數(shù)據(jù)環(huán)境下的配置設(shè)置、程序調(diào)優(yōu)等。本書附帶的一鍵安裝腳本，更能為初學(xué)者提供很大幫助。

作者簡介

　　陳歡，騰訊杰出程序員，15年編碼經(jīng)驗，曾任職網(wǎng)絡(luò)安全、互聯(lián)網(wǎng)金融等部門，親手從零建設(shè)了財付通業(yè)務(wù)的Spark集群，并使之同時支持SQL、實時計算、機器學(xué)習(xí)等多種數(shù)據(jù)計算場景。他目前就職于騰訊社交與效果廣告部，從事大數(shù)據(jù)分析工作。林世飛，騰訊杰出研究員，2005年加入騰訊，先后在無線產(chǎn)品、安全中心、搜索平臺、開放平臺、社交與效果廣告部等部門從事開發(fā)和團隊管理工作。他對網(wǎng)絡(luò)安全、搜索引擎、數(shù)據(jù)挖掘、機器學(xué)習(xí)有一定了解，熱衷知識傳播和分享，曾獲騰訊學(xué)院2009年年度杰出講師。目前，他就職于社交與效果廣告部，負(fù)責(zé)廣告系統(tǒng)相關(guān)的研發(fā)工作。

圖書目錄

目錄第1 章 Spark 與大數(shù)據(jù) 1 1.1　大數(shù)據(jù)的發(fā)展及現(xiàn)狀　1 1.1.1　大數(shù)據(jù)時代所面臨的問題　1 1.1.2　谷歌的大數(shù)據(jù)解決方案　2 1.1.3　Hadoop 生態(tài)系統(tǒng)　3 1.2　Spark 應(yīng)時而生　4 1.2.1　Spark 的起源　4 1.2.2　Spark 的特點　5 1.2.3　Spark 的未來發(fā)展　6 第2　章 Spark 基礎(chǔ)　8 2.1　Spark 本地單機模式體驗　8 2.1.1　安裝虛擬機　8 2.1.2　安裝JDK　19 2.1.3　下載Spark 預(yù)編譯包　21 2.1.4　本地體驗Spark　22 2.2　高可用Spark 分布式集群部署　25 2.2.1　集群總覽　26 2.2.2　集群機器的型號選擇　28 2.2.3　初始化集群機器環(huán)境　29 2.2.4　部署ZooKeeper 集群　33 2.2.5　編譯Spark　35 2.2.6　部署Spark Standalone 集群　37 2.2.7　高可用Hadoop 集群　40 2.2.8　讓Spark 運行在YARN 上　40 2.2.9　一鍵部署高可用Hadoop + Spark　集群　42 2.3　Spark 編程指南　43 2.3.1　交互式編程　43 2.3.2　RDD 創(chuàng)建　44 2.3.3　RDD 操作　47 2.3.4　使用其他語言開發(fā)Spark 程序　54 2.4　打包和提交　54 2.4.1　編譯、鏈接、打包　54 2.4.2　提交　56 第3　章 Spark 工作機制　58 3.1　調(diào)度管理　58 3.1.1　集群概述及名詞解釋　58 3.1.2　Spark 程序之間的調(diào)度　60 3.1.3　Spark 程序內(nèi)部的調(diào)度　63 3.2　內(nèi)存管理　65 3.2.1　RDD 持久化　65 3.2.2　共享變量　66 3.3　容錯機制　67 3.3.1　容錯體系概述　67 3.3.2　Master 節(jié)點失效　68 3.3.3　Slave 節(jié)點失效　69 3.4　監(jiān)控管理　69 3.4.1　Web 界面　69 3.4.2　REST API　72 3.4.3　Metrics 指標(biāo)體系　73 3.4.4　其他監(jiān)控工具　73 3.5　Spark