Spark最佳實踐

目錄 第1 章 Spark 與大數(shù)據(jù) 1 1.1　大數(shù)據(jù)的發(fā)展及現(xiàn)狀　1 1.1.1　大數(shù)據(jù)時代所面臨的問題　1 1.1.2　谷歌的大數(shù)據(jù)解決方案　2 1.1.3　Hadoop 生態(tài)系統(tǒng)　3 1.2　Spark 應(yīng)時而生　4 1.2.1　Spark 的起源　4 1.2.2　Spark 的特點　5 1.2.3　Spark 的未來發(fā)展　6 第2　章 Spark 基礎(chǔ)　8 2.1　Spark 本地單機模式體驗　8 2.1.1　安裝虛擬機　8 2.1.2　安裝JDK　19 2.1.3　下載Spark 預(yù)編譯包　21 2.1.4　本地體驗Spark　22 2.2　高可用Spark 分布式集群部署　25 2.2.1　集群總覽　26 2.2.2　集群機器的型號選擇　28 2.2.3　初始化集群機器環(huán)境　29 2.2.4　部署ZooKeeper 集群　33 2.2.5　編譯Spark　35 2.2.6　部署Spark Standalone 集群　37 2.2.7　高可用Hadoop 集群　40 2.2.8　讓Spark 運行在YARN 上　40 2.2.9　一鍵部署高可用Hadoop + Spark　集群　42 2.3　Spark 編程指南　43 2.3.1　交互式編程　43 2.3.2　RDD 創(chuàng)建　44 2.3.3　RDD 操作　47 2.3.4　使用其他語言開發(fā)Spark 程序　54 2.4　打包和提交　54 2.4.1　編譯、鏈接、打包　54 2.4.2　提交　56 第3　章 Spark 工作機制　58 3.1　調(diào)度管理　58 3.1.1　集群概述及名詞解釋　58 3.1.2　Spark 程序之間的調(diào)度　60 3.1.3　Spark 程序內(nèi)部的調(diào)度　63 3.2　內(nèi)存管理　65 3.2.1　RDD 持久化　65 3.2.2　共享變量　66 3.3　容錯機制　67 3.3.1　容錯體系概述　67 3.3.2　Master 節(jié)點失效　68 3.3.3　Slave 節(jié)點失效　69 3.4　監(jiān)控管理　69 3.4.1　Web 界面　69 3.4.2　REST API　72 3.4.3　Metrics 指標(biāo)體系　73 3.4.4　其他監(jiān)控工具　73 3.5　Spark