Spark原理深入與編程實(shí)戰(zhàn)（微課視頻版）

第 1章 Spark架構(gòu)原理與集群搭建 (
 93min)  1 
1.1 Spark簡介·1 
1.2 Spark技術(shù)棧·3 
1.2.1  Spark Core4 
1.2.2  Spark SQL4 
1.2.3 Spark Streaming和 Structured Streaming·5 
1.2.4  Spark MLlib ·5 
1.2.5  Spark GraphX·6 
1.2.6  SparkR ·6 
1.3 Spark架構(gòu)原理 ·7 
1.3.1 Spark集群和資源管理系統(tǒng) 7 
1.3.2 Spark應(yīng)用程序 7 
1.3.3 Spark Driver和 Executor ·9 
1.4 Spark程序部署模式10 
1.5 安裝和配置 Spark集群·11 
1.5.1 安裝 Spark ·11 
1.5.2 了解 Spark目錄結(jié)構(gòu)·12 
1.5.3 配置 Spark集群·13 
1.5.4 驗(yàn)證 Spark安裝·14 
1.6 配置 Spark歷史服務(wù)器·15 
1.6.1 歷史服務(wù)器配置 16 
1.6.2 啟動(dòng) Spark歷史服務(wù)器·17 
1.7 使用 spark-shell進(jìn)行交互式分析 ·18 
1.7.1 運(yùn)行模式 --master·18 
1.7.2 啟動(dòng)和退出 spark-shell19 
1.7.3 spark-shell常用命令21 
1.7.4 SparkContext和 SparkSession ·22 
1.7.5  Spark Web UI ·23 
1.8 使用 spark-submit提交 Spark應(yīng)用程序·25 
1.8.1 spark-submit指令的各種參數(shù)說明·25 
1.8.2 提交 SparkPi程序，計(jì)算圓周率 π值·29 
1.8.3 將 SparkPi程序提交到 YARN集群上執(zhí)行 30
第 2章 開發(fā)和部署 Spark應(yīng)用程序 (
 86min) · 33 
2.1 使用 IntelliJ IDEA開發(fā) Spark SBT應(yīng)用程序33 
2.1.1 安裝 IntelliJ IDEA ·34 
2.1.2 配置 IntelliJ IDEA Scala環(huán)境37 
2.1.3 創(chuàng)建 IntelliJ IDEA SBT項(xiàng)目·39 
2.1.4 配置 SBT構(gòu)建文件·42 
2.1.5 準(zhǔn)備數(shù)據(jù)文件 42 
2.1.6 創(chuàng)建 Spark應(yīng)用程序·43 
2.1.7 部署分布式 Spark應(yīng)用程序 ·47 
2.1.8 遠(yuǎn)程調(diào)試 Spark程序·49 
2.2 使用 IntelliJ IDEA開發(fā) Spark Maven應(yīng)用程序 ·51 
2.2.1 創(chuàng)建 IntelliJ IDEA Maven項(xiàng)目 ·51 
2.2.2 驗(yàn)證 SDK安裝和配置 53 
2.2.3 項(xiàng)目依賴和配置管理 55 
2.2.4 測試 Spark程序·58 
2.2.5 項(xiàng)目編譯和打包 58 
2.3 使用 Java開發(fā) Spark應(yīng)用程序 59 
2.3.1 創(chuàng)建一個(gè)新的 IntelliJ項(xiàng)目59 
2.3.2 驗(yàn)證 SDK安裝和配置 61 
2.3.3 安裝和配置 Maven 63 
2.3.4 創(chuàng)建 Spark應(yīng)用程序·64 
2.3.5 部署 Spark應(yīng)用程序·66 
2.3.6 遠(yuǎn)程調(diào)試 Spark應(yīng)用程序 ·67 
2.4 使用 Zeppelin進(jìn)行交互式分析 ·69 
2.4.1 下載 Zeppelin安裝包70 
2.4.2 安裝和配置 Zeppelin ·70 
2.4.3 配置 Spark解釋器·71 
2.4.4 創(chuàng)建和執(zhí)行 Notebook程序·72
第 3章 Spark核心編程 (
 252min) 75 
3.1 理解數(shù)據(jù)抽象 RDD·75 
3.1.1 RDD結(jié)構(gòu)75 
3.1.2 RDD容錯(cuò)76 
3.2 RDD編程模型 77 
3.2.1 單詞計(jì)數(shù)應(yīng)用程序 77 
3.2.2 理解 SparkSession79 
3.2.3 理解 SparkContext ·80 
3.3 創(chuàng)建 RDD 81 
3.3.1 將現(xiàn)有的集合并行化以創(chuàng)建 RDD81 
3.3.2 從存儲(chǔ)系統(tǒng)讀取數(shù)據(jù)集以創(chuàng)建 RDD82 
3.3.3 從已有的 RDD轉(zhuǎn)換得到新的 RDD ·83 
3.3.4 創(chuàng)建 RDD時(shí)指定分區(qū)數(shù)量 83 
3.4 操作 RDD 84 
3.4.1 RDD上的 Transformation和 Action ·85 
3.4.2 RDD Transformation操作87 
3.4.3 RDD Action操作·92 
3.4.4 RDD上的描述性統(tǒng)計(jì)操作·95 
3.5  Pair RDD96 
3.5.1 創(chuàng)建 Pair RDD ·97 
3.5.2 操作 Pair RDD ·98 
3.5.3 關(guān)于 reduceByKey()操作·101 
3.5.4 關(guān)于 aggregateByKey()操作103 
3.5.5 關(guān)于 combineByKey()操作106 
3.6 持久化 RDD 109 
3.6.1 緩存 RDD 109 
3.6.2 RDD緩存策略  112 
3.6.3 檢查點(diǎn) RDD  113 
3.7 RDD數(shù)據(jù)分區(qū)  113 
3.7.1 獲取和指定 RDD分區(qū)數(shù)  114 
3.7.2 調(diào)整 RDD分區(qū)數(shù) 114 
3.7.3 內(nèi)置數(shù)據(jù)分區(qū)器  116 
3.7.4 自定義數(shù)據(jù)分區(qū)器  118 
3.7.5 避免不必要的 shuffling ·120 
3.7.6 基于數(shù)據(jù)分區(qū)的操作 122 
3.8 深入理解 RDD執(zhí)行過程125 
3.8.1 Spark RDD調(diào)度過程·125 
3.8.2 Spark執(zhí)行模型 126 
3.9 Spark資源管理 ·131 
3.9.1 CPU資源分配策略 ·131 
3.9.2 Spark內(nèi)存管理 132 
3.10 使用共享變量 134 
3.10.1 廣播變量 134 
3.10.2 累加器139 
3.11  Spark RDD編程案例·143 
3.11.1  合并小文件 143 
3.11.2  二次排序?qū)崿F(xiàn) 145 
3.11.3  Top N實(shí)現(xiàn)·146 
3.11.4  酒店數(shù)據(jù)預(yù)處理 150 
第 4章 Spark SQL (
 202min) 154 
4.1 Spark SQL數(shù)據(jù)抽象·155 
4.2 Spark SQL架構(gòu)組成·156 
4.3 Spark SQL編程模型·157 
4.4 程序入口 SparkSession160 
4.5 
Spark SQL支持的數(shù)據(jù)類型162 
4.5.1 
Spark SQL基本數(shù)據(jù)類型162 
4.5.2 
Spark SQL復(fù)雜數(shù)據(jù)類型162 
4.5.3 
模式·163 
4.5.4 
列對象和行對象 163 
 
4.6 
創(chuàng)建 DataFrame ·164 
4.6.1 
簡單創(chuàng)建單列和多列 DataFrame 165 
4.6.2 
從 RDD創(chuàng)建 DataFrame ·168 
4.6.3 
讀取外部數(shù)據(jù)源創(chuàng)建 DataFrame 172 
 
4.7 
操作 DataFrame ·191 
4.7.1 
列的多種引用方式 192 
4.7.2 
對 DataFrame執(zhí)行 Transformation轉(zhuǎn)換操作·193 
4.7.3 
對 DataFrame執(zhí)行 Action操作205 
4.7.4 
對 DataFrame執(zhí)行描述性統(tǒng)計(jì)操作 ·206 
4.7.5 
取 DataFrame Row中特定字段·209 
4.7.6 
操作 DataFrame示例· 211 
 
4.8 
存儲(chǔ) DataFrame ·212 
4.8.1 
寫出 DataFrame ·212 
4.8.2 
存儲(chǔ)模式 215 
4.8.3 
控制 DataFrame的輸出文件數(shù)量·216 
4.8.4 
控制 DataFrame實(shí)現(xiàn)分區(qū)存儲(chǔ)·220 
 
4.9 
使用類型化的 DataSet·221 
4.9.1 
了解 DataSet 221 
4.9.2 
創(chuàng)建 DataSet 222 
4.9.3 
操作 DataSet 229 
4.9.4 
類型安全檢查 244 
4.9.5 
編碼器 ·246 
 
4.10 
臨時(shí)視圖與 SQL查詢·249 
4.10.1 
在 Spark程序中執(zhí)行 SQL語句 249 
4.10.2 
注冊臨時(shí)視圖并執(zhí)行 SQL查詢250 
4.10.3 
使用全局臨時(shí)視圖 252 
4.10.4 
直接使用數(shù)據(jù)源注冊臨時(shí)視圖 ·254 
4.10.5 
查看和管理表目錄 255 
 
4.11緩存 
DataFrame/DataSet 256 
4.11.1  
緩存方法 256 
4.11.2  
緩存策略 257 
4.11.3  
緩存表258 
 
4.12 
Spark SQL編程案例·259 
4.12.1 
實(shí)現(xiàn)單詞計(jì)數(shù) 259 
4.12.2 
用戶數(shù)據(jù)集分析 261 
4.12.3 
電商用戶評論數(shù)據(jù)集分析 ·264 
4.12.4 
航空公司航班數(shù)據(jù)集分析 ·266 
4.12.5 
數(shù)據(jù)增量抽取和全量抽取 ·274 
 
 
第 5章 Spark SQL（高級）(
 190min) ·276 
5.1 Spark SQL函數(shù)·276 
5.2 內(nèi)置標(biāo)量函數(shù) 276 
5.2.1 日期時(shí)間函數(shù) 277 
5.2.2 字符串函數(shù) 280 
5.2.3 數(shù)學(xué)計(jì)算函數(shù) 284 
5.2.4 集合元素處理函數(shù) 285 
5.2.5 其他函數(shù) 288 
5.2.6 函數(shù)應(yīng)用示例 291 
5.2.7 Spark 3數(shù)組函數(shù)·294 
5.3 聚合與透視函數(shù) 301 
5.3.1 聚合函數(shù) 301 
5.3.2 分組聚合 307 
5.3.3 數(shù)據(jù)透視  311 
5.3.4 謂詞子查詢 312 
5.4 高級分析函數(shù) 313 
5.4.1 使用多維聚合函數(shù) 313 
5.4.2 使用時(shí)間窗口聚合 316 
5.4.3 使用窗口分析函數(shù) 321 
5.5 用戶自定義函數(shù)（ UDF）·330 
5.6 數(shù)據(jù)集的 join連接332 
5.6.1 join表達(dá)式和 join類型·332 
5.6.2 執(zhí)行 join連接333 
5.6.3 處理重復(fù)列名 340 
5.6.4 join連接策略·342 
5.7 讀寫 Hive表344 
5.7.1 Spark SQL的 Hive配置345 
5.7.2 Spark Maven項(xiàng)目的 Hive配置·346 
5.7.3 Spark SQL讀寫 Hive表347 
5.7.4 分桶、分區(qū)和排序 352 
5.8 查詢優(yōu)化器 Catalyst 359 
5.8.1 窄轉(zhuǎn)換和寬轉(zhuǎn)換 360 
5.8.2 Spark執(zhí)行模型 361 
5.8.3 Catalyst實(shí)踐363 
5.8.4 可視化 Spark程序執(zhí)行·366 
5.9 項(xiàng)目 Tungsten372 
5.10 Spark性能調(diào)優(yōu)373 
5.11  Spark SQL編程案例 ·375 
5.11.1  電影數(shù)據(jù)集分析 375 
5.11.2  電商數(shù)據(jù)集分析 379 
5.12 Spark SQL分析案例·387 
5.12.1 用戶行為數(shù)據(jù)集說明 ·387 
5.12.2 分析需求說明 388 
5.12.3 數(shù)據(jù)探索和預(yù)處理 390 
5.12.4 平臺流量分析 394 
5.12.5 用戶行為分析 397 
5.12.6 轉(zhuǎn)化漏斗分析 405 
5.12.7 用戶 RFM價(jià)值分析408 
5.12.8 推薦效果分析 412 
5.12.9 項(xiàng)目分析總結(jié) 417 
第 6章 Spark Streaming流處理 (
 73min)·418 
6.1  Spark DStream ·418 
6.2 Spark流處理示例419 
6.2.1 Spark Streaming編程模型·420 
6.2.2 實(shí)時(shí)股票交易分析 423 
6.2.3 使用外部數(shù)據(jù)源 Kafka440 
第 7章 Spark結(jié)構(gòu)化流 (
 162min)·446 
7.1 結(jié)構(gòu)化流簡介 446 
7.2 結(jié)構(gòu)化流編程模型 448 
7.3 結(jié)構(gòu)化流核心概念 451 
7.3.1 數(shù)據(jù)源 ·451 
7.3.2 輸出模式 452 
7.3.3 觸發(fā)器類型 452 
7.3.4 數(shù)據(jù)接收器 453 
7.3.5 水印·454 
7.4 使用各種流數(shù)據(jù)源 454 
7.4.1 使用 Socket數(shù)據(jù)源·454 
7.4.2 使用 Rate數(shù)據(jù)源·456 
7.4.3 使用 File數(shù)據(jù)源458 
7.4.4 使用 Kafka數(shù)據(jù)源 461 
7.5 流 DataFrame操作467 
7.5.1 選擇、投影和聚合操作 468 
7.5.2 執(zhí)行 join連接操作471 
7.6 使用數(shù)據(jù)接收器 474 
7.6.1 使用 File Data Sink 474 
7.6.2 使用 Kafka Data Sink·475 
7.6.3 使用 Foreach Data Sink478 
7.6.4 使用 Console Data Sink ·480 
7.6.5 使用 Memory Data Sink·482 
7.6.6 Data Sink與輸出模式 ·483 
7.7 深入研究輸出模式 483 
7.7.1 無狀態(tài)流查詢 483 
7.7.2 有狀態(tài)流查詢 484 
7.8 深入研究觸發(fā)器 489 
7.8.1 固定間隔觸發(fā)器 490 
7.8.2 一次性的觸發(fā)器 492 
7.8.3 連續(xù)性的觸發(fā)器 492 
第 8章 Spark結(jié)構(gòu)化流（高級）(
 72min)·496 
8.1 事件時(shí)間和窗口聚合 496 
8.1.1 固定窗口聚合 496 
8.1.2 滑動(dòng)窗口聚合 500 
8.2 水印·504 
8.2.1 限制維護(hù)的聚合狀態(tài)數(shù)量 ·504 
8.2.2 處理遲到的數(shù)據(jù) 507 
8.3 任意狀態(tài)處理 512 
8.3.1 結(jié)構(gòu)化流的任意狀態(tài)處理 ·513 
8.3.2 處理狀態(tài)超時(shí) 514 
8.3.3 任意狀態(tài)處理實(shí)戰(zhàn) 515 
8.4 處理重復(fù)數(shù)據(jù) 524 
8.5 容錯(cuò)·526 
8.6 流查詢度量指標(biāo)和容錯(cuò) 528 
8.6.1 流查詢指標(biāo) 528 
8.6.2 流監(jiān)控指標(biāo) 530 
8.7 結(jié)構(gòu)化流案例：運(yùn)輸公司車輛超速實(shí)時(shí)監(jiān)測 531 
8.8 結(jié)構(gòu)化流案例：實(shí)時(shí)訂單分析 ·536 
8.8.1 數(shù)據(jù)集說明和數(shù)據(jù)源 537 
8.8.2 計(jì)算每 10s的銷售和購買訂單數(shù)量 538 
8.8.3 根據(jù)購買或售出的總金額統(tǒng)計(jì)前 5個(gè)客戶541 
8.8.4 找出過去一小時(shí)內(nèi)前 5個(gè)交易量昀多的股票543 
第 9章 Spark圖處理庫 GraphFrame (
 80min)546 
9.1 圖基本概念 546 
9.2 GraphFrame圖處理庫簡介 ·548 
9.3 GraphFrame的基本使用·549 
9.3.1 添加 GraphFrame依賴549 
9.3.2 構(gòu)造圖模型 550 
9.3.3 簡單圖查詢 551 
9.3.4 示例：簡單航班數(shù)據(jù)分析 ·556 
9.4 應(yīng)用 motif模式查詢 ·559 
9.4.1 簡單 motif查詢·560 
9.4.2 狀態(tài)查詢 562 
9.5 構(gòu)建子圖 ·563 
9.6 內(nèi)置圖算法 565 
9.6.1 廣度優(yōu)先搜索（ BFS）算法 565 
9.6.2 連通分量算法 567 
9.6.3 強(qiáng)連通分量算法 568 
9.6.4 標(biāo)簽傳播算法 569 
9.6.5 PageRank算法·570 
9.6.6 昀短路徑算法 573 
9.6.7 三角計(jì)數(shù)算法 574 
9.7 保存和加載 GraphFrame ·575 
9.8 深入理解 GraphFrame ·576 
9.9 案例：亞馬遜產(chǎn)品聯(lián)購分析 ·578 
9.9.1 基本圖查詢和操作 579 
9.9.2 聯(lián)購商品分析 580 
9.9.3 處理子圖 584 
9.9.4 應(yīng)用圖算法進(jìn)行分析 584 
第 10章 Delta Lake數(shù)據(jù)湖 (
 61min) 586 
10.1 從數(shù)據(jù)倉庫到數(shù)據(jù)湖 586 
10.2 解耦存儲(chǔ)層和分析層 588 
10.3 Delta Lake介紹·591 
10.4 Delta Lake架構(gòu)·593 
10.5 Delta Lake使用·595 
10.5.1 安裝 Delta Lake595 
10.5.2 表批處理讀寫 596 
10.5.3 表流處理讀寫 602 
10.5.4 文件移除 605 
10.5.5 壓縮小文件 612 
10.5.6 增量更新與時(shí)間旅行 ·615 
10.5.7 合并更新（ upsert）·621 
第 11章 Iceberg數(shù)據(jù)湖 (
 90min) 630 
11.1  Apache Iceberg簡介630 
11.2配置和使用 Catalog·631 
11.2.1  配置 Catalog·632 
11.2.2  使用 Catalog·633 
11.2.3  替換 Session Catalog 633 
11.2.4  運(yùn)行時(shí)配置 634 
11.3管理 Catalog中的數(shù)據(jù)庫635 
11.4管理 Iceberg表635 
11.4.1  基本的 CRUD操作635 
11.4.2  創(chuàng)建和刪除表 640 
11.4.3  使用分區(qū)表和分桶表 ·642 
11.4.4  數(shù)據(jù)覆蓋 652 
11.4.5  修改表結(jié)構(gòu) 654 
11.5探索 Iceberg表663 
11.5.1  History歷史表·663 
11.5.2  Snapshots快照表·664 
11.5.3  Files數(shù)據(jù)文件表664 
11.5.4  Manifests文件清單表665 
11.6  Apache Iceberg架構(gòu)666 
11.6.1  Iceberg Catalog·666 
11.6.2  元數(shù)據(jù)文件 667 
11.6.3  清單列表（ Manifest List）670 
11.6.4  清單文件（ Manifest File）673 
11.7  CRUD操作的底層實(shí)現(xiàn) 676 
11.8增量更新與合并更新 679 
11.9時(shí)間旅行685 
11.10  隱藏分區(qū)和分區(qū)演變 688 
11.10.1  分區(qū)概念 ·688 
11.10.2  分區(qū)演變示例 ·691 
11.11  使用存儲(chǔ)過程維護(hù)表·698 
11.12  整合 Spark結(jié)構(gòu)化流·701 
11.12.1  流讀取 ·701 
11.12.2  流寫入 ·701 
11.12.3  維護(hù)流表 ·704 
第 12章 Hudi數(shù)據(jù)湖 (
 19min) 707 
12.1 Apache Hudi特性707 
12.1.1  Hudi Timeline·707 
12.1.2 Hudi文件布局 ·709 
12.1.3 Hudi表類型 ·709 
12.1.4 Hudi查詢類型 ·712 
12.2 在 Spark 3中使用 Hudi ·713 
12.2.1 配置 Hudi·713 
12.2.2 初始設(shè)置 714 
12.2.3 插入數(shù)據(jù) 715 
12.2.4 查詢數(shù)據(jù) 716 
12.2.5 更新數(shù)據(jù) 718 
12.2.6 增量查詢 718 
12.2.7 時(shí)間點(diǎn)查詢 720 
12.2.8 刪除數(shù)據(jù) 720 
12.2.9 插入覆蓋 722 
第 13章 Spark大數(shù)據(jù)處理綜合案例 (
 15min) ·724 
13.1 項(xiàng)目需求說明 724 
13.2 項(xiàng)目架構(gòu)設(shè)計(jì) 725 
13.3 項(xiàng)目實(shí)現(xiàn)：數(shù)據(jù)采集 726 
13.4 項(xiàng)目實(shí)現(xiàn)：數(shù)據(jù)集成 729 
13.4.1 Flume簡介·729 
13.4.2 安裝和配置 Flume ·730 
13.4.3 實(shí)現(xiàn)數(shù)據(jù)集成 731 
13.5 項(xiàng)目實(shí)現(xiàn)：數(shù)據(jù) ETL732 
13.6 項(xiàng)目實(shí)現(xiàn)：數(shù)據(jù)清洗與整理 ·735 
13.7 項(xiàng)目實(shí)現(xiàn)：數(shù)據(jù)分析 739 
13.8 項(xiàng)目實(shí)現(xiàn)：分析結(jié)果導(dǎo)出 ·747 
13.9 項(xiàng)目實(shí)現(xiàn)：數(shù)據(jù)可視化 748 
13.9.1 Spring MVC框架簡介·749 
13.9.2 ECharts圖表庫介紹·750 
13.9.3 Spring MVC Web程序開發(fā) ·751 
13.9.4 前端 ECharts組件開發(fā)763 
13.10 項(xiàng)目部署和測試 768