Greenplum企業(yè)應(yīng)用實戰(zhàn)

上篇　基　礎(chǔ)　篇
第1章　Greenplum簡介
1.1　Greenplum的起源和發(fā)展歷程
1.2　OLTP與OLAP
1.3　PostgreSQL與Greenplum的關(guān)系
1.3.1　PostgreSQL
1.3.2　Greenplum
1.4　Greenplum特性及應(yīng)用場景
1.4.1　Greenplum特性
1.4.2　Greenplum應(yīng)用場景
1.5　小結(jié)
第2章　Greenplum快速入門
2.1　軟件安裝及數(shù)據(jù)庫初始化
2.1.1　Greenplum架構(gòu)
2.1.2　環(huán)境搭建
2.1.3　Greenplum安裝
2.1.4　創(chuàng)建數(shù)據(jù)庫
2.1.5　數(shù)據(jù)庫啟動與關(guān)閉
2.2　安裝Greenplum的常見問題
2.2.1　/etc/hosts配置錯誤
2.2.2　MASTER_DATA_DIRECTORY設(shè)置錯誤
2.3　暢游Greenplum
2.3.1　如何訪問Greenplum
2.3.2　數(shù)據(jù)庫整體概況
2.3.3　基本語法介紹
2.3.4　常用數(shù)據(jù)類型
2.3.5　常用函數(shù)
2.3.6　分析函數(shù)
2.3.7　分區(qū)表
2.3.8　外部表
2.3.9　COPY命令
2.4　小結(jié)
第3章　Greenplum實戰(zhàn)
3.1　歷史拉鏈表
3.1.1　應(yīng)用場景描述
3.1.2　原理及步驟
3.1.3　表結(jié)構(gòu)
3.1.4　Demo數(shù)據(jù)準(zhǔn)備
3.1.5　數(shù)據(jù)加載
3.1.6　數(shù)據(jù)刷新
3.1.7　分區(qū)裁剪
3.1.8　數(shù)據(jù)導(dǎo)出
3.2　日志分析
3.2.1　應(yīng)用場景描述
3.2.2　數(shù)據(jù)Demo
3.2.3　日志分析實戰(zhàn)
3.3　數(shù)據(jù)分布
3.3.1　數(shù)據(jù)分散情況查看
3.3.2　數(shù)據(jù)加載速度影響
3.3.3　數(shù)據(jù)查詢速度影響
3.4　數(shù)據(jù)壓縮
3.4.1　數(shù)據(jù)加載速度影響
3.4.2　數(shù)據(jù)查詢速度影響
3.5　索引
3.6　小結(jié)
中篇　進(jìn)　階　篇
第4章　數(shù)據(jù)字典詳解
4.1　oid無處不在
4.2　數(shù)據(jù)庫集群信息
4.2.1　Gp_configuration和gp_segment_configuration
4.2.2　Gp_id
4.2.3　Gp_configuration_history
4.2.4　pg_filespace_entry
4.2.5　集群配置信息表轉(zhuǎn)化
4.3　常用數(shù)據(jù)字典
4.3.1　pg_class
4.3.2　pg_attribute
4.3.3　gp_distribution_policy
4.3.4　pg_statistic和pg_stats
4.4　分區(qū)表信息
4.4.1　如何實現(xiàn)分區(qū)表
4.4.2　pg_partition
4.4.3　pg_partition_rule
4.4.4　pg_partitions視圖及其優(yōu)化
4.5　自定義類型以及類型轉(zhuǎn)換
4.6　主、備節(jié)點(diǎn)同步的相關(guān)數(shù)據(jù)字典
4.7　數(shù)據(jù)字典應(yīng)用示例
4.7.1　獲取表的字段信息
4.7.2　獲取表的分布鍵
4.7.3　獲取一個視圖的定義
4.7.4　查詢comment（備注信息）
4.7.5　獲取數(shù)據(jù)庫建表語句
4.7.6　查詢表上的視圖
4.7.7　查詢表的數(shù)據(jù)文件創(chuàng)建時間
4.7.8　分區(qū)表總大小
4.7.9　如何分析數(shù)據(jù)字典變化
4.7.10　獲取數(shù)據(jù)庫鎖信息
4.8　Gp_toolkit介紹
4.9　小結(jié)
第5章　執(zhí)行計劃詳解
5.1　執(zhí)行計劃入門
5.1.1　什么是執(zhí)行計劃
5.1.2　查看執(zhí)行計劃
5.2　分布式執(zhí)行計劃概述
5.2.1　架構(gòu)
5.2.2　重分布與廣播
5.2.3　Greenplum Master的工作
5.3　Greenplum執(zhí)行計劃中的術(shù)語
5.3.1　數(shù)據(jù)掃描方式
5.3.2　分布式執(zhí)行
5.3.3　兩種聚合方式
5.3.4　關(guān)聯(lián)
5.3.5　SQL消耗
5.3.6　其他術(shù)語
5.4　數(shù)據(jù)庫統(tǒng)計信息收集
5.4.1　Analyze分析
5.4.2　固定執(zhí)行計劃
5.5　控制執(zhí)行計劃的參數(shù)介紹
5.6　規(guī)劃器開銷的計算方法
5.7　各種執(zhí)行計劃原理分析
5.7.1　詳解關(guān)聯(lián)的廣播與重分布
5.7.2　HashAggregate與GroupAggregate
5.7.3　Nestloop Join 、 Hash Join 與Merge Join
5.7.4　分析函數(shù)：開窗函數(shù)和grouping sets
5.8　案例
5.8.1　關(guān)聯(lián)鍵強(qiáng)制類型轉(zhuǎn)換，導(dǎo)致重分布
5.8.2　統(tǒng)計信息過期
5.8.3　執(zhí)行計劃出錯
5.8.4　分布鍵選擇不恰當(dāng)
5.8.5　計算distinct
5.8.6　union與union all
5.8.7　子查詢not in
5.8.8　聚合函數(shù)太多導(dǎo)致內(nèi)存不足
5.9　小結(jié)
第6章　Greenplum高級應(yīng)用
6.1　Appendonly表與壓縮表
6.1.1　應(yīng)用場景及語法介紹
6.1.2　壓縮表的性能差異
6.1.3　Appendonly表特性
6.1.4　相關(guān)數(shù)據(jù)字典
6.2　列存儲
6.2.1　應(yīng)用場景
6.2.2　數(shù)據(jù)文件存儲特性
6.2.3　如何使用列存儲
6.2.4　性能比較
6.3　外部表高級應(yīng)用
6.3.1　外部表實現(xiàn)原理
6.3.2　可寫外部表
6.3.3　HDFS外部表
6.3.4　可執(zhí)行外部表
6.4　自定義函數(shù)-各個編程接口
6.4.1　pl/pgsql
6.4.2　C語言接口
6.4.3　plpython
6.5　Greenplum MapReduce
6.6　小結(jié)
第7章　Greenplum架構(gòu)介紹
7.1　并行和分布式計算
7.2　并行數(shù)據(jù)庫
7.3　Greenplum架構(gòu)分析
7.4　冗余與故障切換
7.5　數(shù)據(jù)分布及負(fù)載均衡
7.6　跨庫關(guān)聯(lián)
7.7　分布式事務(wù)
7.8　其他大數(shù)據(jù)分析方案
7.9　小結(jié)
下篇　管　理　篇
第8章　Greenplum線上環(huán)境部署
8.1　服務(wù)器硬件選型
8.1.1　CPU
8.1.2　內(nèi)存
8.1.3　磁盤及硬盤接口
8.1.4　網(wǎng)絡(luò)
8.2　服務(wù)器系統(tǒng)參數(shù)調(diào)整
8.2.1　Solaris參數(shù)修改
8.2.2　Linux參數(shù)修改
8.2.3　系統(tǒng)參數(shù)及性能驗證
8.3　計算節(jié)點(diǎn)分配技巧
8.4　數(shù)據(jù)庫參數(shù)介紹
8.5　數(shù)據(jù)庫集群基準(zhǔn)測試
8.6　小結(jié)
第9章　數(shù)據(jù)庫管理
9.1　用戶及權(quán)限管理
9.1.1　Greenplum數(shù)據(jù)庫邏輯結(jié)構(gòu)
9.1.2　Grant語法
9.2　登錄權(quán)限控制
9.3　資源隊列及并發(fā)控制
9.4　Greenplum鎖機(jī)制
9.5　數(shù)據(jù)目錄結(jié)構(gòu)
9.6　數(shù)據(jù)文件存儲分布
9.7　表空間管理
9.8　小結(jié)
第10章　數(shù)據(jù)庫監(jiān)控及調(diào)優(yōu)
10.1　Linux監(jiān)控工具介紹
10.1.1　監(jiān)控磁盤
10.1.2　監(jiān)控網(wǎng)絡(luò)
10.1.3　監(jiān)控CPU
10.1.4　監(jiān)控內(nèi)存
10.2　安裝Performance Monitor
10.3　監(jiān)控Segment是否正常
10.4　VACUUM系統(tǒng)表
10.5　數(shù)據(jù)傾斜排查
10.6　查看子節(jié)點(diǎn)的SQL運(yùn)行狀態(tài)
10.7　自動加分區(qū)
10.8　自動賦權(quán)
10.9　清理過期數(shù)據(jù)
10.10　小結(jié)
第11章　解讀Greenplum維護(hù)腳本
11.1　添加Greenplum Contrib模塊
11.2　啟動和關(guān)閉腳本gpstart和gpstop
11.3　初始化系統(tǒng)腳本gpinitsystem
11.4　集群操作腳本gpssh和gpscp
11.5　數(shù)據(jù)庫狀態(tài)檢查腳本gpstate
11.6　數(shù)據(jù)庫升級腳本gpmigrate
11.7　參數(shù)修改腳本gpconfig
11.8　數(shù)據(jù)庫一致性檢查腳本gpcheckcat
11.9　小結(jié)
第12章　備份及恢復(fù)策略
12.1　Greenplum 3.x
12.2　Greenplum 4.x
12.3　gp_dump和pg_dump
12.4　Greenplum Master備份策略
12.4.1　增加Standby Master
12.4.2　重新同步Standby Master
12.4.3　啟用Standby Master
12.5　小結(jié)
第13章　數(shù)據(jù)庫擴(kuò)容
13.1　遷移計算節(jié)點(diǎn)
13.1.1　兩種備份方案
13.1.2　數(shù)據(jù)遷移實戰(zhàn)
13.2　增加計算節(jié)點(diǎn)
13.3　小結(jié)
第14章　基于Greenplum的海量數(shù)據(jù)實時分析服務(wù)平臺
14.1　需求概述
14.2　典型方案
14.2.1　NoSQL
14.2.2　分布式數(shù)據(jù)庫/集群
14.2.3　分表分庫
14.2.4　方案優(yōu)劣分析
14.3　基于Greenplum的混合架構(gòu)
14.3.1　架構(gòu)分析
14.3.2　實施要點(diǎn)
14.4　小結(jié)
第15章　使用Greenplum的常見報錯及小技巧
15.1　分析常見報錯
15.2　常見問題及解決辦法
15.3　常用的一些小技巧
15.4　小結(jié)