MySQL運(yùn)維內(nèi)參：MySQL、Galera、Inception核心原理與最佳實(shí)踐

第一部分 MySQL篇
1 MySQL源代碼入門
MySQL源代碼的組織結(jié)構(gòu)
Linux下的編譯
安裝MySQL庫
MySQL 5.7權(quán)限處理
2 MySQL啟動(dòng)過程
3 連接的生命與使命
用戶連接線程創(chuàng)建
MySQL處理請(qǐng)求
總結(jié)
4 MySQL表對(duì)象緩存
表結(jié)構(gòu)的實(shí)現(xiàn)原理
涉及的參數(shù)變量
優(yōu)缺點(diǎn)總結(jié)
存在的問題
5 InnoDB初探
InnoDB的源代碼目錄結(jié)構(gòu)
InnoDB存儲(chǔ)引擎文件組織
InnoDB體系結(jié)構(gòu)
InnoDB存儲(chǔ)引擎啟動(dòng)與關(guān)閉
- - InnoDB 存儲(chǔ)引擎的啟動(dòng)
- - InnoDB存儲(chǔ)引擎的關(guān)閉
6 InnoDB數(shù)據(jù)字典
背景
系統(tǒng)表結(jié)構(gòu)
字典表加載
Rowid管理
總結(jié)
7 InnoDB數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)
表空間文件組成結(jié)構(gòu)
- - 段
- - 簇
- - 頁面
段、簇、頁面組織結(jié)構(gòu)
8 InnoDB索引實(shí)現(xiàn)原理
背景
B+樹及B樹的區(qū)別
索引的設(shè)計(jì)
聚簇索引和二級(jí)索引
二級(jí)索引指針
神奇的B+樹網(wǎng)絡(luò)
InnoDB索引的插入過程
一個(gè)頁面至少要存儲(chǔ)幾條記錄
頁面結(jié)構(gòu)管理
- - 文件管理頭信息
- - 頁面頭信息
- - 最小記錄和最大記錄
- - 頁面數(shù)據(jù)空間管理
- - 經(jīng)典的槽管理
- - 頁面尾部
- - 頁面重組
索引頁面的回收
9 InnoDB記錄格式
背景
從源碼入手了解行格式
總結(jié)
10 揭秘獨(dú)特的兩次寫
單一頁面刷盤
批量頁面刷盤
- - 兩次寫組織結(jié)構(gòu)
- - 批量刷盤兩次寫實(shí)現(xiàn)原理
兩次寫的作用
發(fā)散思維
總結(jié)
11 InnoDB日志管理機(jī)制
InnoDB Buffer Pool
REDO LOG日志文件管理的用途
MTR InnoDB物理事務(wù)
日志的意義
日志記錄格式
日志刷盤時(shí)機(jī)
REDO日志恢復(fù)
數(shù)據(jù)庫回滾
- - 數(shù)據(jù)庫UNDO段管理
- - 數(shù)據(jù)庫UNDO日志記錄格式
- - 回滾時(shí)刻
總結(jié)
12 MySQL 5.7中嶄新的MySQL sys Schema
Performance Schema的改進(jìn)
sys Schema介紹
- - sys Schema視圖摘要
- - sys Schema重點(diǎn)視圖與應(yīng)用場(chǎng)景
- - 使用風(fēng)險(xiǎn)
總結(jié)
13 方便的MySQL GTID
GTID 相關(guān)概念
- - 什么是GTID
- - GTID集合
- - GTID生命周期
GTID的維護(hù)
- - gtid_executed表
- - gtid_executed表壓縮
GTID搭建主從
- - 搭建主從時(shí)，需要注意的MySQL參數(shù)
- - 開啟GTID
- - 搭建主從
使用GTID案例總結(jié)
- - 如何跳過一個(gè)GTID
- - 利用GTID模式快速改變主從復(fù)制關(guān)系
- - 在線將傳統(tǒng)模式復(fù)制改為GTID模式復(fù)制
- - 在線將GTID模式復(fù)制改為傳統(tǒng)模式復(fù)制
GTID的限制
14 MySQL半同步復(fù)制
半同步特性
半同步主庫端
半同步從庫端
半同步實(shí)現(xiàn)
插件安裝
半同步自動(dòng)開關(guān)
15 MySQL 5.7多線程復(fù)制原理
背景
行之有效的延遲優(yōu)化方法
MySQL 5.6的多線程復(fù)制
MySQL 5.7的多線程復(fù)制
- - ordered commit
- - 多線程復(fù)制分發(fā)原理
- - 異常故障恢復(fù)
16 大量MySQL表導(dǎo)致服務(wù)變慢的問題
背景
問題分析
案例解決
總結(jié)
17 MySQL快速刪除大表
背景
問題分析
案例解決
發(fā)散思維
總結(jié)
18 兩條不同的插入語句導(dǎo)致的死鎖
背景
問題分析
發(fā)散思維
總結(jié)
19 MySQL在并發(fā)刪除同一行數(shù)據(jù)時(shí)導(dǎo)致死鎖的分析
背景
問題分析
發(fā)散思維
總結(jié)
20 參數(shù)SQL_SLAVE_SKIP_COUNTER的奧秘
21 Binlog中的時(shí)間戳
背景
問題分析
發(fā)散思維
事務(wù)中的事件順序
問題延伸
show processlist中的Time
總結(jié)
22 InnoDB中Rowid對(duì)Binlog的影響
背景
問題分析
總結(jié)
23 MySQL備份：Percona XtraBackup的原理與實(shí)踐
備份背景及類型
認(rèn)識(shí)Percona XtraBackup
XtraBackup的工作流程
XtraBackup的備份原理
XtraBackup 需要的權(quán)限
innobackupex常用的備份選項(xiàng)說明
XtraBackup備份實(shí)踐
- - 全量備份
- - 增量備份
- - 并行備份
- - 其他備份
案例實(shí)踐與心得
建議與提醒
24 MySQL分庫分表
分庫分表的種類
分庫分表的原則
分庫分表實(shí)現(xiàn)
- - 數(shù)據(jù)庫層的實(shí)現(xiàn)
- - 業(yè)務(wù)層的實(shí)現(xiàn)
25 MySQL數(shù)據(jù)安全
單機(jī)安全
集群安全
備份安全
MySQL實(shí)例安全保證
- - Double Write
- - REDO LOG
MySQL集群安全保證
- - 傳統(tǒng)的主從模式如何保證數(shù)據(jù)庫安全
- - Semi_Sync Replication方式的復(fù)制
- - MySQL集群化如何保證數(shù)據(jù)庫安全
總結(jié)
26 MySQL 性能拾遺
適當(dāng)?shù)臄?shù)據(jù)文件大小
- - 碎片空洞問題
- - 設(shè)計(jì)問題
合理設(shè)計(jì)表結(jié)構(gòu)
- - 冗余存儲(chǔ)
- - 拆分存儲(chǔ)
- - 重復(fù)存儲(chǔ)
- - 特別提醒
正確使用索引
MySQL系統(tǒng)參數(shù)
內(nèi)存和CPU
磁盤的革命
云中漫步
總結(jié)
27 MySQL Group Replication
Group Replication概述
- - 組的概念
- - 多主復(fù)制
- - 單獨(dú)的通信機(jī)制
Group Replication服務(wù)模式
- - 單主模式
- - 多主模式
- - 服務(wù)模式的配置
Binlog Event的多線程執(zhí)行
- - group_replication_applier通道
- - 基于主鍵的并行執(zhí)行
搭建Group Replication復(fù)制環(huán)境
- - MySQL的參數(shù)設(shè)置
- - Group Replication插件的使用
- - Group Replication插件的基本參數(shù)設(shè)置
- - Group Replication的數(shù)據(jù)庫用戶
- - Group Replication組初始化
- - 新成員加入組
Group Replication的高可用性
- - 組內(nèi)成員數(shù)量的變化
- - 強(qiáng)制移除故障成員
Group Replication的監(jiān)控
Group Replication的基本原理
- - 狀態(tài)機(jī)復(fù)制
- - 分布式的狀態(tài)機(jī)復(fù)制
- - 分布式的高可用數(shù)據(jù)庫
深入理解Group Replication中事務(wù)的執(zhí)行過程
- - 本地事務(wù)控制模塊
- - 成員間的通信模塊
- - 全局事務(wù)認(rèn)證模塊
- - 異地事務(wù)執(zhí)行模塊
- - 事務(wù)流程的總結(jié)
深入理解成員加入組的過程
- - 組視圖
- - 加入組時(shí)視圖的切換
- - View_change_log_event
- - 恢復(fù)
28 MySQL Document Store面面觀
新的JSON數(shù)據(jù)類型和JSON函數(shù)
- - JSON數(shù)據(jù)類型
- - JSON函數(shù)詳解
- - JSON函數(shù)的運(yùn)用
MySQL X Plugin 和 X Protocol
- - 支持NoSQL所做的努力
- - 安裝MySQL X Plugin
MySQL Shell
- - 安裝MySQL Shell
- - 運(yùn)行MySQL Shell
- - 在MySQL Shell中操作JSON文檔
- - 用腳本執(zhí)行MySQL Shell
X DevAPI
總結(jié)
參考資料
第二部分 Galera篇
29 Galera Cluster的設(shè)計(jì)與實(shí)現(xiàn)
Galera Cluster的優(yōu)點(diǎn)
Galera的引入
Galera接口
總結(jié)
30 Galera 參數(shù)解析
狀態(tài)參數(shù)
變量參數(shù)
31 Galera的驗(yàn)證方法
Binlog與Galera的關(guān)系
驗(yàn)證方法
32 Galera的消息傳送
33 GCache實(shí)現(xiàn)原理
配置參數(shù)
實(shí)現(xiàn)原理
發(fā)散思維
34 大話SST/IST細(xì)節(jié)
初始化節(jié)點(diǎn)環(huán)境
連接到集群并且做SST/IST
如何提供增量數(shù)據(jù)
總結(jié)
35 Donor/Desynced詳解
實(shí)現(xiàn)方式
意義何在
問答環(huán)節(jié)
36 Galera的并發(fā)控制機(jī)制
數(shù)據(jù)復(fù)制
寫集驗(yàn)證
寫集APPLY
事務(wù)Commit
37 Galera的流量控制
流量控制的定義
流量控制的實(shí)現(xiàn)原理及影響
兩個(gè)問題
38 Galera Cluster影響單節(jié)點(diǎn)執(zhí)行效率的因素
單點(diǎn)驗(yàn)證
并發(fā)控制
等待GTID
總結(jié)
39 grastate.dat文件揭秘
引子
分析研究
總結(jié)
40 Galera Cluster從庫的轉(zhuǎn)移
沒有開啟Server級(jí)GTID的情況
開啟了GTID（server級(jí)）的情況
總結(jié)
41 Galera Cluster節(jié)點(diǎn)與其從庫的隨意轉(zhuǎn)換
背景
從節(jié)點(diǎn)向PXC節(jié)點(diǎn)的轉(zhuǎn)換
PXC節(jié)點(diǎn)向異步從節(jié)點(diǎn)的轉(zhuǎn)換
42 業(yè)務(wù)更新慢，不是由Galera引起的
43 在線改表引發(fā)的Galera Cluster集群死鎖
背景
用Binlog來代替觸發(fā)器
表名交換
Galera Cluster中的問題
一個(gè)有趣的實(shí)驗(yàn)
解決方案
總結(jié)
第三部分 Inception篇
44 Inception誕生記
關(guān)于SQL審核
- - 半自動(dòng)化方法
人肉法
不滿現(xiàn)狀的追求
何謂Inception
45 Inception安裝與使用
下載和編譯
啟動(dòng)配置
線上配置需求
需要額外注意的點(diǎn)
使用方法
舉例說明
環(huán)境變量的設(shè)置
46 支持選項(xiàng)
選項(xiàng)說明
DDL與DML語句分離
小技巧
47 Inception的備份回滾
備份存儲(chǔ)架構(gòu)
備份所需條件
48 審核規(guī)范
支持的語句類型
公共檢查項(xiàng)
插入語句檢查項(xiàng)
更新、刪除語句檢查項(xiàng)
表屬性檢查項(xiàng)
列屬性檢查項(xiàng)
索引屬性檢查項(xiàng)
修改表語句檢查項(xiàng)
總結(jié)
49 參數(shù)變量
語法和變量
注意事項(xiàng)
50 友好的結(jié)果集
結(jié)果集結(jié)構(gòu)
總結(jié)
51 命令集語句
遠(yuǎn)程信息獲取
顯示本地全部變量
顯示本地某個(gè)變量
設(shè)置本地變量
顯示OSC執(zhí)行進(jìn)度
查看當(dāng)前processlist
52 Inception的彩蛋
對(duì)OSC的支持
- - 可選的OSC參數(shù)
- - 查看OSC的執(zhí)行進(jìn)度
- - 中止OSC的執(zhí)行
- - 查看所有OSC執(zhí)行信息
Inception對(duì)SQL執(zhí)行情況的統(tǒng)計(jì)
打印語法樹
53 Inception設(shè)計(jì)
Inception之源
Inception執(zhí)行流程