NoSQL數(shù)據(jù)庫技術(shù)實(shí)戰(zhàn)

第1篇 NoSQL的興起與理論基礎(chǔ)
第1章 NoSQL與大數(shù)據(jù)簡介 2
1.1 引子——NoSQL在國內(nèi)使用的案例 2
1.1.1 新浪微博 2
1.1.2 淘寶數(shù)據(jù)平臺 3
1.1.3 視覺中國網(wǎng)站 4
1.1.4 優(yōu)酷運(yùn)營數(shù)據(jù)分析 5
1.1.5 飛信空間 6
1.1.6 豆瓣社區(qū) 7
1.2 大數(shù)據(jù) 8
1.2.1 大數(shù)據(jù)的度量單位 8
1.2.2 大數(shù)據(jù)的特點(diǎn) 9
1.3 大數(shù)據(jù)相關(guān)技術(shù) 10
1.3.1 大數(shù)據(jù)采集技術(shù) 10
1.3.2 大數(shù)據(jù)預(yù)處理技術(shù) 11
1.3.3 大數(shù)據(jù)存儲及管理技術(shù) 11
1.3.4 大數(shù)據(jù)分析及挖掘技術(shù) 11
1.3.5 大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù) 12
1.4 NoSQL簡介 12
1.4.1 什么是NoSQL 12
1.4.2 關(guān)系型數(shù)據(jù)庫簡史 13
1.4.3 數(shù)據(jù)庫分類 13
1.4.4 關(guān)系型數(shù)據(jù)庫的優(yōu)勢 14
1.4.5 不擅長的處理 15
1.4.6 NoSQL數(shù)據(jù)庫 18
1.5 NoSQL數(shù)據(jù)庫的類型 20
1.5.1 鍵值（Key/Value）存儲 20
1.5.2 面向文檔的數(shù)據(jù)庫 21
1.5.3 面向列的數(shù)據(jù)庫 22
1.6 如何使用和學(xué)習(xí)NoSQL數(shù)據(jù)庫 23
1.6.1 始終只是一種選擇 23
1.6.2 在何種程度上信賴它 23
1.7 云數(shù)據(jù)管理 24
第2章 NoSQL的數(shù)據(jù)一致性 25
2.1 傳統(tǒng)關(guān)系數(shù)據(jù)庫中的ACID 25
2.1.1 原子性 25
2.1.2 一致性 25
2.1.3 隔離性 26
2.1.4 持久性 26
2.1.5 舉例 26
2.2 CAP理論 27
2.2.1 NoSQL系統(tǒng)是分布式系統(tǒng) 27
2.2.2 CAP理論闡述 27
2.3 AP的例子——DNS系統(tǒng) 29
2.3.1 DNS系統(tǒng) 29
2.3.2 DNS域名解析過程 29
2.3.3 DNS系統(tǒng)是最終一致性的 31
2.4 數(shù)據(jù)一致性模型與BASE 31
2.4.1 數(shù)據(jù)一致性模型 31
2.4.2 BASE（Basically Available，Soft-state，Eventual consistency） 32
2.5 數(shù)據(jù)一致性實(shí)現(xiàn)方法 33
2.5.1 Quorum系統(tǒng)NRW策略 33
2.5.2 時間戳策略 34
2.5.3 向量時鐘 37
第3章 NoSQL的水平擴(kuò)展與其他基礎(chǔ)知識 41
3.1 所有數(shù)據(jù)存放在一個服務(wù)器上 41
3.2 分片（Sharding） 41
3.3 主從復(fù)制 43
3.4 對等（Peer To Peer）復(fù)制 44
3.5 復(fù)制和分片的同時使用 45
3.6 數(shù)據(jù)水平擴(kuò)展的方法總結(jié) 46
3.7 分片對數(shù)據(jù)的劃分方式 46
3.7.1 Range-Based Partitioning 47
3.7.2 Round-Robin 49
3.8 一致性hash算法（Consistent Hashing） 50
3.8.1 基本場景 51
3.8.2 hash算法和單調(diào)性 51
3.8.3 Consistent Hashing算法的原理 51
3.8.4 虛擬節(jié)點(diǎn) 54
3.9 磁盤的讀寫特點(diǎn)及五分鐘法則 55
3.9.1 磁道、扇區(qū)、柱面和磁頭數(shù) 56
3.9.2 固態(tài)硬盤（SSD）：隨機(jī)讀寫速度快 57
3.9.3 內(nèi)存：讀寫速度極快 57
3.9.4 五分鐘法則 57
3.10 不要刪除數(shù)據(jù) 58
第2篇 列式NoSQL系統(tǒng)
第4章 BigTable與Google云計(jì)算原理 60
4.1 云計(jì)算 60
4.1.1 云計(jì)算的概念 60
4.1.2 云計(jì)算發(fā)展現(xiàn)狀 63
4.1.3 云計(jì)算實(shí)現(xiàn)機(jī)制 64
4.1.4 網(wǎng)格計(jì)算與云計(jì)算 66
4.2 Google文件系統(tǒng)GFS 68
4.2.1 系統(tǒng)架構(gòu) 69
4.2.2 容錯機(jī)制 71
4.2.3 系統(tǒng)管理技術(shù) 72
4.3 并行數(shù)據(jù)處理MapReduce 73
4.3.1 產(chǎn)生背景 73
4.3.2 編程模型 73
4.3.3 實(shí)現(xiàn)機(jī)制 74
4.4 分布式鎖服務(wù)Chubby 78
4.4.1 Paxos算法 78
4.4.2 Chubby系統(tǒng)設(shè)計(jì) 79
4.4.3 Chubby文件系統(tǒng) 80
4.4.4 通信協(xié)議 82
4.4.5 正確性與性能 83
4.5 分布式結(jié)構(gòu)化數(shù)據(jù)表BigTable 84
4.5.1 設(shè)計(jì)動機(jī)與目標(biāo) 85
4.5.2 數(shù)據(jù)模型 85
4.5.3 系統(tǒng)架構(gòu) 87
4.5.4 主服務(wù)器 88
4.5.5 子表服務(wù)器 89
4.5.6 性能優(yōu)化 92
第5章 Google云計(jì)算的開源版本——Hadoop 94
5.1 Hadoop簡介 94
5.1.1 Hadoop發(fā)展史 94
5.1.2 Apache Hadoop項(xiàng)目及體系結(jié)構(gòu) 96
5.2 Hadoop產(chǎn)生的原因 97
5.2.1 海量的數(shù)據(jù) 97
5.2.2 數(shù)據(jù)的存儲和分析 98
5.3 Hadoop和其他系統(tǒng)的比較 99
5.3.1 和關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（RDBMS）的比較 99
5.3.2 和網(wǎng)格計(jì)算的比較 100
5.4 HDFS的架構(gòu)設(shè)計(jì) 101
5.4.1 前提和設(shè)計(jì)目標(biāo) 102
5.4.2 Namenode和Datanode 102
5.4.3 文件系統(tǒng)的Namespace 103
5.4.4 數(shù)據(jù)復(fù)制 103
5.4.5 文件系統(tǒng)元數(shù)據(jù)的持久化 104
5.4.6 通訊協(xié)議 105
5.4.7 健壯性 105
5.4.8 數(shù)據(jù)組織 106
5.4.9 可訪問性 107
5.4.10 空間的回收 107
5.5 安裝Hadoop 108
5.5.1 安裝JDK 1.7 108
5.5.2 安裝Hadoop 109
5.6 HDFS操作 113
5.6.1 使用FS Shell命令操作HDFS 113
5.6.2 編程讀寫HDFS 118
5.7 Hadoop中的MapReduce模型 119
5.7.1 MapReduce計(jì)算模型 119
5.7.2 Hadoop中的Hello World程序 120
5.7.3 運(yùn)行MapReduce程序 124
5.7.4 Hadoop中的Hello World程序——新的API 125
5.7.5 MapReduce的數(shù)據(jù)流和控制流 127
5.8 Zookeeper 129
5.8.1 Zookeeper配置安裝 129
5.8.2 Zookeeper的數(shù)據(jù)模型 130
5.8.3 Zookeeper的基本使用 131
5.8.4 ZooKeeper 典型的應(yīng)用場景 133
5.8.5 統(tǒng)一命名服務(wù)（Name Service） 133
5.8.6 共享鎖（Locks） 136
5.8.7 隊(duì)列管理 137
5.8.8 Zookeeper總結(jié) 139
5.9 HBase 139
5.9.1 簡介 139
5.9.2 邏輯視圖 139
5.9.3 物理存儲 141
5.9.4 系統(tǒng)架構(gòu) 144
5.9.5 關(guān)鍵算法/流程 146
5.10 HBase的安裝和配置 149
5.11 HBase使用例子 151
第3篇 Key/Value NoSQL系統(tǒng)
第6章 Dynamo：Amazon的高可用鍵值對存儲 156
6.1 簡介 156
6.2 背景 157
6.2.1 系統(tǒng)假設(shè)和要求 158
6.2.2 服務(wù)水平協(xié)議（SLA） 158
6.2.3 設(shè)計(jì)考慮 160
6.3 系統(tǒng)架構(gòu) 161
6.3.1 系統(tǒng)接口 162
6.3.2 劃分算法 162
6.3.3 復(fù)制 163
6.3.4 版本的數(shù)據(jù) 163
6.3.5 執(zhí)行g(shù)et()和put()操作 165
6.3.6 故障處理：暗示移交（Hinted Handoff） 166
6.3.7 處理永久性故障：副本同步 167
6.3.8 會員和故障檢測 167
6.3.9 添加/刪除存儲節(jié)點(diǎn) 169
6.4 實(shí)現(xiàn) 169
6.5 Amazon使用的經(jīng)驗(yàn)與教訓(xùn) 170
6.5.1 平衡性能和耐久性 171
6.5.2 確保均勻的負(fù)載分布 172
6.5.3 不同版本：何時以及有多少 175
6.5.4 客戶端驅(qū)動或服務(wù)器驅(qū)動協(xié)調(diào) 176
6.5.5 權(quán)衡后臺和前臺任務(wù) 177
6.5.6 討論 177
6.6 結(jié)論 178
第7章 LevelDb——出自Google的 Key-Value數(shù)據(jù)庫 179
7.1 LevelDb簡介 179
7.2 LevelDb的靜態(tài)部分 180
7.2.1 整體架構(gòu) 180
7.2.2 log文件 182
7.2.3 SSTable文件 183
7.2.4 MemTable詳解 186
7.3 LevelDb的動態(tài)部分 187
7.3.1 寫入與刪除記錄 187
7.3.2 讀取記錄 188
7.3.3 Compaction操作 190
7.3.4 LevelDb中的Cache 192
7.3.5 Version、VersionEdit和VersionSet 194
第8章 Redis實(shí)戰(zhàn) 195
8.1 Redis安裝與準(zhǔn)備 195
8.1.1 下載與安裝 195
8.1.2 配置文件修改 196
8.1.3 啟動Redis 197
8.1.4 停止Redis 198
8.2 Redis所支持的數(shù)據(jù)結(jié)構(gòu) 198
8.2.1 String 199
8.2.2 List 203
8.2.3 Set 207
8.2.4 Hash/哈希/散列 210
8.2.5 有序集合/Zset 213
8.3 Key操作命令 218
8.3.1 概述 218
8.3.2 命令示例 220
8.4 事物 223
8.4.1 事物概述 223
8.4.2 相關(guān)命令 223
8.4.3 命令示例 224
8.4.4 WATCH命令和基于CAS的樂觀鎖 225
8.5 Redis的主從復(fù)制 226
8.5.1 Redis的Replication 226
8.5.2 Replication的工作原理 227
8.5.3 如何配置Replication 227
8.5.4 應(yīng)用示例 228
8.6 Redis的持久化 228
8.6.1 持久化機(jī)制 228
8.6.2 RDB機(jī)制的優(yōu)勢和劣勢 229
8.6.3 AOF機(jī)制的優(yōu)勢和劣勢 229
8.6.4 其他 230
8.7 Redis的虛擬內(nèi)存 231
8.7.1 簡介 231
8.7.2 應(yīng)用場景 231
8.7.3 配置 231
8.8 pipeline/管線 233
8.8.1 請求應(yīng)答協(xié)議和RTT 233
8.8.2 管線（pipelining） 233
8.8.3 Benchmark 234
8.9 實(shí)例 234
第4篇 文檔型NoSQL系統(tǒng)
第9章 面向文檔的數(shù)據(jù)庫CouchDB 240
9.1 CouchDB介紹 240
9.1.1 基本概念 240
9.1.2 擴(kuò)展概念 241
9.2 CouchDB安裝與配置 241
9.3 REST API 242
9.3.1 數(shù)據(jù)庫REST API 243
9.3.2 文檔REST API 243
9.3.3 視圖 REST API 243
9.3.4 附件 REST API 244
9.4 為應(yīng)用建模 244
9.4.1 描述實(shí)體 244
9.4.2 描述一對一和一對多關(guān)系 245
9.4.3 描述多對多關(guān)系 246
9.5 實(shí)戰(zhàn)開發(fā) 247
9.5.1 開發(fā)Web應(yīng)用 247
9.5.2 使用CouchDB jQuery插件 248
9.5.3 示例應(yīng)用建模 249
9.5.4 管理文檔 250
9.5.5 視圖 253
9.6 高級話題 259
9.6.1 權(quán)限控制與安全 259
9.6.2 文檔更新校驗(yàn) 259
9.6.3 分組 259
9.6.4 鍵的排序 260
第10章 MongoDB實(shí)戰(zhàn) 261
10.1 為什么要使用MongoDB 261
10.1.1 不能確定的表結(jié)構(gòu)信息 261
10.1.2 序列化可以解決一切問題嗎 261
10.1.3 無需定義表結(jié)構(gòu)的數(shù)據(jù)庫 262
10.2 MongoDB的優(yōu)勢和不足 262
10.2.1 無表結(jié)構(gòu) 262
10.2.2 容易擴(kuò)展 263
10.2.3 豐富的功能 263
10.2.4 性能卓越 264
10.2.5 簡便的管理 264
10.2.6 MongoDB的不足 264
10.3 基本概念 264
10.4 Linux下MongoDB的安裝和配置、啟動和停止 265
10.4.1 下載 265
10.4.2 安裝 266
10.4.3 啟動數(shù)據(jù)庫 267
10.4.4 停止數(shù)據(jù)庫 269
10.5 創(chuàng)建、更新及刪除文檔 270
10.5.1 連接數(shù)據(jù)庫 270
10.5.2 插入記錄 270
10.5.3 _id key 272
10.5.4 修改記錄 272
10.5.5 刪除記錄 272
10.6 查詢記錄 273
10.6.1 普通查詢 273
10.6.2 條件查詢 274
10.6.3 findOne()語法 274
10.6.4 通過limit限制結(jié)果集數(shù)量 274
10.7 高級查詢 275
10.7.1 條件操作符 275
10.7.2 $all匹配所有 275
10.7.3 $exists判斷字段是否存在 276
10.7.4 Null值處理 276
10.7.5 $mod取模運(yùn)算 276
10.7.6 $ne不等于 277
10.7.7 $in包含 277
10.7.8 $nin不包含 278
10.7.9 $size數(shù)組元素個數(shù) 278
10.7.10 正則表達(dá)式匹配 278
10.7.11 JavaScript查詢和$where查詢 279
10.7.12 count查詢記錄條數(shù) 279
10.7.13 skip限制返回記錄的起點(diǎn) 279
10.7.14 sort排序 280
10.7.15 游標(biāo) 280
10.8 MapReduce 281
10.8.1 Map 282
10.8.2 Reduce 282
10.8.3 Result 282
10.8.4 Finalize 283
10.8.5 Options 283
10.9 索引 284
10.9.1 基礎(chǔ)索引 284
10.9.2 文檔索引 285
10.9.3 組合索引 285
10.9.4 唯一索引 285
10.9.5 強(qiáng)制使用索引 286
10.9.6 刪除索引 287
10.10 性能優(yōu)化 287
10.10.1 explain執(zhí)行計(jì)劃 287
10.10.2 優(yōu)化器Profile 288
10.10.3 性能優(yōu)化舉例 289
10.11 性能監(jiān)控 290
10.11.1 mongosniff 291
10.11.2 Mongostat 292
10.11.3 db.serverStatus 292
10.11.4 db.stats 294
10.11.5 第三方工具 294
10.12 Replica Sets復(fù)制集 294
10.12.1 部署Replica Sets 295
10.12.2 主從操作日志oplog 297
10.12.3 主從配置信息 298
10.12.4 管理維護(hù)Replica Sets 299
10.12.5 增減節(jié)點(diǎn) 301
10.13 Sharding分片 305
10.13.1 建立Sharding Cluster 306
10.13.2 管理維護(hù)Sharding 308
10.14 Replica Sets和Sharding的結(jié)合 313
10.14.1 創(chuàng)建數(shù)據(jù)目錄 314
10.14.2 配置Replica Sets 314
10.14.3 配置3臺Route Process 316
10.14.4 配置Shard Cluster 316
10.14.5 驗(yàn)證Sharding正常工作 317
第5篇 MySQL基礎(chǔ)與性能優(yōu)化
第11章 MySQL基礎(chǔ) 320
11.1 CentOS 6.5下MySQL的安裝 320
11.2 MySQL基本命令 322
11.3 MySQL數(shù)據(jù)類型 325
11.3.1 整型 325
11.3.2 浮點(diǎn)型 326
11.3.3 定點(diǎn)數(shù) 326
11.3.4 字符串（char,varchar,xxxtext） 326
11.3.5 二進(jìn)制數(shù)據(jù) 327
11.3.6 日期時間類型 327
11.3.7 數(shù)據(jù)類型的屬性 327
11.4 創(chuàng)建數(shù)據(jù)庫和表 328
11.5 檢索表中的數(shù)據(jù) 331
11.6 多個表的操作 334
第12章 MySQL高級特性與性能優(yōu)化 338
12.1 MySQL Server系統(tǒng)架構(gòu) 338
12.1.1 邏輯模塊組成 338
12.1.2 各模塊工作配合 341
12.2 存儲引擎 343
12.2.1 MySQL存儲引擎概述 343
12.2.2 MyISAM存儲引擎簡介 344
12.2.3 Innodb 存儲引擎簡介 346
12.3 MySQL中的鎖定機(jī)制 347
12.3.1 MySQL中鎖定機(jī)制概述 347
12.3.2 合理利用鎖機(jī)制優(yōu)化MySQL 349
12.4 索引與優(yōu)化 350
12.4.1 選擇索引的數(shù)據(jù)類型 351
12.4.2 索引入門 351
12.4.3 索引的類型 352
12.4.4 高性能的索引策略 353
12.4.5 索引與加鎖 358
12.5 MySQL的MyISAM和Innodb的Cache優(yōu)化 359
12.5.1 MyISAM存儲引擎的Cache優(yōu)化 359
12.5.2 Innodb緩存相關(guān)優(yōu)化 362
12.6 MySQL的復(fù)制 364
12.6.1 復(fù)制對于可擴(kuò)展性的意義 364
12.6.2 復(fù)制的原理 365
12.6.3 體驗(yàn)MySQL復(fù)制 366
12.6.4 復(fù)制的常用拓?fù)浣Y(jié)構(gòu) 370
12.7 可擴(kuò)展性設(shè)計(jì)之?dāng)?shù)據(jù)切分 375
12.7.1 何謂數(shù)據(jù)切分 375
12.7.2 數(shù)據(jù)的垂直切分 375
12.7.3 數(shù)據(jù)的水平切分 377
12.7.4 垂直與水平聯(lián)合切分的使用 379
12.7.5 數(shù)據(jù)切分及整合方案 381
12.7.6 數(shù)據(jù)切分與整合中可能存在的問題 386
12.8 小結(jié)