多根層次數(shù)據(jù)分布模型：論大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理

前言 第1章 導(dǎo)論 1 1.1 數(shù)據(jù)管理面臨著一場(chǎng)科學(xué)革命 1 1.2 社會(huì)數(shù)據(jù)管理 3 1.3 數(shù)據(jù)分布模型 7 1.4 本書(shū)的組織結(jié)構(gòu) 9 第一篇 大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理 第2章 數(shù)據(jù)管理的現(xiàn)狀 13 2.1 云計(jì)算及云數(shù)據(jù)管理 13 2.2 大數(shù)據(jù)簡(jiǎn)介 16 2.3 大數(shù)據(jù)的社會(huì)影響 18 2.4 大數(shù)據(jù)的困境及思考 20 第3章 數(shù)據(jù)在DIKW體系中的地位 23 3.1 信息 23 3.2 數(shù)據(jù) 24 3.3 信息與數(shù)據(jù)的關(guān)系 26 3.3.1 誰(shuí)是第一性 26 3.3.2 在認(rèn)識(shí)論中把握信息與數(shù)據(jù) 27 3.3.3 信息第一性的意義 30 3.4 知識(shí) 31 3.5 智慧 32 3.6 轉(zhuǎn)識(shí)成智 35 3.7 認(rèn)識(shí)數(shù)據(jù)、信息、知識(shí)、智慧、道德關(guān)系的意義 37 第4章 以教據(jù)為中心組織計(jì)算 40 4.1 不同類(lèi)型數(shù)據(jù)的關(guān)系 40 4.1.1 數(shù)據(jù)質(zhì)量 40 4.1.2 結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù) 40 4.1.3 三類(lèi)數(shù)據(jù)的層次關(guān)系 41 4.2 Hadoop與大數(shù)據(jù)處理 43 4.3 Hadoop與數(shù)據(jù)管理 44 4.4 以數(shù)據(jù)為中心的必然性 46 第5章 數(shù)據(jù)管理的新范式 49 5.1 數(shù)據(jù)管理的科學(xué)革命 49 5.2 數(shù)據(jù)管理的范式轉(zhuǎn)變 53 5.2.1 庫(kù)恩范式與格雷范式 53 5.2.2 數(shù)據(jù)管理新范式——系統(tǒng)科學(xué)范式 55 5.2.3 開(kāi)放的復(fù)雜巨系統(tǒng) 58 5.2.4 數(shù)據(jù)管理的再認(rèn)識(shí) 60 5.3 數(shù)據(jù)管理技術(shù)的調(diào)整與變更 62 5.3.1 本地封閉世界假設(shè) 63 5.3.2 數(shù)據(jù)的最終一致性 64 5.3.3 CAP與BASE 66 5.3.4 事務(wù) 67 5.4 系統(tǒng)科學(xué)范式下的數(shù)據(jù)組織與控制 73 5.4.1 數(shù)據(jù)的組織結(jié)構(gòu)與數(shù)據(jù)模型 73 5.4.2 多根樹(shù) 74 5.4.3 基于多根樹(shù)的數(shù)據(jù)組織 75 5.4.4 基于多根樹(shù)的數(shù)據(jù)控制 77 第二篇 數(shù)據(jù)模型與數(shù)據(jù)分布模型 第6章 大數(shù)據(jù)時(shí)代的數(shù)據(jù)模型 85 6.1 常用的數(shù)據(jù)模型 85 6.1.1 層次模型 85 6.1.2 網(wǎng)狀模型 86 6.1.3 關(guān)系模型 86 6.1.4 半結(jié)構(gòu)化數(shù)據(jù)模型與XML 87 6.1.5 面向?qū)ο蟮臄?shù)據(jù)模型 88 6.2 典型應(yīng)用 89 6.2.1 數(shù)據(jù)倉(cāng)庫(kù) 89 6.2.2 DNS數(shù)據(jù)庫(kù) 89 6.2.3 幾個(gè)大規(guī)模數(shù)據(jù)存儲(chǔ)管理系統(tǒng) 91 6.2.4 key value存儲(chǔ) 95 6.2.5 大數(shù)據(jù)數(shù)據(jù)模型 100 6.3 ER模型及其表達(dá)能力 101 6.4 影響數(shù)據(jù)模型選擇的因素 103 第7章 數(shù)據(jù)分布 106 7.1 數(shù)據(jù)分布的單位 106 7.1.1 數(shù)據(jù)分布以文件為單位 106 7.1.2 數(shù)據(jù)分布以片段為單位 106 7.1.3 數(shù)據(jù)分布以key-value對(duì)為單位 107 7.2 數(shù)據(jù)分布面臨的挑戰(zhàn) 107 7.3 依賴(lài)于數(shù)據(jù)分布的管理方面 110 7.3.1 查詢(xún)處理 110 7.3.2 數(shù)據(jù)一致性、事務(wù)的實(shí)現(xiàn) 111 7.3.3 安全訪(fǎng)問(wèn)控制 111 7.3.4 擴(kuò)展性 111 7.3.5 并行處理 112 7.3.6 可用性 112 7.3.7 其他 112 第8章 數(shù)據(jù)分布模型 113 8.1 沒(méi)有數(shù)據(jù)分布模型的困難 113 8.1.1 系統(tǒng)通用性變差 113 8.1.2 應(yīng)用系統(tǒng)開(kāi)發(fā)效率低下 114 8.1.3 跨系統(tǒng)管理困難 114 8.1.4 系統(tǒng)進(jìn)化困難 115 8.1.5 大數(shù)據(jù)管理系統(tǒng)難以落地 116 8.2 構(gòu)建數(shù)據(jù)分布模型的可能性 116 8.2.1 數(shù)據(jù)分布模型特點(diǎn) 116 8.2.2 ER模型是數(shù)據(jù)模型的概念基礎(chǔ) ll7 8.2.3 現(xiàn)實(shí)世界是分布式存在、層次管理的 ll8 8.2.4 復(fù)雜信息管理系統(tǒng)的核心與基礎(chǔ) 119 8.2.5 社會(huì)發(fā)展的必然結(jié)果 120 8.3 數(shù)據(jù)分布模型要考慮的因素 121 8.3.1 性能 121 8.3.2 多種因素的平衡 122 8.3.3 數(shù)據(jù)的語(yǔ)義 124 8.3.4 系統(tǒng)學(xué)的基本原理 125 8.3.5 可變性 127 8.3.6 簡(jiǎn)單性 128 8.3.7 定性與定量的統(tǒng)一 129 第三篇 多根層次數(shù)據(jù)分布模型MHM 第9章 MHM的提出 133 9.1 基于多根樹(shù)的MHM 133 9.2 從圖到多根樹(shù) l35 9.2.1 數(shù)據(jù)圖中的菱形與回路 135 9.2.2 模式圖與數(shù)據(jù)圖之間的關(guān)系 l36 9.2.3 將數(shù)據(jù)圖近似成多根樹(shù) 137 9.3 祖先完整性與控制完整性 l38 9.3.1 祖先完整性 138 9.3.2 控制完整性 138 9.3.3 祖先完整性與控制完整性的現(xiàn)實(shí)意義 140 9.4 多根樹(shù)的操作及現(xiàn)實(shí)意義 141 9.4.1 并 141 9.4.2 差 143 9.4.3 交 144 9.4.4 縮窄 144 9.4.5 融合 147 9.4.6 提取 148 9.4.7 基線(xiàn) 150 第10章 MHM與數(shù)據(jù)分布 154 10.1 MHM作為數(shù)據(jù)分布模型 l54 10.1.1 控制節(jié)點(diǎn)選取的原則 154 10.1.2 與其他數(shù)據(jù)模型的區(qū)別 l55 10.2 基于MHM的數(shù)據(jù)分布例子 156 10.3 基于非關(guān)系數(shù)據(jù)模型的MHM l59 10.3.1 基于XML的MHM 159 10.3.2 基于層次數(shù)據(jù)模型的MHM 159 10.3.3 基于網(wǎng)狀數(shù)據(jù)模型的MHM 159 10.3.4 基于key value的MHM 160 第11章 MHM與系統(tǒng)科學(xué)范式 161 11.1 MHM與系統(tǒng)科學(xué)原理 161 11.1.1 MHM的整體性 161 11.1.2 MHM的層次性 162 11.1.3 MHM的開(kāi)放性 163 11.1.4 MHM的目的性 163 11.1.5 MHM的突變性 164 11.1.6 MHM的穩(wěn)定性 l65 11.1.7 MHM的自組織性 165 11.1.8 MHM的相似性 l65 11.2 MHM與系統(tǒng)論規(guī)律 166 11.2.1 MHM與結(jié)構(gòu)功能相關(guān)律 l66 11.2.2 MHM與信息反饋律 166 11.2.3 MHM與競(jìng)爭(zhēng)協(xié)同律 167 11.2.4 MHM與漲落有序律 167 11.2.5 MHM與優(yōu)化演化律 167 第四篇 基于MHM的數(shù)據(jù)管理 第12章 基于MHM的數(shù)據(jù)一致性 171 12.1 數(shù)據(jù)一致性與數(shù)據(jù)溯源 171 12.2 物理時(shí)間戳與邏輯時(shí)間戳 174 12.3 基于模糊物理時(shí)間戳的多版本 175 12.4 引用數(shù)據(jù)的復(fù)制 177 12.4.1 引用數(shù)據(jù)的異步復(fù)制 177 12.4.2 引用數(shù)據(jù)復(fù)制與完整性約束 178 12.4.3 幾點(diǎn)說(shuō)明 l79 第13章 基于MHM的事務(wù)處理 182 13.1 基于本地封閉式世界假設(shè)的事務(wù)模型 l82 13.2 數(shù)據(jù)最終一致性對(duì)事務(wù)的支持 184 13.3 基于MHM的事務(wù)的隔離性級(jí)別 l87 13.4 不一致性與隔離性級(jí)別 189 13.5 事務(wù)提交與撤銷(xiāo) 190 第14章 MHM可用性 192 14.1 跨層訪(fǎng)問(wèn) 192 14.2 多根樹(shù)復(fù)制 193 14.2.1 多根樹(shù)復(fù)制 193 14.2.2 多根樹(shù)緩存 194 14.3 副本更新 195 第15章 基于MHM的訪(fǎng)問(wèn)控制 197 15.1 大規(guī)模分布式系統(tǒng)的訪(fǎng)問(wèn)控制 197 15.2 用戶(hù)＆區(qū)域 198 15.3 基于數(shù)據(jù)域的訪(fǎng)問(wèn)控制模型 201 15.4 基于MHM訪(fǎng)問(wèn)控制示例 202 15.4.1 在TPGC中應(yīng)用 202 15.4.2 —個(gè)實(shí)際項(xiàng)目中的應(yīng)用 204 第16章 MHM擴(kuò)展性 206 16.1 擴(kuò)展性與性能 206 16.2 擴(kuò)展性與效率 209 16.3 MHM的擴(kuò)展性 210 16.3.1 擴(kuò)展的實(shí)現(xiàn) 210 16.3.2 基于MHM的TPC C擴(kuò)展性 212 第17章 MHM的性能實(shí)驗(yàn)及適用范圍 214 17.1 TPC C應(yīng)用例子 214 17.1.1 基于MHM的性能實(shí)驗(yàn)環(huán)境 214 17.1.2 TPGC實(shí)驗(yàn)結(jié)果 216 17.1.3 實(shí)驗(yàn)結(jié)果分析 218 17.2 MHM適用范圍 218 17.2.1 數(shù)據(jù)倉(cāng)庫(kù) 218 17.2.2 電商數(shù)據(jù)庫(kù) 220 17.2.3 社交網(wǎng)絡(luò)數(shù)據(jù)庫(kù) 22l 17.2.4 無(wú)線(xiàn)傳感器網(wǎng)絡(luò)數(shù)據(jù)庫(kù) 223 17.2.5 移動(dòng)數(shù)據(jù)庫(kù) 224 17.2.6 GIS數(shù)據(jù)庫(kù) 225 參考文獻(xiàn) 226 插圖目錄 圖4.1 數(shù)據(jù)金字塔 42 圖5.1 數(shù)據(jù)系統(tǒng)示例 64 圖5.2 多根樹(shù)例子 74 圖5.3 買(mǎi)家賣(mài)家模式圖 76 圖5.4 單根控制 78 圖5.5 多根獨(dú)立控制 79 圖5.6 買(mǎi)家多根主輔控制 80 圖5.7 賣(mài)家多根主輔控制 80 圖5.8 聯(lián)合控制 81 圖6.1 ER圖中的時(shí)間 103 圖9.1 子結(jié)構(gòu)特征 135 圖9.2 Empi是個(gè)孤立點(diǎn) 139 圖9.3 多根樹(shù)：并、交、差 142 圖9.4 縮窄 146 圖9.5 融合 147 圖9.6 多根樹(shù)提取 149 圖9.7 基線(xiàn) 152 圖10.1 TPGC模式 157 圖10.2 服務(wù)器間架構(gòu) 157 圖12.1 模糊時(shí)間戳 177 圖13.1 模糊時(shí)間戳與事務(wù)一致性 186 圖14.1 跨層訪(fǎng)問(wèn) 192 圖14.2 透明訪(fǎng)問(wèn) 193 圖15.1 服務(wù)器&區(qū)域 199 圖15.2 TPC C架構(gòu)例子 203 圖15.3 權(quán)限管理實(shí)例 205 圖16.1 TPGC擴(kuò)展 213 圖17.1 性能實(shí)驗(yàn)環(huán)境 215 圖17.2 最大的TPM 217 圖17.3 24節(jié)點(diǎn)不同并行活動(dòng)的TPM 217 表格目錄 表13.1 隔離性級(jí)別 190 表15.1 各區(qū)域中的用戶(hù) 204