數(shù)據(jù)架構(gòu)：大數(shù)據(jù)、數(shù)據(jù)倉庫以及Data Vault

目錄
第1章　企業(yè)數(shù)據(jù) 1
1．1　企業(yè)數(shù)據(jù)　1
1．1．1　企業(yè)的全體數(shù)據(jù)　1
1．1．2　非結(jié)構(gòu)化數(shù)據(jù)的劃分　2
1．1．3　業(yè)務(wù)相關(guān)性　3
1．1．4　大數(shù)據(jù)　3
1．1．5　分界線　4
1．1．6　大陸分水嶺　5
1．1．7　企業(yè)數(shù)據(jù)全貌　6
1．2　數(shù)據(jù)基礎(chǔ)設(shè)施　6
1．2．1　重復(fù)型數(shù)據(jù)的兩種類型　7
1．2．2　重復(fù)型結(jié)構(gòu)化數(shù)據(jù)　7
1．2．3　重復(fù)型大數(shù)據(jù)　8
1．2．4　兩種基礎(chǔ)設(shè)施　9
1．2．5　優(yōu)化了什么　10
1．2．6　對比兩種基礎(chǔ)設(shè)施　11
1．3　分界線　12
1．3．1　企業(yè)數(shù)據(jù)分類　12
1．3．2　分界線　12
1．3．3　重復(fù)型非結(jié)構(gòu)化數(shù)據(jù)　13
1．3．4　非重復(fù)型非結(jié)構(gòu)化數(shù)據(jù)　15
1．3．5　不同的領(lǐng)域　17
1．4　企業(yè)數(shù)據(jù)統(tǒng)計圖　17
1．5　企業(yè)數(shù)據(jù)分析　22
1．6　數(shù)據(jù)的生命周期——隨時間推移理解數(shù)據(jù)　27
1．7　數(shù)據(jù)簡史　31
1．7．1　紙帶和穿孔卡片　31
1．7．2　磁帶　32
1．7．3　磁盤存儲器　32
1．7．4　數(shù)據(jù)庫管理系統(tǒng)　32
1．7．5　耦合處理器　33
1．7．6　在線事務(wù)處理　33
1．7．7　數(shù)據(jù)倉庫　34
1．7．8　并行數(shù)據(jù)管理　34
1．7．9　Data Vault　35
1．7．10　大數(shù)據(jù)　35
1．7．11　分界線　35
第2章　大數(shù)據(jù)　37
2．1　大數(shù)據(jù)簡史　37
2．1．1　打個比方——占領(lǐng)制高點　37
2．1．2　占領(lǐng)制高點　38
2．1．3　IBM360帶來的標(biāo)準(zhǔn)化　38
2．1．4　在線事務(wù)處理　39
2．1．5　Teradata的出現(xiàn)和大規(guī)模并行處理　39
2．1．6　隨后到來的Hadoop和大數(shù)據(jù)　39
2．1．7　IBM和Hadoop　39
2．1．8　控制制高點　40
2．2　大數(shù)據(jù)是什么　40
2．2．1　另一種定義　40
2．2．2　大數(shù)據(jù)量　40
2．2．3　廉價存儲器　41
2．2．4　羅馬人口統(tǒng)計方法　41
2．2．5　非結(jié)構(gòu)化數(shù)據(jù)　42
2．2．6　大數(shù)據(jù)中的數(shù)據(jù)　42
2．2．7　重復(fù)型數(shù)據(jù)中的語境　43
2．2．8　非重復(fù)型數(shù)據(jù)　44
2．2．9　非重復(fù)型數(shù)據(jù)中的語境　44
2．3　并行處理　45
2．4　非結(jié)構(gòu)化數(shù)據(jù)　50
2．4．1　隨處可見的文本信息　50
2．4．2　基于結(jié)構(gòu)化數(shù)據(jù)的決策　51
2．4．3　業(yè)務(wù)價值定位　51
2．4．4　重復(fù)型和非重復(fù)型的非結(jié)構(gòu)化信息　52
2．4．5　易于分析　53
2．4．6　語境化　54
2．4．7　一些語境化方法　55
2．4．8　MapReduce　56
2．4．9　手工分析　56
2．5　重復(fù)型非結(jié)構(gòu)化數(shù)據(jù)的語境化　57
2．5．1　解析重復(fù)型非結(jié)構(gòu)化數(shù)據(jù)　57
2．5．2　重組輸出數(shù)據(jù)　58
2．6　文本消歧　58
2．6．1　從敘事到分析數(shù)據(jù)庫　58
2．6．2　文本消歧的輸入　59
2．6．3　映射　60
2．6．4　輸入/輸出　61
2．6．5　文檔分片/指定值處理　61
2．6．6　文檔預(yù)處理　62
2．6．7　電子郵件——一個特例　62
2．6．8　電子表格　63
2．6．9　報表反編譯　63
2．7　分類法　65
2．7．1　數(shù)據(jù)模型和分類法　65
2．7．2　分類法的適用性　66
2．7．3　分類法是什么　66
2．7．4　多語言分類法　68
2．7．5　分類法與文本消歧的動態(tài)　68
2．7．6　分類法和文本消歧——不同的技術(shù)　69
2．7．7　分類法的不同類型　70
2．7．8　分類法——隨時間推移不斷維護(hù)　70
第3章　數(shù)據(jù)倉庫　71
3．1　數(shù)據(jù)倉庫簡史　71
3．1．1　早期的應(yīng)用程序　71
3．1．2　在線應(yīng)用程序　71
3．1．3　抽取程序　72
3．1．4　4GL技術(shù)　73
3．1．5　個人電腦　73
3．1．6　電子表格　74
3．1．7　數(shù)據(jù)完整性　75
3．1．8　蛛網(wǎng)系統(tǒng)　76
3．1．9　維護(hù)積壓　77
3．1．10　數(shù)據(jù)倉庫　78
3．1．11　走向架構(gòu)式環(huán)境　78
3．1．12　走向企業(yè)信息工廠　78
3．1．13　DW 2．0　79
3．2　集成的企業(yè)數(shù)據(jù)　81
3．2．1　數(shù)量眾多的應(yīng)用程序　81
3．2．2　放眼企業(yè)　82
3．2．3　多個分析師　83
3．2．4　ETL技術(shù)　84
3．2．5　集成的挑戰(zhàn)　86
3．2．6　數(shù)據(jù)倉庫的效益　86
3．2．7　粒度的視角　87
3．3　歷史數(shù)據(jù)　89
3．4　數(shù)據(jù)集市　92
3．4．1　顆?；臄?shù)據(jù)　92
3．4．2　關(guān)系數(shù)據(jù)庫設(shè)計　93
3．4．3　數(shù)據(jù)集市　93
3．4．4　關(guān)鍵性能指標(biāo)　94
3．4．5　維度模型　94
3．4．6　數(shù)據(jù)倉庫和數(shù)據(jù)集市的整合　95
3．5　作業(yè)數(shù)據(jù)存儲　96
3．5．1　集成數(shù)據(jù)的在線事務(wù)處理　96
3．5．2　作業(yè)數(shù)據(jù)存儲　97
3．5．3　ODS和數(shù)據(jù)倉庫　98
3．5．4　ODS分類　99
3．5．5　將外部數(shù)據(jù)更新到ODS　99
3．5．6　ODS/數(shù)據(jù)倉庫接口　100
3．6　對數(shù)據(jù)倉庫的誤解　101
3．6．1　一種簡單的數(shù)據(jù)倉庫架構(gòu)　101
3．6．2　在數(shù)據(jù)倉庫中進(jìn)行在線高性能事務(wù)處理　101
3．6．3　數(shù)據(jù)完整性　102
3．6．4　數(shù)據(jù)倉庫工作負(fù)載　102
3．6．5　來自數(shù)據(jù)倉庫的統(tǒng)計處理　103
3．6．6　統(tǒng)計處理的頻率　104
3．6．7　探查倉庫　104
第4章　Data Vault　106
4．1　Data Vault簡介　106
4．1．1　Data Vault 2．0建模　107
4．1．2　Data Vault 2．0方法論定義　107
4．1．3　Data Vault 2．0架構(gòu)　107
4．1．4　Data Vault 2．0實施　108
4．1．5　Data Vault 2．0商業(yè)效益　108
4．1．6　Data Vault 1．0　109
4．2　Data Vault建模介紹　110
4．2．1　Data Vault模型概念　110
4．2．2　Data Vault模型定義　110
4．2．3　Data Vault模型組件　111
4．2．4　Data Vault和數(shù)據(jù)倉庫　112
4．2．5　轉(zhuǎn)換到Data Vault建?！?12
4．2．6　數(shù)據(jù)重構(gòu)　113
4．2．7　Data Vault建模的基本規(guī)則　114
4．2．8　為什么需要多對多鏈接結(jié)構(gòu)　114
4．2．9　散列鍵代替順序號　115
4．3　Data Vault架構(gòu)介紹　116
4．3．1　Data Vault 2．0架構(gòu)　116
4．3．2　如何將NoSQL適用于本架構(gòu)　117
4．3．3　Data Vault 2．0架構(gòu)的目標(biāo)　117
4．3．4　Data Vault 2．0建模的目標(biāo)　118
4．3．5　軟硬業(yè)務(wù)規(guī)則　118
4．3．6　托管式SSBI與DV2架構(gòu)　119
4．4　Data Vault方法論介紹　120
4．4．1　Data Vault 2．0方法論概述　120
4．4．2　CMMI和Data Vault 2．0方法論　120
4．4．3　CMMI與敏捷性的對比　122
4．4．4　項目管理實踐和SDLC與CMMI和敏捷的對比　123
4．4．5　六西格瑪和Data Vault 2．0方法論　123
4．4．6　全質(zhì)量管理　124
4．5　Data Vault實施介紹　125
4．5．1　實施概述　125
4．5．2　模式的重要性　126
4．5．3　再造工程和大數(shù)據(jù)　127
4．5．4　虛擬化我們的數(shù)據(jù)集市　128
4．5．5　托管式自助服務(wù)BI　128
第5章　作業(yè)環(huán)境　130
5．1　作業(yè)環(huán)境——簡史　130
5．1．1　計算機的商業(yè)應(yīng)用　130
5．1．2　最初的應(yīng)用程序　131
5．1．3　Ed Yourdon和結(jié)構(gòu)化革命　132
5．1．4　系統(tǒng)開發(fā)生命周期　132
5．1．5　磁盤技術(shù)　132
5．1．6　進(jìn)入數(shù)據(jù)庫管理系統(tǒng)時代　133
5．1．7　響應(yīng)時間和可用性　133
5．1．8　現(xiàn)代企業(yè)計算　136
5．2　標(biāo)準(zhǔn)工作單元　136
5．2．1　響應(yīng)時間要素　136
5．2．2　沙漏的比喻　137
5．2．3　車道的比喻　138
5．2．4　你的車跑得跟前面的車一樣快　139
5．2．5　標(biāo)準(zhǔn)工作單元　139
5．2．6　服務(wù)等級協(xié)議　139
5．3　面向結(jié)構(gòu)化環(huán)境的數(shù)據(jù)建模　140
5．3．1　路線圖的作用　140
5．3．2　只要粒度化的數(shù)據(jù)　140
5．3．3　實體關(guān)系圖　141
5．3．4　數(shù)據(jù)項集　142
5．3．5　物理數(shù)據(jù)庫設(shè)計　143
5．3．6　關(guān)聯(lián)數(shù)據(jù)模型的不同層次　143
5．3．7　數(shù)據(jù)聯(lián)動的示例　144
5．3．8　通用數(shù)據(jù)模型　146
5．3．9　作業(yè)數(shù)據(jù)模型和數(shù)據(jù)倉庫數(shù)據(jù)模型　146
5．4　元數(shù)據(jù)　146
5．4．1　典型元數(shù)據(jù)　146
5．4．2　存儲庫　147
5．4．3　使用元數(shù)據(jù)　148
5．4．4　元數(shù)據(jù)用于分析　149
5．4．5　查看多個系統(tǒng)　150
5．4．6　數(shù)據(jù)譜系　150
5．4．7　比較已有系統(tǒng)和待建系統(tǒng)　150
5．5　結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)治理　151
5．5．1　企業(yè)活動　151
5．5．2　數(shù)據(jù)治理的動機　152
5．5．3　修復(fù)數(shù)據(jù)　152
5．5．4　粒度化的詳細(xì)數(shù)據(jù)　153
5．5．5　編制文檔　153
5．5．6　數(shù)據(jù)主管崗位　154
第6章　數(shù)據(jù)架構(gòu)　156
6．1　數(shù)據(jù)架構(gòu)簡史　156
6．2　大數(shù)據(jù)/已有系統(tǒng)的接口　166
6．2．1　大數(shù)據(jù)/已有系統(tǒng)的接口　166
6．2．2　重復(fù)型原始大數(shù)據(jù)/已有系統(tǒng)接口　167
6．2．3　基于異常的數(shù)據(jù)　168
6．2．4　非重復(fù)型原始大數(shù)據(jù)/已有系統(tǒng)接口　169
6．2．5　進(jìn)入已有系統(tǒng)環(huán)境　170
6．2．6　“語境豐富”的大數(shù)據(jù)環(huán)境　171
6．2．7　將結(jié)構(gòu)化數(shù)據(jù)/非結(jié)構(gòu)化數(shù)據(jù)放在一起分析　172
6．3　數(shù)據(jù)倉庫/作業(yè)環(huán)境接口　172
6．3．1　作業(yè)環(huán)境/數(shù)據(jù)倉庫接口　172
6．3．2　經(jīng)典的ETL接口　173
6．3．3　作業(yè)數(shù)據(jù)存儲/ETL接口　173
6．3．4　集結(jié)區(qū)　174
6．3．5　變化數(shù)據(jù)的捕獲　175
6．3．6　內(nèi)聯(lián)轉(zhuǎn)換　175
6．3．7　ELT處理　176
6．4　數(shù)據(jù)架構(gòu)——一種高層視角　177
6．4．1　一種高層視角　177
6．4．2　冗余　177
6．4．3　記錄系統(tǒng)　178
6．4．4　不同的群體　180
第7章　重復(fù)型分析　181
7．1　重復(fù)型分析——必備基礎(chǔ)　181
7．1．1　不同種類的分析　181
7．1．2　尋找模式　182
7．1．3　啟發(fā)式處理　183
7．1．4　沙箱　186
7．1．5　標(biāo)準(zhǔn)概況　187
7．1．6　提煉、篩選　188
7．1．7　建立數(shù)據(jù)子集　188
7．1．8　篩選數(shù)據(jù)　190
7．1．9　重復(fù)型數(shù)據(jù)和語境　192
7．1．10　鏈接重復(fù)型記錄　193
7．1．11　日志磁帶記錄　193
7．1．12　分析數(shù)據(jù)點　194
7．1．13　按時間的推移研究數(shù)據(jù)　195
7．2　分析重復(fù)型數(shù)據(jù)　196
7．2．1　日志數(shù)據(jù)　198
7．2．2　數(shù)據(jù)的主動/被動式索引　199
7．2．3　匯總/詳細(xì)數(shù)據(jù)　200
7．2．4　大數(shù)據(jù)中的元數(shù)據(jù)　202
7．2．5　相互關(guān)聯(lián)的數(shù)據(jù)　203
7．3　重復(fù)型分析　204
7．3．1　內(nèi)部、外部數(shù)據(jù)　204
7．3．2　通用標(biāo)識符　205
7．3．3　安全性　205
7．3．4　篩選、提煉　207
7．3．5　歸檔結(jié)果　208
7．3．6　指標(biāo)　210
第8章　非重復(fù)型分析　211
8．1　非重復(fù)型數(shù)據(jù)　211
8．1．1　內(nèi)聯(lián)語境化　213
8．1．2　分類法/本體處理　214
8．1．3　自定義變量　215
8．1．4　同形異義消解　216
8．1．5　縮略語消解　217
8．1．6　否定分析　218
8．1．7　數(shù)字標(biāo)注　219
8．1．8　日期標(biāo)注　220
8．1．9　日期標(biāo)準(zhǔn)化　220
8．1．10　列表的處理　220
8．1．11　聯(lián)想式詞處理　221
8．1．12　停用詞處理　222
8．1．13　提取單詞詞根　222
8．1．14　文檔元數(shù)據(jù)　223
8．1．15　文檔分類　223
8．1．16　相近度分析　224
8．1．17　文本ETL中功能的先后順序　225
8．1．18　內(nèi)部參照完整性　225
8．1．19　預(yù)處理、后處理　226
8．2　映射　227
8．3　分析非重復(fù)型數(shù)據(jù)　229
8．3．1　呼叫中心信息　229
8．3．2　醫(yī)療記錄　237
第9章　作業(yè)分析1　242
第10章　作業(yè)分析2　249
第11章　個人分析　259
第12章　復(fù)合式的數(shù)據(jù)架構(gòu)　264
詞匯表　268