數(shù)據(jù)架構(gòu)：大數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)以及Data Vault

目錄
第1章　企業(yè)數(shù)據(jù) 1
1．1　企業(yè)數(shù)據(jù)　1
1．1．1　企業(yè)的全體數(shù)據(jù)　1
1．1．2　非結(jié)構(gòu)化數(shù)據(jù)的劃分　2
1．1．3　業(yè)務(wù)相關(guān)性　3
1．1．4　大數(shù)據(jù)　3
1．1．5　分界線　4
1．1．6　大陸分水嶺　5
1．1．7　企業(yè)數(shù)據(jù)全貌　6
1．2　數(shù)據(jù)基礎(chǔ)設(shè)施　6
1．2．1　重復(fù)型數(shù)據(jù)的兩種類型　7
1．2．2　重復(fù)型結(jié)構(gòu)化數(shù)據(jù)　7
1．2．3　重復(fù)型大數(shù)據(jù)　8
1．2．4　兩種基礎(chǔ)設(shè)施　9
1．2．5　優(yōu)化了什么　10
1．2．6　對(duì)比兩種基礎(chǔ)設(shè)施　11
1．3　分界線　12
1．3．1　企業(yè)數(shù)據(jù)分類　12
1．3．2　分界線　12
1．3．3　重復(fù)型非結(jié)構(gòu)化數(shù)據(jù)　13
1．3．4　非重復(fù)型非結(jié)構(gòu)化數(shù)據(jù)　15
1．3．5　不同的領(lǐng)域　17
1．4　企業(yè)數(shù)據(jù)統(tǒng)計(jì)圖　17
1．5　企業(yè)數(shù)據(jù)分析　22
1．6　數(shù)據(jù)的生命周期——隨時(shí)間推移理解數(shù)據(jù)　27
1．7　數(shù)據(jù)簡(jiǎn)史　31
1．7．1　紙帶和穿孔卡片　31
1．7．2　磁帶　32
1．7．3　磁盤存儲(chǔ)器　32
1．7．4　數(shù)據(jù)庫(kù)管理系統(tǒng)　32
1．7．5　耦合處理器　33
1．7．6　在線事務(wù)處理　33
1．7．7　數(shù)據(jù)倉(cāng)庫(kù)　34
1．7．8　并行數(shù)據(jù)管理　34
1．7．9　Data Vault　35
1．7．10　大數(shù)據(jù)　35
1．7．11　分界線　35
第2章　大數(shù)據(jù)　37
2．1　大數(shù)據(jù)簡(jiǎn)史　37
2．1．1　打個(gè)比方——占領(lǐng)制高點(diǎn)　37
2．1．2　占領(lǐng)制高點(diǎn)　38
2．1．3　IBM360帶來(lái)的標(biāo)準(zhǔn)化　38
2．1．4　在線事務(wù)處理　39
2．1．5　Teradata的出現(xiàn)和大規(guī)模并行處理　39
2．1．6　隨后到來(lái)的Hadoop和大數(shù)據(jù)　39
2．1．7　IBM和Hadoop　39
2．1．8　控制制高點(diǎn)　40
2．2　大數(shù)據(jù)是什么　40
2．2．1　另一種定義　40
2．2．2　大數(shù)據(jù)量　40
2．2．3　廉價(jià)存儲(chǔ)器　41
2．2．4　羅馬人口統(tǒng)計(jì)方法　41
2．2．5　非結(jié)構(gòu)化數(shù)據(jù)　42
2．2．6　大數(shù)據(jù)中的數(shù)據(jù)　42
2．2．7　重復(fù)型數(shù)據(jù)中的語(yǔ)境　43
2．2．8　非重復(fù)型數(shù)據(jù)　44
2．2．9　非重復(fù)型數(shù)據(jù)中的語(yǔ)境　44
2．3　并行處理　45
2．4　非結(jié)構(gòu)化數(shù)據(jù)　50
2．4．1　隨處可見的文本信息　50
2．4．2　基于結(jié)構(gòu)化數(shù)據(jù)的決策　51
2．4．3　業(yè)務(wù)價(jià)值定位　51
2．4．4　重復(fù)型和非重復(fù)型的非結(jié)構(gòu)化信息　52
2．4．5　易于分析　53
2．4．6　語(yǔ)境化　54
2．4．7　一些語(yǔ)境化方法　55
2．4．8　MapReduce　56
2．4．9　手工分析　56
2．5　重復(fù)型非結(jié)構(gòu)化數(shù)據(jù)的語(yǔ)境化　57
2．5．1　解析重復(fù)型非結(jié)構(gòu)化數(shù)據(jù)　57
2．5．2　重組輸出數(shù)據(jù)　58
2．6　文本消歧　58
2．6．1　從敘事到分析數(shù)據(jù)庫(kù)　58
2．6．2　文本消歧的輸入　59
2．6．3　映射　60
2．6．4　輸入/輸出　61
2．6．5　文檔分片/指定值處理　61
2．6．6　文檔預(yù)處理　62
2．6．7　電子郵件——一個(gè)特例　62
2．6．8　電子表格　63
2．6．9　報(bào)表反編譯　63
2．7　分類法　65
2．7．1　數(shù)據(jù)模型和分類法　65
2．7．2　分類法的適用性　66
2．7．3　分類法是什么　66
2．7．4　多語(yǔ)言分類法　68
2．7．5　分類法與文本消歧的動(dòng)態(tài)　68
2．7．6　分類法和文本消歧——不同的技術(shù)　69
2．7．7　分類法的不同類型　70
2．7．8　分類法——隨時(shí)間推移不斷維護(hù)　70
第3章　數(shù)據(jù)倉(cāng)庫(kù)　71
3．1　數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)史　71
3．1．1　早期的應(yīng)用程序　71
3．1．2　在線應(yīng)用程序　71
3．1．3　抽取程序　72
3．1．4　4GL技術(shù)　73
3．1．5　個(gè)人電腦　73
3．1．6　電子表格　74
3．1．7　數(shù)據(jù)完整性　75
3．1．8　蛛網(wǎng)系統(tǒng)　76
3．1．9　維護(hù)積壓　77
3．1．10　數(shù)據(jù)倉(cāng)庫(kù)　78
3．1．11　走向架構(gòu)式環(huán)境　78
3．1．12　走向企業(yè)信息工廠　78
3．1．13　DW 2．0　79
3．2　集成的企業(yè)數(shù)據(jù)　81
3．2．1　數(shù)量眾多的應(yīng)用程序　81
3．2．2　放眼企業(yè)　82
3．2．3　多個(gè)分析師　83
3．2．4　ETL技術(shù)　84
3．2．5　集成的挑戰(zhàn)　86
3．2．6　數(shù)據(jù)倉(cāng)庫(kù)的效益　86
3．2．7　粒度的視角　87
3．3　歷史數(shù)據(jù)　89
3．4　數(shù)據(jù)集市　92
3．4．1　顆粒化的數(shù)據(jù)　92
3．4．2　關(guān)系數(shù)據(jù)庫(kù)設(shè)計(jì)　93
3．4．3　數(shù)據(jù)集市　93
3．4．4　關(guān)鍵性能指標(biāo)　94
3．4．5　維度模型　94
3．4．6　數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的整合　95
3．5　作業(yè)數(shù)據(jù)存儲(chǔ)　96
3．5．1　集成數(shù)據(jù)的在線事務(wù)處理　96
3．5．2　作業(yè)數(shù)據(jù)存儲(chǔ)　97
3．5．3　ODS和數(shù)據(jù)倉(cāng)庫(kù)　98
3．5．4　ODS分類　99
3．5．5　將外部數(shù)據(jù)更新到ODS　99
3．5．6　ODS/數(shù)據(jù)倉(cāng)庫(kù)接口　100
3．6　對(duì)數(shù)據(jù)倉(cāng)庫(kù)的誤解　101
3．6．1　一種簡(jiǎn)單的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)　101
3．6．2　在數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行在線高性能事務(wù)處理　101
3．6．3　數(shù)據(jù)完整性　102
3．6．4　數(shù)據(jù)倉(cāng)庫(kù)工作負(fù)載　102
3．6．5　來(lái)自數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)處理　103
3．6．6　統(tǒng)計(jì)處理的頻率　104
3．6．7　探查倉(cāng)庫(kù)　104
第4章　Data Vault　106
4．1　Data Vault簡(jiǎn)介　106
4．1．1　Data Vault 2．0建?！?07
4．1．2　Data Vault 2．0方法論定義　107
4．1．3　Data Vault 2．0架構(gòu)　107
4．1．4　Data Vault 2．0實(shí)施　108
4．1．5　Data Vault 2．0商業(yè)效益　108
4．1．6　Data Vault 1．0　109
4．2　Data Vault建模介紹　110
4．2．1　Data Vault模型概念　110
4．2．2　Data Vault模型定義　110
4．2．3　Data Vault模型組件　111
4．2．4　Data Vault和數(shù)據(jù)倉(cāng)庫(kù)　112
4．2．5　轉(zhuǎn)換到Data Vault建?！?12
4．2．6　數(shù)據(jù)重構(gòu)　113
4．2．7　Data Vault建模的基本規(guī)則　114
4．2．8　為什么需要多對(duì)多鏈接結(jié)構(gòu)　114
4．2．9　散列鍵代替順序號(hào)　115
4．3　Data Vault架構(gòu)介紹　116
4．3．1　Data Vault 2．0架構(gòu)　116
4．3．2　如何將NoSQL適用于本架構(gòu)　117
4．3．3　Data Vault 2．0架構(gòu)的目標(biāo)　117
4．3．4　Data Vault 2．0建模的目標(biāo)　118
4．3．5　軟硬業(yè)務(wù)規(guī)則　118
4．3．6　托管式SSBI與DV2架構(gòu)　119
4．4　Data Vault方法論介紹　120
4．4．1　Data Vault 2．0方法論概述　120
4．4．2　CMMI和Data Vault 2．0方法論　120
4．4．3　CMMI與敏捷性的對(duì)比　122
4．4．4　項(xiàng)目管理實(shí)踐和SDLC與CMMI和敏捷的對(duì)比　123
4．4．5　六西格瑪和Data Vault 2．0方法論　123
4．4．6　全質(zhì)量管理　124
4．5　Data Vault實(shí)施介紹　125
4．5．1　實(shí)施概述　125
4．5．2　模式的重要性　126
4．5．3　再造工程和大數(shù)據(jù)　127
4．5．4　虛擬化我們的數(shù)據(jù)集市　128
4．5．5　托管式自助服務(wù)BI　128
第5章　作業(yè)環(huán)境　130
5．1　作業(yè)環(huán)境——簡(jiǎn)史　130
5．1．1　計(jì)算機(jī)的商業(yè)應(yīng)用　130
5．1．2　最初的應(yīng)用程序　131
5．1．3　Ed Yourdon和結(jié)構(gòu)化革命　132
5．1．4　系統(tǒng)開發(fā)生命周期　132
5．1．5　磁盤技術(shù)　132
5．1．6　進(jìn)入數(shù)據(jù)庫(kù)管理系統(tǒng)時(shí)代　133
5．1．7　響應(yīng)時(shí)間和可用性　133
5．1．8　現(xiàn)代企業(yè)計(jì)算　136
5．2　標(biāo)準(zhǔn)工作單元　136
5．2．1　響應(yīng)時(shí)間要素　136
5．2．2　沙漏的比喻　137
5．2．3　車道的比喻　138
5．2．4　你的車跑得跟前面的車一樣快　139
5．2．5　標(biāo)準(zhǔn)工作單元　139
5．2．6　服務(wù)等級(jí)協(xié)議　139
5．3　面向結(jié)構(gòu)化環(huán)境的數(shù)據(jù)建模　140
5．3．1　路線圖的作用　140
5．3．2　只要粒度化的數(shù)據(jù)　140
5．3．3　實(shí)體關(guān)系圖　141
5．3．4　數(shù)據(jù)項(xiàng)集　142
5．3．5　物理數(shù)據(jù)庫(kù)設(shè)計(jì)　143
5．3．6　關(guān)聯(lián)數(shù)據(jù)模型的不同層次　143
5．3．7　數(shù)據(jù)聯(lián)動(dòng)的示例　144
5．3．8　通用數(shù)據(jù)模型　146
5．3．9　作業(yè)數(shù)據(jù)模型和數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型　146
5．4　元數(shù)據(jù)　146
5．4．1　典型元數(shù)據(jù)　146
5．4．2　存儲(chǔ)庫(kù)　147
5．4．3　使用元數(shù)據(jù)　148
5．4．4　元數(shù)據(jù)用于分析　149
5．4．5　查看多個(gè)系統(tǒng)　150
5．4．6　數(shù)據(jù)譜系　150
5．4．7　比較已有系統(tǒng)和待建系統(tǒng)　150
5．5　結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)治理　151
5．5．1　企業(yè)活動(dòng)　151
5．5．2　數(shù)據(jù)治理的動(dòng)機(jī)　152
5．5．3　修復(fù)數(shù)據(jù)　152
5．5．4　粒度化的詳細(xì)數(shù)據(jù)　153
5．5．5　編制文檔　153
5．5．6　數(shù)據(jù)主管崗位　154
第6章　數(shù)據(jù)架構(gòu)　156
6．1　數(shù)據(jù)架構(gòu)簡(jiǎn)史　156
6．2　大數(shù)據(jù)/已有系統(tǒng)的接口　166
6．2．1　大數(shù)據(jù)/已有系統(tǒng)的接口　166
6．2．2　重復(fù)型原始大數(shù)據(jù)/已有系統(tǒng)接口　167
6．2．3　基于異常的數(shù)據(jù)　168
6．2．4　非重復(fù)型原始大數(shù)據(jù)/已有系統(tǒng)接口　169
6．2．5　進(jìn)入已有系統(tǒng)環(huán)境　170
6．2．6　“語(yǔ)境豐富”的大數(shù)據(jù)環(huán)境　171
6．2．7　將結(jié)構(gòu)化數(shù)據(jù)/非結(jié)構(gòu)化數(shù)據(jù)放在一起分析　172
6．3　數(shù)據(jù)倉(cāng)庫(kù)/作業(yè)環(huán)境接口　172
6．3．1　作業(yè)環(huán)境/數(shù)據(jù)倉(cāng)庫(kù)接口　172
6．3．2　經(jīng)典的ETL接口　173
6．3．3　作業(yè)數(shù)據(jù)存儲(chǔ)/ETL接口　173
6．3．4　集結(jié)區(qū)　174
6．3．5　變化數(shù)據(jù)的捕獲　175
6．3．6　內(nèi)聯(lián)轉(zhuǎn)換　175
6．3．7　ELT處理　176
6．4　數(shù)據(jù)架構(gòu)——一種高層視角　177
6．4．1　一種高層視角　177
6．4．2　冗余　177
6．4．3　記錄系統(tǒng)　178
6．4．4　不同的群體　180
第7章　重復(fù)型分析　181
7．1　重復(fù)型分析——必備基礎(chǔ)　181
7．1．1　不同種類的分析　181
7．1．2　尋找模式　182
7．1．3　啟發(fā)式處理　183
7．1．4　沙箱　186
7．1．5　標(biāo)準(zhǔn)概況　187
7．1．6　提煉、篩選　188
7．1．7　建立數(shù)據(jù)子集　188
7．1．8　篩選數(shù)據(jù)　190
7．1．9　重復(fù)型數(shù)據(jù)和語(yǔ)境　192
7．1．10　鏈接重復(fù)型記錄　193
7．1．11　日志磁帶記錄　193
7．1．12　分析數(shù)據(jù)點(diǎn)　194
7．1．13　按時(shí)間的推移研究數(shù)據(jù)　195
7．2　分析重復(fù)型數(shù)據(jù)　196
7．2．1　日志數(shù)據(jù)　198
7．2．2　數(shù)據(jù)的主動(dòng)/被動(dòng)式索引　199
7．2．3　匯總/詳細(xì)數(shù)據(jù)　200
7．2．4　大數(shù)據(jù)中的元數(shù)據(jù)　202
7．2．5　相互關(guān)聯(lián)的數(shù)據(jù)　203
7．3　重復(fù)型分析　204
7．3．1　內(nèi)部、外部數(shù)據(jù)　204
7．3．2　通用標(biāo)識(shí)符　205
7．3．3　安全性　205
7．3．4　篩選、提煉　207
7．3．5　歸檔結(jié)果　208
7．3．6　指標(biāo)　210
第8章　非重復(fù)型分析　211
8．1　非重復(fù)型數(shù)據(jù)　211
8．1．1　內(nèi)聯(lián)語(yǔ)境化　213
8．1．2　分類法/本體處理　214
8．1．3　自定義變量　215
8．1．4　同形異義消解　216
8．1．5　縮略語(yǔ)消解　217
8．1．6　否定分析　218
8．1．7　數(shù)字標(biāo)注　219
8．1．8　日期標(biāo)注　220
8．1．9　日期標(biāo)準(zhǔn)化　220
8．1．10　列表的處理　220
8．1．11　聯(lián)想式詞處理　221
8．1．12　停用詞處理　222
8．1．13　提取單詞詞根　222
8．1．14　文檔元數(shù)據(jù)　223
8．1．15　文檔分類　223
8．1．16　相近度分析　224
8．1．17　文本ETL中功能的先后順序　225
8．1．18　內(nèi)部參照完整性　225
8．1．19　預(yù)處理、后處理　226
8．2　映射　227
8．3　分析非重復(fù)型數(shù)據(jù)　229
8．3．1　呼叫中心信息　229
8．3．2　醫(yī)療記錄　237
第9章　作業(yè)分析1　242
第10章　作業(yè)分析2　249
第11章　個(gè)人分析　259
第12章　復(fù)合式的數(shù)據(jù)架構(gòu)　264
詞匯表　268