維度建模權威指南：數據倉庫工具箱（第3版）

目    錄   第1章  數據倉庫、商業(yè)智能及維度建模初步          1 1.1  數據獲取與數據分析的區(qū)別        1 1.2  數據倉庫與商業(yè)智能的目標        2 1.3  維度建模簡介        5 1.3.1  星型模式與OLAP多維數據庫  6 1.3.2  用于度量的事實表    7 1.3.3  用于描述環(huán)境的維度表    9 1.3.4  星型模式中維度與事實的連接         11 1.4    Kimball的DW/BI架構       14 1.4.1  操作型源系統    14 1.4.2  獲取-轉換-加載(ETL)系統  14 1.4.3  用于支持商業(yè)智能決策的展現區(qū)    16 1.4.4  商業(yè)智能應用    17 1.4.5  以餐廳為例描述Kimball架構   17 1.5  其他DW/BI架構   19 1.5.1  獨立數據集市架構    19 1.5.2  輻射狀企業(yè)信息工廠Inmon架構    20 1.5.3  混合輻射狀架構與Kimball架構       22 1.6  維度建模神話        22 1.6.1  神話1：維度模型僅包含匯總數據 23 1.6.2  神話2：維度模型是部門級而不是企業(yè)級的 23 1.6.3  神話3：維度模型是不可擴展的      23 1.6.4  神話4：維度模型僅用于預測 23 1.6.5  神話5：維度模型不能被集成 24 1.7  考慮使用維度模型的更多理由   24 1.8  本章小結        25 第2章  Kimball維度建模技術概述    27 2.1  基本概念        27 2.1.1  收集業(yè)務需求與數據實現         27 2.1.2  協作維度建模研討    27 2.1.3  4步驟維度設計過程 28 2.1.4  業(yè)務過程    28 2.1.5  粒度    28 2.1.6  描述環(huán)境的維度         28 2.1.7  用于度量的事實         29 2.1.8  星型模式與OLAP多維數據庫  29 2.1.9  方便地擴展到維度模型    29 2.2  事實表技術基礎   29 2.2.1  事實表結構         29 2.2.2  可加、半可加、不可加事實    29 2.2.3  事實表中的空值         30 2.2.4  一致性事實         30 2.2.5  事務事實表         30 2.2.6  周期快照事實表         30 2.2.7  累積快照事實表         30 2.2.8  無事實的事實表         31 2.2.9  聚集事實表或OLAP多維數據庫      31 2.2.10  合并事實表       31 2.3  維度表技術基礎   31 2.3.1  維度表結構         31 2.3.2  維度代理鍵         32 2.3.3  自然鍵、持久鍵和超自然鍵    32 2.3.4  下鉆    32 2.3.5  退化維度    32 2.3.6  非規(guī)范化扁平維度    32 2.3.7  多層次維度         32 2.3.8  文檔屬性的標識與指示器         33 2.3.9  維度表中的空值屬性         33 2.3.10  日歷日期維度  33 2.3.11  扮演角色的維度       33 2.3.12  雜項維度  33 2.3.13  雪花維度  33 2.3.14  支架維度  34 2.4  使用一致性維度集成   34 2.4.1  一致性維度         34 2.4.2  縮減維度    34 2.4.3  跨表鉆取    34 2.4.4  價值鏈         34 2.4.5  企業(yè)數據倉庫總線架構    35 2.4.6  企業(yè)數據倉庫總線矩陣    35 2.4.7  總線矩陣實現細節(jié)    35 2.4.8  機會/利益相關方矩陣       35 2.5  處理緩慢變化維度屬性        35 2.5.1  類型0：原樣保留      35 2.5.2  類型1：重寫      35 2.5.3  類型2：增加新行      36 2.5.4  類型3：增加新屬性 36 2.5.5  類型4：增加微型維度      36 2.5.6  類型5：增加微型維度及類型1支架      36 2.5.7  類型6：增加類型1屬性到類型2維度  36 2.5.8  類型7：雙類型1和類型2維度      36 2.6  處理維度層次關系        37 2.6.1  固定深度位置的層次         37 2.6.2  輕微參差不齊/可變深度層次   37 2.6.3  具有層次橋接表的參差不齊/可變深度層次   37 2.6.4  具有路徑字符屬性的可變深度層次         37 2.7  高級事實表技術   37 2.7.1  事實表代理鍵    37 2.7.2  蜈蚣事實表         38 2.7.3  屬性或事實的數字值         38 2.7.4  日志/持續(xù)時間事實   38 2.7.5  頭/行事實表       38 2.7.6  分配的事實         38 2.7.7  利用分配建立利潤與損失事實表    38 2.7.8  多種貨幣事實    39 2.7.9  多種度量事實單位    39 2.7.10  年-日事實 39 2.7.11  多遍SQL以避免事實表間的連接  39 2.7.12  針對事實表的時間跟蹤  39 2.7.13  遲到的事實       40 2.8  高級維度技術        40 2.8.1  維度表連接         40 2.8.2  多值維度與橋接表    40 2.8.3  隨時間變化的多值橋接表         40 2.8.4  標簽的時間序列行為         40 2.8.5  行為研究分組    40 2.8.6  聚集事實作為維度屬性    41 2.8.7  動態(tài)值范圍         41 2.8.8  文本注釋維度    41 2.8.9  多時區(qū)         41 2.8.10  度量類型維度  41 2.8.11  步驟維度  41 2.8.12  熱交換維度       42 2.8.13  抽象通用維度  42 2.8.14  審計維度  42 2.8.15  最后產生的維度       42 2.9  特殊目的模式        42 2.9.1  異構產品的超類與子類模式    43 2.9.2  實時事實表         43 2.9.3  錯誤事件模式    43 第3章  零售業(yè)務          45 3.1  維度模型設計的4步過程    46 3.1.1  第1步：選擇業(yè)務過程     46 3.1.2  第2步：聲明粒度     46 3.1.3  第3步：確定維度     47 3.1.4  第4步：確定事實     47 3.2  零售業(yè)務案例研究        47 3.2.1  第1步：選擇業(yè)務過程     49 3.2.2  第2步：聲明粒度     49 3.2.3  第3步：確定維度     50 3.2.4  第4步：確定事實     50 3.3  維度表設計細節(jié)   53 3.3.1  日期維度    53 3.3.2  產品維度    56 3.3.3  商店維度    59 3.3.4  促銷維度    60 3.3.5  其他零售業(yè)維度         62 3.3.6  事務號碼的退化維度         63 3.4  實際的銷售模式   63 3.5  零售模式的擴展能力   64 3.6  無事實的事實表   65 3.7  維度與事實表鍵   66 3.7.1  維度表代理鍵    66 3.7.2  維度中自然和持久的超自然鍵         68 3.7.3  退化維度的代理鍵    68 3.7.4  日期維度的智能鍵    68 3.7.5  事實表的代理鍵         69 3.8  抵制規(guī)范化的沖動        70 3.8.1  具有規(guī)范化維度的雪花模式    70 3.8.2  支架表         72 3.8.3  包含大量維度的蜈蚣事實表    72 3.9  本章小結        74 第4章  庫存          75 4.1  價值鏈簡介   75 4.2  庫存模型        76 4.2.1  庫存周期快照    76 4.2.2  庫存事務    79 4.2.3  庫存累積快照    80 4.3  事實表類型   81 4.3.1  事務事實表         81 4.3.2  周期快照事實表         82 4.3.3  累積快照事實表         82 4.3.4  輔助事實表類型         83 4.4  價值鏈集成   83 4.5  企業(yè)數據倉庫總線架構        84 4.5.1  理解總線架構    84 4.5.2  企業(yè)數據倉庫總線矩陣    85 4.6  一致性維度   89 4.6.1  多事實表鉆取    89 4.6.2  相同的一致性維度    89 4.6.3  包含屬性子集的縮減上卷一致性維度    90 4.6.4  包含行子集的縮減一致性維度         91 4.6.5  總線矩陣的縮減一致性維度    91 4.6.6  有限一致性         92 4.6.7  數據治理與管理的重要性         92 4.6.8  一致性維度與敏捷開發(fā)    94 4.7  一致性事實   94 4.8  本章小結        95 第5章  采購          97 5.1  采購案例研究        97 5.2  采購事務與總線矩陣   98 5.2.1  單一事務事實表與多事務事實表    98 5.2.2  輔助采購快照    101 5.3  緩慢變化維度(SCD)基礎       101 5.3.1  類型0：保留原始值 102 5.3.2  類型1：重寫      102 5.3.3  類型2：增加新行      104 5.3.4  類型3：增加新屬性 106 5.3.5  類型4：增加微型維度      108 5.4  混合緩慢變化維度技術        110 5.4.1  類型5：微型維度與類型1支架表 110 5.4.2  類型6：將類型1屬性增加到類型2維度      111 5.4.3  類型7：雙重類型1與類型2維度  112 5.5  緩慢變化維度總結        113 5.6  本章小結        114 第6章  訂單管理          115 6.1  訂單管理總線矩陣        116 6.2  訂單事務        116 6.2.1  事實表規(guī)范化    117 6.2.2  維度角色扮演    117 6.2.3  重新審視產品維度    119 6.2.4  客戶維度    120 6.2.5  交易維度    122 6.2.6  針對訂單號的退化維度    123 6.2.7  雜項維度    124 6.2.8  應該避免的表頭/明細模式       125 6.2.9  多幣種         126 6.2.10  不同粒度的事務事實       128 6.2.11  另外一種需要避免的表頭/明細模式     129 6.3  發(fā)票事務        130 6.3.1  作為事實、維度或兩者兼顧的服務級性能    131 6.3.2  利潤與損益事實         131 6.3.3  審計維度    133 6.4  用于訂單整個流水線的累積快照        134 6.4.1  延遲計算    136 6.4.2  多種度量單位    137 6.4.3  超越后視鏡         138 6.5  本章小結        138 第7章  會計          139 7.1  會計案例研究與總線矩陣   139 7.2  總賬數據        141 7.2.1  總賬周期快照    141 7.2.2  會計科目表         141 7.2.3  結賬    141 7.2.4  年度-日期事實   143 7.2.5  再次討論多幣種問題         143 7.2.6  總賬日記賬事務         143 7.2.7  多種財務會計日歷    144 7.2.8  多級別層次下鉆         145 7.2.9  財務報表    145 7.3  預算編制過程        146 7.4  維度屬性層次        148 7.4.1  固定深度的位置層次         148 7.4.2  具有輕微不整齊的可變深度層次    149 7.4.3  不整齊可變深度層次         149 7.4.4  不規(guī)則層次中的共享所有權    152 7.4.5  隨時間變化的不規(guī)則層次         153 7.4.6  修改不規(guī)則層次         153 7.4.7  其他不規(guī)則層次的建模方法    154 7.4.8  應用于不規(guī)則層次的橋接表方法的優(yōu)點         156 7.5  合并事實表   156 7.6  OLAP角色及分析方案包      157 7.7  本章小結        158 第8章  客戶關系管理          159 8.1  客戶關系管理概述        160 8.2  客戶維度屬性        162 8.2.1  名字與地址的語法分析    162 8.2.2  國際姓名和地址的考慮    164 8.2.3  客戶為中心的日期    165 8.2.4  作為維度屬性的聚集事實         166 8.2.5  分段屬性與記分         166 8.2.6  包含類型2維度變化的計算     169 8.2.7  低粒度屬性集合的支架表         169 8.2.8  客戶層次的考慮         170 8.3  應用于多值維度的橋接表   171 8.3.1  稀疏屬性的橋接表    172 8.3.2  應用于客戶多種聯系方式的橋接表         173 8.4  復雜的客戶行為   173 8.4.1  客戶隊列的行為研究分組         173 8.4.2  連續(xù)行為的步驟維度         175 8.4.3  時間范圍事實表         176 8.4.4  使用滿意度指標標記事實表    177 8.4.5  使用異常情景指標標記事實表         178 8.5  客戶數據集成方法        178 8.5.1  建立單一客戶維度的主數據管理    179 8.5.2  多客戶維度的局部一致性         180 8.5.3  避免對應事實表的連接    180 8.6  低延遲的實現檢查        181 8.7  本章小結        182 第9章  人力資源管理          183 9.1  雇員檔案跟蹤        183 9.1.1  精確的有效和失效時間范圍    184 9.1.2  維度變化原因跟蹤    185 9.1.3  作為類型2屬性或事實事件的檔案變化         185 9.2  雇員總數周期快照        186 9.3  人力資源過程的總線矩陣   187 9.4  分析解決方案軟件包與數據模型        188 9.5  遞歸式雇員層次   189 9.5.1  針對嵌入式經理主鍵變化的跟蹤    190 9.5.2  上鉆或下鉆管理層次         190 9.6  多值技能關鍵字屬性   191 9.6.1  技能關鍵字橋接表    191 9.6.2  技能關鍵字文本字符串    192 9.7  調查問卷數據        193 9.8  本章小結        194 第10章  金融服務       195 10.1  銀行案例研究與總線矩陣 195 10.2  分類維度以避免出現維度太少的情況      196 10.2.1  家庭維度  199 10.2.2  多值維度與權重因子       199 10.2.3  再談微型維度  200 10.2.4  在橋接表中增加微型維度       202 10.2.5  動態(tài)值范圍事實       202 10.3  異構產品的超類和子類模式      203 10.4  熱可交換維度      205 10.5  本章小結      205 第11章  電信       207 11.1  電信業(yè)案例研究與總線矩陣      207 11.2  設計評審的一般性考慮      209 11.2.1  業(yè)務需求與實際可用資源的權衡  209 11.2.2  關注業(yè)務過程  209 11.2.3  粒度  210 11.2.4  統一的事實表粒度  210 11.2.5  維度的粒度和層次  210 11.2.6  日期維度  211 11.2.7  退化維度  211 11.2.8  代理鍵       212 11.2.9  維度解碼與描述符  212 11.2.10  一致的承諾    212 11.3  設計評審指導      212 11.4  草案設計訓練的討論 214 11.5  重新建模已存在的數據結構      215 11.6  地理位置維度      216 11.7  本章小結      216 第12章  交通運輸       217 12.1  航空案例研究與總線矩陣 217 12.1.1  多種事實表粒度       218 12.1.2  連接區(qū)段形成旅程  220 12.1.3  相關事實表       221 12.2  擴展至其他行業(yè) 221 12.2.1  貨物托運人       221 12.2.2  旅行服務  222 12.3  相關維度合并      222 12.3.1  服務類別  223 12.3.2  始發(fā)地與目的地       224 12.4  更多有關日期和時間的考慮      225 12.4.1  用作支架表的特定國家日歷  225 12.4.2  多時區(qū)的日期和時間       226 12.5  本地化概要 226 12.6  本章小結      227 第13章  教育       229 13.1  大學案例研究與總線矩陣 229 13.2  累積快照事實表 231 13.2.1  申請流水線       231 13.2.2  科研資助項目流水線       232 13.3  無事實的事實表 232 13.3.1  招生事件  233 13.3.2  課程注冊  233 13.3.3  設施使用  235 13.3.4  學生考勤  236 13.4  更多關于教育分析的情況 237 13.5  本章小結      237 第14章  醫(yī)療衛(wèi)生       239 14.1  醫(yī)療衛(wèi)生案例研究與總線矩陣 239 14.2  報銷單據與支付 241 14.2.1  日期維度角色扮演  243 14.2.2  多值診斷  243 14.2.3  收費的超類與子類  245 14.3  電子醫(yī)療記錄      246 14.3.1  度量稀疏事實的類型維度       246 14.3.2  自由文本注釋  247 14.3.3  圖像  247 14.4  設施/設備的庫存利用         247 14.5  處理可追溯的變化      248 14.6  本章小結      248 第15章  電子商務       249 15.1  點擊流源數據      249 15.2  點擊流維度模型 252 15.2.1  網頁維度  252 15.2.2  事件維度  253 15.2.3  會話維度  254 15.2.4  推薦維度  254 15.2.5  點擊流會話事實表  255 15.2.6  點擊流網頁事件事實表  256 15.2.7  步驟維度  258 15.2.8  聚集點擊流事實表  258 15.2.9  Google Analytics(GA)         259 15.3  將點擊流集成到Web零售商總線矩陣中         259 15.4  包含Web的跨渠道贏利能力    261 15.5  本章小結      263 第16章  保險業(yè)務       265 16.1  保險案例研究      266 16.1.1  保險業(yè)價值鏈  266 16.1.2  總線矩陣草案  267 16.2  保單事務      268 16.2.1  維度角色扮演  268 16.2.2  緩慢變化維度  268 16.2.3  針對大型和快速變化維度的微型維度  269 16.2.4  多值維度屬性  269 16.2.5  作為事實或維度的數值屬性  270 16.2.6  退化維度  270 16.2.7  低粒度維度表  270 16.2.8  審計維度  270 16.2.9  保單事務事實表       270 16.2.10  異構的超類和子類產品         271 16.2.11  輔助保險累積快照         272 16.3  保費周期快照      272 16.3.1  一致性維度       272 16.3.2  一致性事實       273 16.3.3  預付事實  273 16.3.4  再談異構超類與子類       273 16.3.5  再談多值維度  274 16.4  更多保險案例研究背景      274 16.4.1  更新保險行業(yè)總線矩陣  275 16.4.2  總線矩陣實現細節(jié)  275 16.5  索賠事務      277 16.6  索賠累積快照      278 16.6.1  復雜工作流的累積快照  279 16.6.2  時間范圍累積快照  279 16.6.3  周期而不是累積快照       280 16.7  保單/索賠合并的周期快照         280 16.8  無事實的意外事件      280 16.9  需要避免的常見維度建模錯誤 281 16.9.1  錯誤10：在事實表中放入文本屬性      281 16.9.2  錯誤9：限制使用冗長的描述符以節(jié)省空間        281 16.9.3  錯誤8：將層次劃分為多個維度   282 16.9.4  錯誤7：忽略對維度變化進行跟蹤的需要   282 16.9.5  錯誤6：使用更多的硬件解決所有的性能問題   282 16.9.6  錯誤5：使用操作型鍵連接維度和事實        282 16.9.7  錯誤4：忽視對事實粒度的聲明并混淆事實粒度        282 16.9.8  錯誤3：使用報表設計維度模型   283 16.9.9  錯誤2：希望用戶查詢規(guī)范化的原子數據   283 16.9.10  錯誤1：違反事實和維度的一致性要求      283 16.10  本章小結   284 第17章  Kimball DW/BI生命周期概述       285 17.1  生命周期路標      286 17.2  生命周期初始活動      287 17.2.1  程序/項目規(guī)劃與管理     287 17.2.2  業(yè)務需求定義  290 17.3  生命周期技術路徑      294 17.3.1  技術架構設計  294 17.3.2  產品選擇與安裝       296 17.4  生命周期數據路徑      297 17.4.1  維度建模  297 17.4.2  物理設計  297 17.4.3  ETL設計與開發(fā)        299 17.5  生命周期BI應用路徑         299 17.5.1  BI應用規(guī)范      299 17.5.2  BI應用開發(fā)      299 17.6  生命周期總結活動      300 17.6.1  部署  300 17.6.2  維護和發(fā)展       300 17.7  應當避免的常見錯誤 301 17.8  本章小結      302 第18章  維度建模過程與任務   303 18.1  建模過程概述      303 18.2  組織工作      304 18.2.1  確定參與人，特別是業(yè)務代表們  304 18.2.2  業(yè)務需求評審  305 18.2.3  利用建模工具  305 18.2.4  利用數據分析工具  306 18.2.5  利用或建立命名規(guī)則       306 18.2.6  日歷和設施的協調  306 18.3  維度模型設計      307 18.3.1  統一對高層氣泡圖的理解       307 18.3.2  開發(fā)詳細的維度模型       308 18.3.3  模型評審與驗證       311 18.3.4  形成設計文檔  312 18.4  本章小結      312 第19章  ETL子系統與技術         313 19.1  需求綜合      314 19.1.1  業(yè)務需求  314 19.1.2  合規(guī)性       314 19.1.3  數據質量  314 19.1.4  安全性       315 19.1.5  數據集成  315 19.1.6  數據延遲  316 19.1.7  歸檔與世系       316 19.1.8  BI發(fā)布接口      316 19.1.9  可用的技能       317 19.1.10  傳統的許可證書    317 19.2  ETL的34個子系統     317 19.3  獲?。簩祿迦氲綌祿}庫中      318 19.3.1  子系統1：數據分析        318 19.3.2  子系統2：變化數據獲取系統        319 19.3.3  子系統3：獲取系統        320 19.4  清洗與整合數據 321 19.4.1  提高數據質量文化與過程       322 19.4.2  子系統4：數據清洗系統        323 19.4.3  子系統5：錯誤事件模式        324 19.4.4  子系統6：審計維度裝配器   325 19.4.5  子系統7：重復數據刪除(deduplication)系統        326 19.4.6  子系統8：一致性系統   326 19.5  發(fā)布：準備展現 328 19.5.1  子系統9：緩慢變化維度管理器   328 19.5.2  子系統10：代理鍵產生器      332 19.5.3  子系統11：層次管理器 332 19.5.4  子系統12：特定維度管理器 333 19.5.5  子系統13：事實表建立器      335 19.5.6  子系統14：代理鍵流水線      336 19.5.7  子系統15：多值維度橋接表建立器      337 19.5.8  子系統16：遲到數據處理器 338 19.5.9  子系統17：維度管理器系統 339 19.5.10  子系統18：事實提供者系統        339 19.5.11  子系統19：聚集建立器        340 19.5.12  子系統20：OLAP多維數據庫建立器  340 19.5.13  子系統21：數據傳播管理器        340 19.6  管理ETL環(huán)境      341 19.6.1  子系統22：任務調度器 341 19.6.2  子系統23：備份系統      342 19.6.3  子系統24：恢復與重啟系統 343 19.6.4  子系統25：版本控制系統      344 19.6.5  子系統26：版本遷移系統      345 19.6.6  子系統27：工作流監(jiān)視器      345 19.6.7  子系統28：排序系統      346 19.6.8  子系統29：世系及依賴分析器      346 19.6.9  子系統30：問題提升系統      346 19.6.10  子系統31：并行/流水線系統      347 19.6.11  子系統32：安全系統   347 19.6.12  子系統33：合規(guī)性管理器   348 19.6.13  子系統34：元數據存儲庫管理器        350 19.7  本章小結      350 第20章  ETL系統設計與開發(fā)過程和任務         351 20.1  ETL過程概覽       351 20.2  ETL開發(fā)規(guī)劃       351 20.2.1  第1步：設計高層規(guī)劃  352 20.2.2  第2步：選擇ETL工具   352 20.2.3  第3步：開發(fā)默認策略  353 20.2.4  第4步：按照目標表鉆取數據       354 20.2.5  開發(fā)ETL規(guī)范文檔   355 20.3  開發(fā)一次性的歷史加載過程      356 20.3.1  第5步：用歷史數據填充維度表  356 20.3.2  第6步：完成事實表歷史加載       360 20.4  開發(fā)增量式ETL過程  363 20.4.1  第7步：維度表增量處理過程       363 20.4.2  第8步：事實表增量處理過程       365 20.4.3  第9步：聚集表與OLAP加載         367 20.4.4  第10步：ETL系統操作與自動化  368 20.5  實時的影響 368 20.5.1  實時分類  369 20.5.2  實時結構權衡  370 20.5.3  展現服務器上的實時分區(qū)       371 20.6  本章小結      372 第21章  大數據分析   373 21.1  大數據概覽 373 21.1.1  擴展的RDBMS結構         374 21.1.2  MapReduce/Hadoop結構         375 21.1.3  大數據結構比較       376 21.2  推薦的應用于大數據的最佳實踐      376 21.2.1  面向大數據管理的最佳實踐  376 21.2.2  面向大數據結構的最佳實踐  377 21.2.3  應用于大數據的數據建模最佳實踐       381 21.2.4  大數據的數據治理最佳實踐  383 21.3  本章小結      384