微軟大數(shù)據(jù)解決方案

第Ⅰ部分 大數(shù)據(jù)的含義  第1章 行業(yè)需求與解決方案 3  1.1 何謂“大”數(shù)據(jù) 3  1.2 Hadoop簡史 4  1.2.1 Google 4  1.2.2 Nutch 5  1.3 Hadoop的概念 5  1.3.1 衍生品和分發(fā)版 6  1.3.2 Hadoop分發(fā)版 7  1.3.3 Hadoop生態(tài)系統(tǒng)的核心 8  1.3.4 Hadoop中的重要Apache項目 10  1.3.5 Hadoop的未來 14  1.4 本章小結(jié) 14  第2章 Microsoft大數(shù)據(jù)解決方法 15  2.1 “優(yōu)質(zhì)組合”的故事 15  2.2 生態(tài)系統(tǒng)中的競爭 16  2.2.1 SQL on Hadoop現(xiàn)狀 16  2.2.2 Hortonworks和Stinger 16  2.2.3 Cloudera和Impala 18  2.2.4 Microsoft對Hadoop中SQL應(yīng)用的貢獻 20  2.3 Hadoop的部署 20  2.3.1 部署要素 20  2.3.2 部署拓撲結(jié)構(gòu) 23  2.3.3 部署計分卡 26  2.4 本章小結(jié) 28  第Ⅱ部分 使用Microsoft建立大數(shù)據(jù)  第3章 配置首個大數(shù)據(jù)環(huán)境 31  3.1 入門 31  3.2 開始安裝 32  3.3 安裝過程 32  3.3.1 本地安裝：單節(jié)點安裝 32  3.3.2 HDInsight服務(wù)：云端安裝 40  3.3.3 Windows Azure存儲管理器選項 41  3.4 驗證新集群 43  3.4.1 登錄HDInsight服務(wù) 43  3.4.2 通過日志驗證HDP功能 44  3.5 常見的安裝后任務(wù) 45  3.5.1 加載首個文件 45  3.5.2 驗證Hive和Pig 46  3.6 本章小結(jié) 50  第Ⅲ部分 存儲并管理大數(shù)據(jù)  第4章 HDFS、Hive、HBase和HCatalog 53  4.1 探討HDFS 53  4.1.1 HDFS體系結(jié)構(gòu)闡述 54  4.1.2 與HDFS交互 57  4.2 探討Hive：Hadoop數(shù)據(jù)倉庫平臺 59  4.2.1 設(shè)計、構(gòu)建和加載表 60  4.2.2 查詢數(shù)據(jù) 61  4.2.3 配置Hive ODBC驅(qū)動程序 61  4.3 探討HCatalog：HDFS表和元數(shù)據(jù)管理 62  4.4 探索HBase：面向列的HDFS數(shù)據(jù)庫 63  4.4.1 面向列的數(shù)據(jù)庫 63  4.4.2 定義和填充HBase表 65  4.4.3 使用查詢操作 66  4.5 本章小結(jié) 66  第5章 HDFS的數(shù)據(jù)存儲與管理 67  5.1 了解HDFS基本原理 67  5.1.1 HDFS體系結(jié)構(gòu) 68  5.1.2 名稱節(jié)點和數(shù)據(jù)節(jié)點 69  5.1.3 數(shù)據(jù)復(fù)制 71  5.2 使用常用命令與HDFS進行交互 72  5.2.1 使用HDFS的界面 72  5.2.2 文件處理命令 74  5.2.3 HDFS的管理功能 76  5.3 在HDFS中移動和組織數(shù)據(jù) 78  5.3.1 在HDFS中移動數(shù)據(jù) 78  5.3.2 實現(xiàn)便于管理的數(shù)據(jù)結(jié)構(gòu) 79  5.3.3 重新平衡數(shù)據(jù) 79  5.4 本章小結(jié) 80  第6章 添加Hive結(jié)構(gòu) 81  6.1 理解Hive的作用和角色 82  6.1.1 為非結(jié)構(gòu)化數(shù)據(jù)提供結(jié)構(gòu) 82  6.1.2 啟用數(shù)據(jù)訪問與轉(zhuǎn)換 88  6.1.3 鑒別Hive與傳統(tǒng)RDBMS系統(tǒng) 88  6.1.4 使用Hive 89  6.2 創(chuàng)建和查詢基本表 90  6.2.1 創(chuàng)建數(shù)據(jù)庫 90  6.2.2 創(chuàng)建表 91  6.2.3 添加和刪除數(shù)據(jù) 94  6.2.4 查詢表 95  6.3 使用Hive的高級數(shù)據(jù)結(jié)構(gòu) 97  6.3.1 設(shè)置分區(qū)表 97  6.3.2 加載分區(qū)表 99  6.3.3 使用視圖 100  6.3.4 創(chuàng)建表索引 100  6.4 本章小結(jié) 101  第7章 使用HBase和HCatalog來擴展功能 103  7.1 使用HBase 104  7.1.1 創(chuàng)建HBase表 104  7.1.2 將數(shù)據(jù)加載到HBase表 106  7.1.3 執(zhí)行快速查找 107  7.1.4 加載和查詢HBase 108  7.2 使用HCatalog管理數(shù)據(jù) 109  7.2.1 使用HCatalog和Hive 109  7.2.2 定義數(shù)據(jù)結(jié)構(gòu) 110  7.2.3 建立索引 111  7.3 創(chuàng)建分區(qū) 111  7.4 HCatalog與Pig和Hive的集成 113  7.5 使用HBase或Hive作為數(shù)據(jù)倉庫 116  7.6 本章小結(jié) 117  第Ⅳ部分 使用大數(shù)據(jù)  第8章 使用SSIS、Pig和Sqoop  進行有效的大數(shù)據(jù)ETL 121  8.1 結(jié)合大數(shù)據(jù)與SQL Server工具獲取更優(yōu)解決方案 122  8.1.1 為何要移動數(shù)據(jù) 122  8.1.2 在Hadoop和SQL Server之間移動數(shù)據(jù) 123  8.2 使用SSIS和Hive 123  8.3 配置包 128  8.3.1 將數(shù)據(jù)加載到Hadoop 131  8.3.2 從SSIS獲得最 佳性能 132  8.4 使用Sqoop轉(zhuǎn)移數(shù)據(jù) 132  8.4.1 從SQL Server復(fù)制數(shù)據(jù) 133  8.4.2 將數(shù)據(jù)復(fù)制到SQL Server 135  8.5 使用Pig移動數(shù)據(jù) 135  8.5.1 使用Pig轉(zhuǎn)換數(shù)據(jù) 136  8.5.2 同時使用Pig和SSIS 138  8.6 選擇正確的工具 139  8.6.1 何時使用SSIS 139  8.6.2 何時使用Pig 139  8.6.3 何時使用Sqoop 139  8.7 本章小結(jié) 140  第9章 使用Pig和Hive進行數(shù)據(jù)研究和高級數(shù)據(jù)清理 141  9.1 了解Pig 141  9.1.1 使用Pig的時機 142  9.1.2 利用內(nèi)置函數(shù) 142  9.1.3 執(zhí)行用戶自定義函數(shù) 143  9.1.4 使用UDF 144  9.1.5 為Pig創(chuàng)建專屬UDF 151  9.2 使用Hive 153  9.2.1 使用Hive進行數(shù)據(jù)分析 153  9.2.2 Hive函數(shù)類型 154  9.2.3 使用map—reduce腳本擴展Hive 155  9.2.4 創(chuàng)建自定義map—reduce腳本 158  9.2.5 為Hive創(chuàng)建專屬UFD 159  9.3 本章小結(jié) 161  第Ⅴ部分 大數(shù)據(jù)與SQL Server的整合  第10章 數(shù)據(jù)倉庫與Hadoop整合 165  10.1 行業(yè)狀況 166  10.2 傳統(tǒng)數(shù)據(jù)倉庫架構(gòu)面臨的挑戰(zhàn) 166  10.2.1 技術(shù)制約 167  10.2.2 業(yè)務(wù)挑戰(zhàn) 171  10.3 Hadoop在數(shù)據(jù)倉庫市場上的影響 173  10.3.1 保持一切 173  10.3.2 代碼優(yōu)先（模式延后） 174  10.3.3 塑造價值 175  10.3.4 計算問題 176  10.4 介紹并行數(shù)據(jù)倉庫 176  10.4.1 何謂PDW 177  10.4.2 PDW為什么重要 178  10.4.3 PDW的工作方式 180  10.5 Polybase項目 188  10.5.1 Polybase架構(gòu) 188  10.5.2 當今Polybase的商業(yè)案例 199  10.5.3 預(yù)測Polybase的未來 201  10.6 本章小結(jié) 204  第11章 使用Windows BI呈現(xiàn)大數(shù)據(jù) 205  11.1 工具生態(tài)系統(tǒng) 205  11.1.1 Excel 206  11.1.2 PowerPivot 206  11.1.3 Power View 207  11.1.4 Power Map 207  11.1.5 報表服務(wù) 208  11.2 使用PowerPivot的自助式大數(shù)據(jù) 210  11.2.1 設(shè)置ODBC驅(qū)動程序 210  11.2.2 加載數(shù)據(jù) 211  11.2.3 更新模型 217  11.2.4 添加度量標準 218  11.2.5 創(chuàng)建數(shù)據(jù)透視表 218  11.3 使用Power View加速大數(shù)據(jù)探索 220  11.4 使用Power Map的快速空間探索 224  11.5 本章小結(jié) 225  第12章 大數(shù)據(jù)分析 227  12.1 數(shù)據(jù)科學(xué)、數(shù)據(jù)挖掘與預(yù)測分析 227  12.1.1 數(shù)據(jù)挖掘 227  12.1.2 預(yù)測分析 228  12.2 Mahout介紹 229  12.3 構(gòu)建一個推薦引擎 230  12.3.1 開始 231  12.3.2 運行用戶到用戶推薦作業(yè) 232  12.3.3 運行項目到項目推薦作業(yè) 234  12.4 本章小結(jié) 235  第13章 大數(shù)據(jù)與云 237  13.1 定義云 237  13.2 探索大數(shù)據(jù)云提供商 238  13.2.1 Amazon 238  13.2.2 Microsoft 239  13.3 在云端設(shè)置大數(shù)據(jù)沙盒 239  13.3.1 開始使用Amazon EMR 240  13.3.2 開始使用HDInsight 244  13.4 在云端存儲數(shù)據(jù) 251  13.4.1 存儲數(shù)據(jù) 251  13.4.2 上傳數(shù)據(jù) 252  13.4.3 探索大數(shù)據(jù)存儲工具 252  13.4.4 整合云端數(shù)據(jù) 254  13.4.5 其他云端數(shù)據(jù)源 255  13.5 本章小結(jié) 255  第14章 現(xiàn)實生活中的大數(shù)據(jù) 257  14.1 常見行業(yè)分析 257  14.1.1 電信 257  14.1.2 能源 258  14.1.3 零售 258  14.1.4 數(shù)據(jù)服務(wù) 259  14.1.5 IT／托管優(yōu)化 259  14.1.6 市場社會情緒 260  14.2 運營分析 260  14.2.1 快速失敗 260  14.2.2 一個新的技術(shù)生態(tài)系統(tǒng) 260  14.2.3 用戶受眾 262  14.3 本章小結(jié) 264  第Ⅵ部分 繼續(xù)向前發(fā)展大數(shù)據(jù)  第15章 創(chuàng)建和執(zhí)行大數(shù)據(jù)計劃 267  15.1 獲得贊助方和利益相關(guān)方的認同 267  15.1.1 問題定義 268  15.1.2 范圍管理 269  15.1.3 利益相關(guān)方的期望 270  15.1.4 定義成功的標準 270  15.2 確定技術(shù)上的挑戰(zhàn) 271  15.2.1 環(huán)境的挑戰(zhàn) 271  15.2.2 技能的挑戰(zhàn) 272  15.3 確定運營上的挑戰(zhàn) 273  15.3.1 制定設(shè)置／配置計劃 273  15.3.2 制定運行維護計劃 274  15.4 更進一步 275  15.4.1 交付到運營 276  15.4.2 部署之后 276  15.5 本章小結(jié) 276  第16章 運營的大數(shù)據(jù)管理 279  16.1 混合型大數(shù)據(jù)環(huán)境：云端與本地解決方案協(xié)同工作 279  16.2 使用云計算和本地解決方案的動態(tài)數(shù)據(jù)集成 280  16.3 大數(shù)據(jù)的集成思想 281  16.4 大數(shù)據(jù)環(huán)境中的備份和高可用性 283  16.4.1 高可用性 283  16.4.2 災(zāi)難恢復(fù) 285  16.5 大數(shù)據(jù)解決方案的管理 286  16.6 創(chuàng)建運營分析 286  16.6.1 HDP系統(tǒng)中心運營管理器 287  16.6.2 安裝Ambari SCOM管理軟件包 288  16.6.3 使用Ambari SCOM管理軟件包進行監(jiān)控 296  16.7 本章小結(jié) 300