大數(shù)據(jù)架構(gòu)商業(yè)之路：從業(yè)務(wù)需求到技術(shù)方案

推薦序一
推薦序二
前　　言
第1章　抉擇    1
第2章　數(shù)據(jù)收集    4
2.1　互聯(lián)網(wǎng)數(shù)據(jù)收集    4
2.1.1　網(wǎng)絡(luò)爬蟲    5
2.1.2　Apache Nutch簡介    11
2.1.3　Heritrix簡介    14
2.2　內(nèi)部數(shù)據(jù)收集    15
2.2.1　Apache Flume簡介    17
2.2.2　Facebook Scribe和Logstash    21
2.3　本章心得    21
2.4　參考資料    22
第3章　數(shù)據(jù)存儲    23
3.1　持久化存儲    23
3.1.1　Hadoop和HDFS    25
3.1.2　HBase簡介    28
3.1.3　MongoDB    35
3.2　非持久化存儲    37
3.2.1　緩存和散列    37
3.2.2　Memcached和Berkeley DB簡介    41
3.2.3　Redis簡介    41
3.3　本章心得    44
3.4　參考資料    44
第4章　數(shù)據(jù)處理    46
4.1　離線批量處理    46
4.1.1　Hadoop的MapReduce    47
4.1.2　Spark簡介    52
4.1.3　Hive簡介    53
4.1.4　Pig、Impala和Spark SQL    56
4.2　提升及時性：消息機制    58
4.2.1　ActiveMQ簡介    60
4.2.2　Kafka簡介    61
4.3　在線實時處理    63
4.3.1　Storm簡介    63
4.3.2　Spark Streaming簡介    66
4.4　本章心得    66
4.5　參考資料    67
第5章　信息檢索    69
5.1　基本理念    70
5.2　相關(guān)性    70
5.2.1　布爾模型    70
5.2.2　基于排序的布爾模型    71
5.2.3　向量空間模型    74
5.2.4　語言模型    75
5.3　及時性    77
5.4　與數(shù)據(jù)庫查詢的對比    81
5.5　搜索引擎    82
5.5.1　Web搜索中的鏈接分析    83
5.5.2　電子商務(wù)中的商品排序    86
5.5.3　多因素和基于學(xué)習(xí)的排序    88
5.5.4　系統(tǒng)框架    89
5.5.5　Lucene簡介    93
5.5.6　Solr簡介    98
5.5.7　Elasticsearch簡介    104
5.6　推薦系統(tǒng)    108
5.6.1　推薦的核心要素    109
5.6.2　推薦系統(tǒng)的分類    110
5.6.3　混合模型    115
5.6.4　系統(tǒng)架構(gòu)    116
5.6.5　Mahout    116
5.7　在線廣告    119
5.8　本章心得    127
5.9　參考資料    128
第6章　數(shù)據(jù)挖掘    130
6.1　基本理念    131
6.2　數(shù)據(jù)的表示和預(yù)處理    133
6.3　機器學(xué)習(xí)算法    136
6.4　挖掘工具    157
6.5　本章心得    165
6.6　參考資料    165
第7章　效能評估    167
7.1　效果評估    168
7.2　性能評估    190
7.3　本章心得    202
7.4　參考資料    202
第8章　大數(shù)據(jù)技術(shù)全景    204
第9章　商品太多啦！需要搜索引擎    207
9.1　業(yè)務(wù)需求    207
9.2　產(chǎn)品設(shè)計和技術(shù)選型    208
9.3　實現(xiàn)方案    211
第10章　能否更主動？還需要推薦引擎    223
10.1　業(yè)務(wù)需求    223
10.2　產(chǎn)品設(shè)計和技術(shù)選型    225
10.3　實現(xiàn)方案    230
第11章　這樣做的效果如何    241
11.1　業(yè)務(wù)需求    241
11.2　產(chǎn)品設(shè)計和技術(shù)選型    242
11.3　實現(xiàn)方案    243
第12章　這個搜索有點遜    258
12.1　業(yè)務(wù)需求：還要搜得更多    258
12.2　“還要搜得更多”：產(chǎn)品設(shè)計和技術(shù)選型    259
12.3　“還要搜得更多”的方案實現(xiàn)    261
12.4　業(yè)務(wù)需求：還要搜得更準    265
12.5　“還要搜得更準”：產(chǎn)品設(shè)計和技術(shù)選型    266
12.6　“還要搜得更準”的方案實現(xiàn)    271
12.7　業(yè)務(wù)需求：還要更快    273
12.8　還要“變”得更快：產(chǎn)品設(shè)計和技術(shù)選型    274
12.9　還要“搜”得更快：產(chǎn)品設(shè)計和技術(shù)選型    275
12.10　業(yè)務(wù)需求：給點提示吧    280
12.11　給點提示吧：產(chǎn)品設(shè)計和技術(shù)選型    282
第13章　支持更高效的運營    287
13.1　業(yè)務(wù)需求：互聯(lián)網(wǎng)時代的CRM    287
13.2　互聯(lián)網(wǎng)時代的CRM：產(chǎn)品設(shè)計和技術(shù)選型    288
13.3　業(yè)務(wù)需求：抓住搗蛋鬼    291
13.4　抓住搗蛋鬼：產(chǎn)品設(shè)計和技術(shù)選型    292
13.5　業(yè)務(wù)需求：銷售之戰(zhàn)    295
13.6　銷售之戰(zhàn)：產(chǎn)品設(shè)計和技術(shù)選型    296
后記    299