大數(shù)據(jù)的沖擊

目　錄

第1章　什么是大數(shù)據(jù)
1.1　The data deluge　2
1.2　用3V來描述大數(shù)據(jù)的特征　3
1.3　廣義的大數(shù)據(jù)　8
1.4　為什么現(xiàn)在要談大數(shù)據(jù)？①大數(shù)據(jù)的民主化　9
1.5　為什么現(xiàn)在要談大數(shù)據(jù)？②硬件性價(jià)比的提高以及軟件技術(shù)的進(jìn)步　10
1.6　為什么現(xiàn)在要談大數(shù)據(jù)？③云計(jì)算的普及　12
1.7　從“看到過去”到“預(yù)測(cè)未來”BI與大數(shù)據(jù)的交叉　18
1.8　從點(diǎn)(交易數(shù)據(jù))分析到線(交互數(shù)據(jù))分析　20
1.9　大數(shù)據(jù)的分析工具　22
本章小結(jié)　24

第2章　支撐大數(shù)據(jù)的技術(shù)
2.1　人手不足　26
2.2　什么是Hadoop　26
2.3　發(fā)行版本的增加　30
2.4　發(fā)行版本眾多的原因　33
2.5　NoSQL數(shù)據(jù)庫(kù)　34
2.6　風(fēng)投資本對(duì)Hadoop、NoSQL企業(yè)的熱切關(guān)注　39
2.7　大數(shù)據(jù)時(shí)代的數(shù)據(jù)處理基礎(chǔ)　41
2.8　備受關(guān)注的分析型數(shù)據(jù)庫(kù)　42
2.9　流數(shù)據(jù)處理(實(shí)時(shí)數(shù)據(jù)處理)　45
2.10　自行開發(fā)流數(shù)據(jù)處理技術(shù)的互聯(lián)網(wǎng)企業(yè)　47
2.11　機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析等　49
2.12　自然語(yǔ)言處理及其他　51
本章小結(jié)　53

第3章　以大數(shù)據(jù)為武器的企業(yè)歐美企業(yè)篇
3.1　大步邁進(jìn)的互聯(lián)網(wǎng)企業(yè)對(duì)大數(shù)據(jù)的運(yùn)用　56
3.2　eBay：每天產(chǎn)生50TB的數(shù)據(jù)　59
3.2.1　超乎尋常的數(shù)據(jù)產(chǎn)生速度　60
3.2.2　eBay的數(shù)據(jù)分析基礎(chǔ)架構(gòu)　61
3.3　Zynga：披著游戲公司外衣的分析公司　64
3.3.1　社交游戲經(jīng)濟(jì)的重要指標(biāo)　65
3.3.2　提高病毒系數(shù)的方法　66
3.3.3　數(shù)據(jù)驅(qū)動(dòng)游戲　67
3.3.4　三次點(diǎn)擊法則　68
3.4　Centrica：通過智能電表分析能源消耗模式　69
3.4.1　英國(guó)電力、燃?xì)馐召M(fèi)的實(shí)際情況　70
3.4.2　使用智能電表所帶來的影響　71
3.5　Catalina　Marketing：通過收銀臺(tái)優(yōu)惠券對(duì)顧客的購(gòu)買行為進(jìn)行設(shè)計(jì)　75
3.5.1　存儲(chǔ)超過1億人的購(gòu)物記錄　76
3.5.2　預(yù)測(cè)顧客的購(gòu)買行為，刺激來店消費(fèi)　78
本章小結(jié)　80

第4章　以大數(shù)據(jù)為武器的企業(yè)日本企業(yè)篇
4.1　對(duì)大數(shù)據(jù)的運(yùn)用正在日本興起　84
4.2　小松：在日本運(yùn)用大數(shù)據(jù)的先驅(qū)者　84
4.3　Recruit：通過對(duì)Hadoop的充分運(yùn)用，成功實(shí)現(xiàn)對(duì)數(shù)據(jù)分析的觀念革新　88
4.3.1　幾乎整個(gè)公司都在運(yùn)用Hadoop　89
4.3.2　支撐Recruit大數(shù)據(jù)分析的Hadoop基礎(chǔ)架構(gòu)　91
4.3.3　成功的秘訣在于組織體制　93
4.3.4　在Recruit眼中Hadoop的真正價(jià)值是什么　94
4.4　GREE：快速成長(zhǎng)的原動(dòng)力在于數(shù)據(jù)驅(qū)動(dòng)型工作方式　97
4.4.1　比起個(gè)人的感覺，數(shù)千萬人的數(shù)據(jù)更可信　100
4.4.2　數(shù)據(jù)驅(qū)動(dòng)型工作方式的支撐力是對(duì)日志數(shù)據(jù)的執(zhí)著　102
4.4.3　集結(jié)了擁有多種技能的專業(yè)人員　104
4.4.4　將信息丟失控制在最低限度的團(tuán)隊(duì)體制　105
4.5　麥當(dāng)勞：在現(xiàn)實(shí)世界中實(shí)現(xiàn)一對(duì)一營(yíng)銷　106
4.5.1　創(chuàng)新性的優(yōu)惠券背后是周到的準(zhǔn)備　107
4.5.2　關(guān)注將手機(jī)用作積分卡的模式　110
本章小結(jié)　111

第5章　大數(shù)據(jù)的運(yùn)用模式
5.1　大數(shù)據(jù)的運(yùn)用實(shí)例　114
5.2　大數(shù)據(jù)運(yùn)用模式的分類　118
5.2.1　個(gè)別優(yōu)化·批處理型(圖表5-2)　119
5.2.2　個(gè)別優(yōu)化·實(shí)時(shí)型(圖表5-4)　121
5.2.3　整體優(yōu)化·批處理型(圖表5-5)　123
5.2.4　整體優(yōu)化·實(shí)時(shí)型(圖表5-8)　127
5.3　大數(shù)據(jù)的運(yùn)用級(jí)別　128
5.3.1　對(duì)過去/現(xiàn)狀的把握　128
5.3.2　發(fā)現(xiàn)模式　129
5.3.3　預(yù)測(cè)　130
5.3.4　優(yōu)化　130
5.4　專欄：動(dòng)態(tài)定價(jià)　132
5.5　大數(shù)據(jù)運(yùn)用的真正價(jià)值　134
本章小結(jié)　137

第6章　大數(shù)據(jù)時(shí)代的隱私問題
6.1　在隱私與創(chuàng)新的夾縫中生存　140
6.2　美國(guó)國(guó)會(huì)的關(guān)注　142
6.3　建立社交化檔案的是非　146
6.4　Do Not Track　149
6.5　消費(fèi)者隱私權(quán)法案　151
6.6　采用主動(dòng)許可方式的歐盟　155
6.7　數(shù)據(jù)保護(hù)指令同樣面臨修訂　156
6.8　在日本需要考慮個(gè)人信息保護(hù)法及各行業(yè)領(lǐng)域的指導(dǎo)方針　159
6.9　在向第三方提供信息上采用主動(dòng)許可方式的指導(dǎo)方針　162
6.10　日本政府的討論情況　162
6.11　經(jīng)濟(jì)產(chǎn)業(yè)省以“信息大航海計(jì)劃”為契機(jī)展開討論　163
6.12　總務(wù)省從生活日志的角度展開討論　165
6.12.1　個(gè)人信息保護(hù)的角度　167
6.12.2　與隱私等的關(guān)系　167
6.13　關(guān)鍵在于與用戶的溝通　171
6.14　線下行為跟蹤　172
本章小結(jié)　174

第7章　開放數(shù)據(jù)時(shí)代的到來與數(shù)據(jù)市場(chǎng)的興起
7.1　運(yùn)用公開數(shù)據(jù)也是一種選擇　178
7.2　興盛的LOD運(yùn)動(dòng)　179
7.3　對(duì)政府公開的影響　182
7.4　層出不窮的創(chuàng)業(yè)型公司　185
7.5　通過舉辦競(jìng)賽來促進(jìn)數(shù)據(jù)運(yùn)用　187
7.6　輸在起跑線上的日本　189
7.7　以震災(zāi)為契機(jī)逐步發(fā)展的日本開放數(shù)據(jù)工作　191
7.8　數(shù)據(jù)市場(chǎng)的興起　194
7.8.1　Factual　195
7.8.2　Windows Azure Marketplace　196
7.8.3　Infochimps　197
7.8.4　Public Data Sets on AWS　199
7.9　不同的商業(yè)模式　201
7.10　數(shù)據(jù)市場(chǎng)興盛背后的課題　202
本章小結(jié)　203

第8章　為大數(shù)據(jù)時(shí)代做好準(zhǔn)備
8.1　大數(shù)據(jù)時(shí)代的企業(yè)IT戰(zhàn)略　206
8.2　共享數(shù)據(jù)的日本企業(yè)　209
8.2.1　羅森和雅虎　210
8.2.2　KDDI和樂天　210
8.2.3　COOKPAD和ID’s　210
8.3　擁有原創(chuàng)數(shù)據(jù)的優(yōu)勢(shì)　211
8.4　供應(yīng)商企業(yè)的新商機(jī)：數(shù)據(jù)聚合商　212
8.5　誰(shuí)能成為數(shù)據(jù)聚合商　214
8.6　在美國(guó)備受矚目的支付服務(wù)商向數(shù)據(jù)聚合商的演化　216
8.6.1　VISA　216
8.6.2　PayPal　218
8.6.3　美國(guó)運(yùn)通　218
8.7　數(shù)據(jù)整合之妙：將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)　219
8.8　日益搶手的數(shù)據(jù)科學(xué)家　220
8.9　數(shù)據(jù)科學(xué)家所需的技能　223
8.10　數(shù)據(jù)科學(xué)家所需的素質(zhì)　227
8.11　嚴(yán)重的人才匱乏　228
8.12　研究生院的成立　232
8.13　大數(shù)據(jù)分析企業(yè)吸引了大量的資金　235
8.14　日本也開始了對(duì)數(shù)據(jù)科學(xué)家的爭(zhēng)奪　236
8.15　最后的問題：組織結(jié)構(gòu)和企業(yè)文化　238
8.16　目標(biāo)：成為數(shù)據(jù)驅(qū)動(dòng)型企業(yè)　240
本章小結(jié)　242

致謝　243
參考文獻(xiàn)　244
版權(quán)聲明　248