用戶畫像：平臺構(gòu)建與業(yè)務(wù)實踐

目　　錄
前　言
第1章　了解畫像平臺　1
1.1　畫像基本概念　1
1.1.1　什么是畫像　1
1.1.2　畫像的重要性　2
1.1.3　畫像平臺定位　3
1.2　OLAP介紹　3
1.2.1　OLAP與OLTP對比　3
1.2.2　OLAP場景關(guān)鍵特征　4
1.2.3　OLAP的3種建模類型　5
1.2.4　OLAP相關(guān)技術(shù)發(fā)展歷程　5
1.3　業(yè)界畫像平臺介紹　6
1.3.1　神策數(shù)據(jù)　7
1.3.2　火山引擎增長分析　10
1.3.3　GrowingIO　13
1.3.4　阿里云智能用戶增長　16
1.4　畫像平臺涉及的崗位　18
1.4.1　數(shù)據(jù)工程師　18
1.4.2　算法工程師　18
1.4.3　研發(fā)工程師　18
1.4.4　產(chǎn)品經(jīng)理　19
1.4.5　運營人員　19
1.5　本章小結(jié)　19
第2章　畫像平臺功能與架構(gòu)　20
2.1　畫像平臺主要功能　20
2.1.1　標(biāo)簽管理　20
2.1.2　標(biāo)簽服務(wù)　24
2.1.3　分群功能　25
2.1.4　畫像分析　28
2.2　畫像平臺技術(shù)架構(gòu)　32
2.2.1　畫像平臺常見的技術(shù)架構(gòu)　32
2.2.2　畫像平臺技術(shù)選型示例　33
2.2.3　業(yè)界畫像功能技術(shù)選型　35
2.3　畫像平臺的3種數(shù)據(jù)模型　36
2.4　本章小結(jié)　38
第3章　標(biāo)簽管理　40
3.1　標(biāo)簽管理整體架構(gòu)　40
3.2　標(biāo)簽分類　43
3.2.1　標(biāo)簽實體及ID類型　43
3.2.2　標(biāo)簽分類方式　44
3.3　標(biāo)簽管理功能實現(xiàn)　48
3.3.1　標(biāo)簽存儲　48
3.3.2　標(biāo)簽生產(chǎn)　55
3.3.3　標(biāo)簽數(shù)據(jù)監(jiān)控　67
3.3.4　工程實現(xiàn)　69
3.4　崗位分工介紹　70
3.5　本章小結(jié)　72
第4章　標(biāo)簽服務(wù)　73
4.1　標(biāo)簽服務(wù)整體架構(gòu)　73
4.2　標(biāo)簽查詢服務(wù)　74
4.2.1　標(biāo)簽查詢服務(wù)介紹　74
4.2.2　標(biāo)簽數(shù)據(jù)灌入緩存　76
4.2.3　標(biāo)簽數(shù)據(jù)結(jié)構(gòu)　79
4.2.4　標(biāo)簽數(shù)據(jù)處理　81
4.2.5　工程實現(xiàn)　83
4.3　標(biāo)簽元數(shù)據(jù)查詢服務(wù)　85
4.3.1　標(biāo)簽元數(shù)據(jù)查詢服務(wù)介紹　85
4.3.2　工程實現(xiàn)　87
4.4　標(biāo)簽實時預(yù)測服務(wù)　89
4.4.1　標(biāo)簽實時預(yù)測服務(wù)介紹　89
4.4.2　工程實現(xiàn)　90
4.5　ID-Mapping　93
4.6　崗位分工介紹　97
4.7　本章小結(jié)　98
第5章　分群功能　99
5.1　分群功能整體架構(gòu)　99
5.2　基礎(chǔ)數(shù)據(jù)準(zhǔn)備　101
5.2.1　畫像寬表　101
5.2.2　畫像BitMap　108
5.3　人群創(chuàng)建方式　111
5.3.1　規(guī)則圈選　112
5.3.2　導(dǎo)入人群　119
5.3.3　組合人群　121
5.3.4　行為明細(xì)　123
5.3.5　人群Lookalike　125
5.3.6　挖掘人群　126
5.3.7　LBS人群　127
5.3.8　其他人群圈選　128
5.3.9　工程實現(xiàn)　131
5.4　人群數(shù)據(jù)對外輸出　137
5.5　人群附加功能　138
5.5.1　人群預(yù)估　138
5.5.2　人群拆分　140
5.5.3　人群自動更新　141
5.5.4　人群下載　142
5.5.5　ID轉(zhuǎn)換　143
5.6　人群判存服務(wù)　144
5.6.1　Redis方案　144
5.6.2　BitMap方案　147
5.6.3　基于規(guī)則的判存　149
5.7　崗位分工介紹　150
5.8　本章小結(jié)　152
第6章　畫像分析　153
6.1　畫像分析整體架構(gòu)　153
6.2　人群畫像分析　155
6.2.1　人群分布分析　155
6.2.2　人群指標(biāo)分析　156
6.2.3　人群下鉆分析　157
6.2.4　人群交叉分析　158
6.2.5　人群對比分析　158
6.2.6　工程實現(xiàn)　159
6.3　人群即席分析　165
6.3.1　分布分析與指標(biāo)分析　166
6.3.2　下鉆分析與交叉分析　167
6.3.3　人群畫像預(yù)覽　168
6.4　行為明細(xì)分析　169
6.4.1　明細(xì)統(tǒng)計　171
6.4.2　用戶分析　173
6.4.3　流程轉(zhuǎn)化　176
6.4.4　價值分析　179
6.4.5　工程實現(xiàn)　181
6.5　單用戶分析　183
6.5.1　用戶畫像查詢　184
6.5.2　用戶關(guān)系數(shù)據(jù)分析　185
6.5.3　用戶漲掉粉分析　190
6.5.4　用戶內(nèi)容流量分析　192
6.6　其他常見分析　193
6.6.1　業(yè)務(wù)分析看板　193
6.6.2　地域分析　195
6.6.3　人群投放分析　197
6.7　崗位分工介紹　199
6.8　本章小結(jié)　200
第7章　從0到1構(gòu)建畫像平臺　201
7.1　基礎(chǔ)準(zhǔn)備　201
7.1.1　技術(shù)組件協(xié)作關(guān)系　201
7.1.2　基礎(chǔ)環(huán)境準(zhǔn)備　203
7.2　大數(shù)據(jù)環(huán)境搭建　206
7.2.1　Hadoop　207
7.2.2　Spark　210
7.2.3　Hive　212
7.2.4　ZooKeeper　215
7.2.5　DolphinScheduler　216
7.2.6　Flink　217
7.3　存儲引擎安裝　219
7.3.1　ClickHouse　219
7.3.2　Redis　221
7.3.3　MySQL　222
7.4　工程框架搭建　223
7.4.1　服務(wù)端工程搭建　223
7.4.2　前端工程搭建　237
7.5　運行開源代碼　238
7.6　本章小結(jié)　240
第8章　畫像平臺應(yīng)用與業(yè)務(wù)實踐　241
8.1　畫像平臺常見應(yīng)用案