AB實(shí)驗(yàn)：科學(xué)歸因與增長(zhǎng)的利器

前言
第一部分　了解AB實(shí)驗(yàn)
第1章　AB實(shí)驗(yàn)的基本原理和應(yīng)用002
1.1　什么是AB實(shí)驗(yàn)002
1.1.1　AB實(shí)驗(yàn)的定義002
1.1.2　AB實(shí)驗(yàn)的類型004
1.2　AB實(shí)驗(yàn)的3個(gè)基本要素005
1.2.1　實(shí)驗(yàn)參與單元005
1.2.2　實(shí)驗(yàn)控制參數(shù)007
1.2.3　實(shí)驗(yàn)指標(biāo)008
1.3　AB實(shí)驗(yàn)的2個(gè)核心價(jià)值009
1.3.1　定性因果：驗(yàn)證因果關(guān)系，確保方向正確009
1.3.2　定量增長(zhǎng)：實(shí)踐數(shù)據(jù)驅(qū)動(dòng)，精細(xì)成本收益012
1.4　AB實(shí)驗(yàn)的2個(gè)關(guān)鍵特性015
1.5　AB實(shí)驗(yàn)行業(yè)應(yīng)用016
1.5.1　AB實(shí)驗(yàn)應(yīng)用場(chǎng)景016
1.5.2　AB實(shí)驗(yàn)應(yīng)用案例018
第二部分　深入AB實(shí)驗(yàn)
第2章　AB實(shí)驗(yàn)的關(guān)鍵問(wèn)題026
2.1　實(shí)驗(yàn)參與對(duì)象的3個(gè)問(wèn)題027
2.2　實(shí)驗(yàn)隨機(jī)分流的3個(gè)問(wèn)題027
2.3　實(shí)驗(yàn)指標(biāo)的2個(gè)問(wèn)題028
2.4　實(shí)驗(yàn)分析和評(píng)估的3個(gè)問(wèn)題028
第3章　AB實(shí)驗(yàn)的統(tǒng)計(jì)學(xué)知識(shí)031
3.1　隨機(jī)抽樣和抽樣分布032
3.2　區(qū)間估計(jì)和置信區(qū)間037
3.3　樣本容量和邊際誤差038
3.3.1　均值類指標(biāo)038
3.3.2　比率類指標(biāo)040
3.4　假設(shè)檢驗(yàn)041
3.4.1　為什么需要假設(shè)檢驗(yàn)041
3.4.2　如何進(jìn)行假設(shè)檢驗(yàn)042
3.4.3　第一類錯(cuò)誤、第二類錯(cuò)誤和功效047
3.4.4　如何計(jì)算功效049
3.5　非參數(shù)檢驗(yàn)051
3.6　方差估計(jì)問(wèn)題052
3.6.1　變化絕對(duì)差和相對(duì)差的方差估計(jì)053
3.6.2　比率類指標(biāo)的方差估計(jì)054
3.6.3　其他指標(biāo)的方差估計(jì)055
3.6.4　異常點(diǎn)對(duì)方差估計(jì)的影響055
3.7　多重測(cè)試問(wèn)題056
3.7.1　什么是多重測(cè)試問(wèn)題056
3.7.2　如何避免多重測(cè)試056
3.7.3　如何控制多重測(cè)試問(wèn)題058
第4章　AB實(shí)驗(yàn)參與單元061
4.1　實(shí)驗(yàn)參與單元的選擇061
4.1.1　常見(jiàn)的實(shí)驗(yàn)參與單元062
4.1.2　實(shí)驗(yàn)參與單元粒度與實(shí)驗(yàn)評(píng)估066
4.1.3　用戶級(jí)別的實(shí)驗(yàn)參與單元067
4.2　實(shí)驗(yàn)參與單元的SUTVA問(wèn)題070
4.2.1　什么是SUTVA070
4.2.2　為什么需要讓SUTVA成立071
4.2.3　導(dǎo)致SUTVA不成立的原因073
4.2.4　如何解決SUTVA不成立的問(wèn)題075
4.3　最小實(shí)驗(yàn)參與單元數(shù)量079
第5章　AB實(shí)驗(yàn)的隨機(jī)分流083
5.1　單層分流模式083
5.2　正交分層模式084
5.2.1　正交性問(wèn)題085
5.2.2　分層問(wèn)題087
5.3　散列算法089
第6章　AB實(shí)驗(yàn)的SRM問(wèn)題092
6.1　什么是SRM問(wèn)題092
6.2　導(dǎo)致SRM問(wèn)題的原因093
6.2.1　部署階段093
6.2.2　執(zhí)行階段097
6.2.3　數(shù)據(jù)處理和分析階段098
6.3　SRM指標(biāo)計(jì)算和定位099
6.3.1　SRM指標(biāo)計(jì)算099
6.3.2　定位SRM問(wèn)題099
第7章　AA實(shí)驗(yàn)101
7.1　AA實(shí)驗(yàn)的意義101
7.1.1　控制第一類錯(cuò)誤102
7.1.2　確保用戶同質(zhì)104
7.1.3　數(shù)據(jù)指標(biāo)對(duì)齊105
7.1.4　估計(jì)統(tǒng)計(jì)方差106
7.2　如何運(yùn)行AA實(shí)驗(yàn)108
7.2.1　什么時(shí)候運(yùn)行AA實(shí)驗(yàn)108
7.2.2　AA實(shí)驗(yàn)失敗的常見(jiàn)原因110
第8章　AB實(shí)驗(yàn)的靈敏度112
8.1　什么是實(shí)驗(yàn)靈敏度112
8.2　如何提升實(shí)驗(yàn)靈敏度113
8.3　選擇指標(biāo)114
8.3.1　選擇方差較小的評(píng)估指標(biāo)114
8.3.2　標(biāo)準(zhǔn)化評(píng)估指標(biāo)115
8.4　選擇實(shí)驗(yàn)參與對(duì)象116
8.4.1　采用更細(xì)粒度的單元隨機(jī)化對(duì)象116
8.4.2　使用觸發(fā)分析116
8.5　選擇實(shí)驗(yàn)分組117
8.5.1　使用分層、控制變量或CUPED方法117
8.5.2　設(shè)計(jì)配對(duì)實(shí)驗(yàn)119
8.6　定向觸發(fā)技術(shù)和評(píng)估119
8.6.1　觸發(fā)的方式120
8.6.2　觸發(fā)范圍變化121
8.6.3　觸發(fā)實(shí)驗(yàn)的分析123
8.6.4　觸發(fā)檢驗(yàn)125
8.6.5　觸發(fā)技術(shù)的局限性125
8.7　如何驗(yàn)證實(shí)驗(yàn)靈敏度的提升127
第9章　AB實(shí)驗(yàn)的長(zhǎng)期影響129
9.1　長(zhǎng)短期影響不一致的原因130
9.2　評(píng)估長(zhǎng)期影響的意義133
9.3　如何評(píng)估長(zhǎng)期影響134
9.3.1　長(zhǎng)周期實(shí)驗(yàn)134
9.3.2　保留實(shí)驗(yàn)和反轉(zhuǎn)實(shí)驗(yàn)136
9.3.3　后期分析法137
9.3.4　時(shí)間交錯(cuò)實(shí)驗(yàn)法139
9.3.5　固定群組分析法140
9.3.6　長(zhǎng)期影響的代理指標(biāo)法141
第三部分　AB實(shí)驗(yàn)評(píng)估指標(biāo)體系
第10章　產(chǎn)品指標(biāo)體系145
10.1　什么是指標(biāo)體系145
10.2　設(shè)計(jì)指標(biāo)146
10.2.1　基于OKR的分級(jí)法147
10.2.2　OSM模型法153
10.2.3　指標(biāo)設(shè)計(jì)和開發(fā)技巧154
10.3　評(píng)估指標(biāo)156
10.3.1　信息增益156
10.3.2　因果關(guān)系158
10.3.3　長(zhǎng)期有效性158
10.4　進(jìn)化指標(biāo)159
10.5　指標(biāo)分類162
10.6　指標(biāo)體系設(shè)計(jì)案例165
第11章　實(shí)驗(yàn)評(píng)估指標(biāo)體系169
11.1　實(shí)驗(yàn)評(píng)估指標(biāo)的3個(gè)基本條件169
11.2　選擇更好的實(shí)驗(yàn)評(píng)估指標(biāo)170
11.2.1　綜合指向性與靈敏性170
11.2.2　從業(yè)務(wù)視角出發(fā)172
11.2.3　考慮應(yīng)用和工程174
11.3　將關(guān)鍵指標(biāo)合并為OEC175
11.3.1　如何建立OEC176
11.3.2　OEC的關(guān)鍵屬性179
11.3.3　構(gòu)建OEC的注意事項(xiàng)179
11.3.4　構(gòu)建OEC的案例180
第四部分　AB實(shí)驗(yàn)的基礎(chǔ)建設(shè)
第12章　開展AB實(shí)驗(yàn)的基礎(chǔ)條件187
12.1　決策層認(rèn)知187
12.2　基礎(chǔ)工具建設(shè)188
12.2.1　購(gòu)買外部服務(wù)189
12.2.2　自建平臺(tái)190
12.3　文化制度建設(shè)191
第13章　AB實(shí)驗(yàn)平臺(tái)的建設(shè)192
13.1　AB實(shí)驗(yàn)平臺(tái)架構(gòu)193
13.2　實(shí)驗(yàn)管理功能194
13.2.1　實(shí)驗(yàn)創(chuàng)建管理195
13.2.2　實(shí)驗(yàn)配置管理196
13.2.3　實(shí)驗(yàn)操作管理197
13.2.4　實(shí)驗(yàn)權(quán)限管理198
13.3　實(shí)驗(yàn)部署功能199
13.3.1　流量分配大小200
13.3.2　流量分配時(shí)機(jī)202
13.3.3　實(shí)驗(yàn)放量節(jié)奏203
13.3.4　不同類型實(shí)驗(yàn)的部署205
13.3.5　實(shí)驗(yàn)部署中的其他問(wèn)題209
13.4　實(shí)驗(yàn)數(shù)據(jù)處理和分析211
13.4.1　數(shù)據(jù)源212
13.4.2　數(shù)據(jù)處理214
13.4.3　指標(biāo)定義和數(shù)據(jù)計(jì)算215
13.4.4　數(shù)據(jù)可視化219
13.4.5　數(shù)據(jù)分析221
13.5　AB實(shí)驗(yàn)服務(wù)通用框架221
第14章　實(shí)驗(yàn)組織和文化建設(shè)224
14.1　決策層的支持與參與226
14.2　實(shí)驗(yàn)專家團(tuán)隊(duì)的帶領(lǐng)與教育228
14.3　業(yè)務(wù)團(tuán)隊(duì)實(shí)驗(yàn)骨干的深入與傳遞229
14.4　全體參與和擴(kuò)大影響231
14.5　國(guó)內(nèi)AB實(shí)驗(yàn)的開展情況233
14.6　實(shí)驗(yàn)成熟度模型236
第五部分　基于AB實(shí)驗(yàn)的增長(zhǎng)實(shí)踐
第15章　構(gòu)建想法：形成產(chǎn)品假設(shè)240
15.1　產(chǎn)品策劃找方向240
15.2　數(shù)據(jù)洞察找瓶頸245
第16章　驗(yàn)證想法：AB實(shí)驗(yàn)實(shí)踐252
16.1　實(shí)驗(yàn)假設(shè)252
16.1.1　目標(biāo)性252
16.1.2　可歸因253
16.1.3　可復(fù)用254
16.2　實(shí)驗(yàn)設(shè)計(jì)255
16.2.1　實(shí)驗(yàn)樣本選擇255
16.2.2　實(shí)驗(yàn)指標(biāo)設(shè)計(jì)257
16.2.3　實(shí)驗(yàn)流量計(jì)算258
16.2.4　實(shí)驗(yàn)周期預(yù)估260
16.3　實(shí)驗(yàn)運(yùn)行261
16.3.1　實(shí)驗(yàn)上線261
16.3.2　實(shí)驗(yàn)停止263
16.3.3　實(shí)驗(yàn)放量265
16.4　實(shí)驗(yàn)分析和理解266
16.4.1　明確實(shí)驗(yàn)影響范圍266
16.4.2　確保實(shí)驗(yàn)對(duì)比人群具有可對(duì)比性270
16.4.3　實(shí)驗(yàn)影響評(píng)估：先總后分、從主到次272
16.4.4　通過(guò)維度細(xì)分發(fā)現(xiàn)問(wèn)題273
16.4.5　理解實(shí)驗(yàn)統(tǒng)計(jì)學(xué)含義275
16.4.6　解讀數(shù)據(jù)背后的產(chǎn)品邏輯277
16.5　實(shí)驗(yàn)決策278
16.5.1　從分析到?jīng)Q策278
16.5.2　3種實(shí)驗(yàn)結(jié)果282
16.5.3　實(shí)驗(yàn)報(bào)告284
第17章　沉淀想法：實(shí)驗(yàn)記憶285
17.1　什么是實(shí)驗(yàn)沉淀285
17.2　實(shí)驗(yàn)沉淀的價(jià)值286
17.2.1　發(fā)現(xiàn)策略通用性286
17.2.2　從失敗中尋找機(jī)會(huì)289
17.2.3　發(fā)揚(yáng)實(shí)驗(yàn)文化290
17.2.4　幫助理解指標(biāo)290
17.3　如何進(jìn)行實(shí)驗(yàn)沉淀291
第18章　基于AB實(shí)驗(yàn)的增長(zhǎng)實(shí)踐解決方案293
18.1　角色分工方案295
18.2　數(shù)據(jù)建設(shè)方案295
18.3　效果評(píng)估方案297
第六部分　AB實(shí)驗(yàn)的局限與補(bǔ)充
第19章　AB實(shí)驗(yàn)的局限性303
19.1　戰(zhàn)略創(chuàng)新層面303
19.2　戰(zhàn)術(shù)執(zhí)行層面305
第20章　AB實(shí)驗(yàn)之外的因果分析方法309
20.1　匹配法310
20.1.1　匹配法的基本步驟310
20.1.2　傾向性得分方法313
20.2　工具變量法314
20.2.1　什么是工具變量314
20.2.2　案例1：教育、參軍對(duì)收入的影響316
20.2.3　案例2：內(nèi)容發(fā)布者與用戶活躍度的關(guān)系317
20.3　面板數(shù)據(jù)法317
20.4　中斷時(shí)間序列法319
20.5　斷點(diǎn)回歸法320
20.6　增益模型322
第21章　常用的用戶調(diào)查分析方法325
21.1　用戶日志分析326
21.2　調(diào)查問(wèn)卷328
21.3　焦點(diǎn)小組329
21.4　用戶體驗(yàn)研究330
21.5　人工評(píng)測(cè)330
21.6　外部數(shù)據(jù)332