關(guān)鍵迭代：可信賴的線上對照試驗(yàn)

本書贊譽(yù)
譯者序
前言——如何閱讀本書
致謝
第一部分　線上對照實(shí)驗(yàn)概覽
第1章　概述和寫作動機(jī)003
1.1　線上對照實(shí)驗(yàn)的術(shù)語005
1.2　為什么進(jìn)行實(shí)驗(yàn)？相關(guān)性、因果關(guān)系和可信賴度008
1.3　有效運(yùn)行對照實(shí)驗(yàn)的必要元素010
1.4　宗旨011
1.5　隨時間推移的改進(jìn)013
1.6　有趣的線上對照實(shí)驗(yàn)實(shí)例015
1.7　戰(zhàn)略、戰(zhàn)術(shù)及它們和實(shí)驗(yàn)的關(guān)系020
1.8　補(bǔ)充閱讀 023
第2章　運(yùn)行和分析實(shí)驗(yàn)——一個全程剖析的案例025
2.1　設(shè)立實(shí)驗(yàn)025
2.2　假設(shè)檢驗(yàn)：確立統(tǒng)計顯著性028
2.3　設(shè)計實(shí)驗(yàn)030
2.4　運(yùn)行實(shí)驗(yàn)并獲得數(shù)據(jù)032
2.5　分析結(jié)果033
2.6　從結(jié)果到?jīng)Q策034
第3章　特威曼定律與實(shí)驗(yàn)的可信賴度037
3.1　曲解統(tǒng)計結(jié)果038
3.2　置信區(qū)間041
3.3　對內(nèi)部有效性的威脅041
3.4　對外部有效性的威脅046
3.5　細(xì)分群的差異049
3.6　辛普森悖論 052
3.7　鼓勵健康的懷疑態(tài)度054
第4章　實(shí)驗(yàn)平臺和文化055
4.1　實(shí)驗(yàn)成熟度模型055
4.2　基礎(chǔ)設(shè)施和工具062
第二部分　基礎(chǔ)原理
第5章　速度很重要：一個全程案例剖析075
5.1　關(guān)鍵假設(shè)：局部線性近似077
5.2　如何測量網(wǎng)站的性能078
5.3　減速實(shí)驗(yàn)的設(shè)計080
5.4　對不同頁面元素的影響是不同的081
5.5　極端結(jié)果083
第6章　機(jī)構(gòu)指標(biāo)085
6.1　指標(biāo)的分類086
6.2　指標(biāo)的制定：原則和技術(shù)089
6.3　指標(biāo)的評估091
6.4　指標(biāo)的演變092
6.5　更多的資源093
6.6　補(bǔ)充材料：護(hù)欄指標(biāo)093
6.7　補(bǔ)充材料：可操縱性095
第7章　實(shí)驗(yàn)指標(biāo)和綜合評估標(biāo)準(zhǔn)097
7.1　從業(yè)務(wù)指標(biāo)到適用于實(shí)驗(yàn)的指標(biāo)098
7.2　將關(guān)鍵指標(biāo)組合成一個OEC099
7.3　案例：亞馬遜電子郵件的OEC101
7.4　案例：必應(yīng)搜索引擎的OEC103
7.5　Goodhart法則、Campbell法則以及Lucas批判104
第8章　機(jī)構(gòu)的經(jīng)驗(yàn)傳承與統(tǒng)合分析107
8.1　什么是機(jī)構(gòu)的經(jīng)驗(yàn)傳承107
8.2　為什么機(jī)構(gòu)的經(jīng)驗(yàn)傳承有用108
第9章　對照實(shí)驗(yàn)中的倫理111
9.1　背景111
9.2　數(shù)據(jù)收集116
9.3　文化與流程117
9.4　補(bǔ)充材料：用戶標(biāo)識符117
第三部分　補(bǔ)充及替代技法
第10章　補(bǔ)充技法121
10.1　補(bǔ)充技法的空間121
10.2　基于日志的分析122
10.3　人工評估124
10.4　用戶體驗(yàn)調(diào)研125
10.5　焦點(diǎn)小組125
10.6　問卷調(diào)查126
10.7　外部數(shù)據(jù)127
10.8　總結(jié)129
第11章　觀察性因果研究131
11.1　對照實(shí)驗(yàn)不可行的情況131
11.2　觀察性因果研究的設(shè)計133
11.3　陷阱138
11.4　補(bǔ)充材料：被駁斥的觀察性因果研究141
第四部分　實(shí)驗(yàn)平臺搭建
第12章　客戶端實(shí)驗(yàn)145
12.1　服務(wù)器端和客戶端的差異145
12.2　對實(shí)驗(yàn)的潛在影響148
12.3　結(jié)論152
第13章　工具化日志記錄153
13.1　客戶端與服務(wù)器端的工具化日志記錄153
13.2　處理多源的日志155
13.3　工具化日志記錄的文化156
第14章　選擇隨機(jī)化單元157
14.1　隨機(jī)化單元和分析單元159
14.2　用戶級別的隨機(jī)化160
第15章　實(shí)驗(yàn)放量：權(quán)衡速度、質(zhì)量與風(fēng)險163
15.1　什么是放量163
15.2　SQR放量框架164
15.3　四個放量階段165
15.4　最終放量之后168
第16章　規(guī)?；瘜?shí)驗(yàn)分析169
16.1　數(shù)據(jù)處理169
16.2　數(shù)據(jù)計算170
16.3　結(jié)果匯總和可視化172
第五部分　實(shí)驗(yàn)分析
第17章　線上對照實(shí)驗(yàn)中的統(tǒng)計學(xué)知識177
17.1　雙樣本t檢驗(yàn)177
17.2　p值和置信區(qū)間178
17.3　正態(tài)性假設(shè)179
17.4　第一/二型錯誤和統(tǒng)計功效181
17.5　偏差183
17.6　多重檢驗(yàn)183
17.7　費(fèi)舍爾統(tǒng)合分析184
第18章　方差估計和提高靈敏度：陷阱及解決方法185
18.1　常見陷阱186
18.2　提高靈敏度189
18.3　其他統(tǒng)計量的方差190
第19章　A/A測試193
19.1　為什么運(yùn)行A/A測試193
19.2　如何運(yùn)行A/A測試198
19.3　A/A測試失敗時199
第20章　以觸發(fā)來提高實(shí)驗(yàn)靈敏度201
20.1　觸發(fā)示例201
20.2　數(shù)值示例204
20.3　最佳的和保守的觸發(fā)205
20.4　總體實(shí)驗(yàn)效應(yīng)206
20.5　可信賴的觸發(fā)207
20.6　常見的陷阱207
20.7　開放性問題209
第21章　樣本比率不匹配與其他可信度相關(guān)的護(hù)欄指標(biāo)211
21.1　樣本比率不匹配212
21.2　調(diào)試SRM214
第22章　實(shí)驗(yàn)變體之間的泄露和干擾219
22.1　示例220