推薦系統(tǒng)技術原理與實踐

第 1章 推薦系統(tǒng)簡介 1
1.1 什么是推薦系統(tǒng) 1
1.2 推薦系統(tǒng)的作用和意義 2
1.3 推薦系統(tǒng)的技術架構 3
1.4 推薦系統(tǒng)的召回階段 5
1.5 推薦系統(tǒng)的粗排階段 5
1.6 推薦系統(tǒng)的精排階段 5
1.7 推薦系統(tǒng)的重排階段 6
1.8 小結 6
第 2章 推薦系統(tǒng)算法基礎 7
2.1 LR--應用極廣的機器學習模型 7
2.1.1 LR的數(shù)學原理 7
2.1.2 LR的訓練方法 9
2.1.3 LR的訓練優(yōu)化 12
2.1.4 LR的優(yōu)勢和局限性 13
2.2 MLP--極簡單的深度學習模型 13
2.2.1 MLP的模型結構 15
2.2.2 MLP的訓練方法 16
2.2.3 MLP的優(yōu)勢和局限性 16
2.3 機器學習常用的優(yōu)化算法 17
2.3.1 隨機梯度下降法 17
2.3.2 小批量隨機梯度下降法 18
2.3.3 FTRL在線學習算法 18
2.4 深度學習常用的優(yōu)化算法 18
2.4.1 深度學習的優(yōu)化挑戰(zhàn) 18
2.4.2 AdaGrad算法 19
2.4.3 RMSProp算法 20
2.4.4 AdaDelta 算法 21
2.4.5 Adam 算法 21
2.5 深度學習常用的激活函數(shù).22
2.5.1 引入激活函數(shù)的目的 22
2.5.2 sigmoid 激活函數(shù) 23
2.5.3 ReLU 激活函數(shù) 25
2.5.4 Leaky ReLU 激活函數(shù)25
2.5.5 PReLU 激活函數(shù) 26
2.5.6 阿里巴巴的 Dice 激活函數(shù) 26
2.5.7 RReLU 激活函數(shù) 27
2.6 欠擬合和過擬合 28
2.6.1 欠擬合和過擬合的原因與解決方案 28
2.6.2 處理欠擬合的特定技術 29
2.6.3 處理過擬合的特定技術 30
2.7 深度學習中模型參數(shù)的初始化 31
2.7.1 權重和超參數(shù)的初始化 31
2.7.2 權重初始化案例-連續(xù)點擊概率模型 31
2.8 小結 33
第3 章 召回技術演進 35
3.1 召回層的作用和意義 36
3.2 召回模型的演進 37
3.3 傳統(tǒng)召回算法 38
3.3.1 基于協(xié)同過濾的召回算法 38
3.3.2 基于矩陣分解的召回算法 41
3.3.3 傳統(tǒng)召回算法小結 42
3.4 Embedding 模型化召回的基本框架 42
3.4.1 Embedding 的產(chǎn)生 43
3.4.2 Embedding 的發(fā)展 44
3.4.3 基于 Embedding 的召回框架 44
3.5 基于內(nèi)容語義的 i2i 召回 46
3.5.1 物品 Embedding 生成 46
3.5.2 Word2vec-經(jīng)典的詞向量方法 46
3.5.3 FastText-字符級別n-gram 方法 54
3.5.4 BERT-動態(tài)詞向量方法 55
3.5.5 語言模型擴展為序列模型 58
3.5.6 內(nèi)容語義召回小結 59
3.6 基于 Graph Embedding 的i2i 召回 60
3.6.1 DeepWalk-隨機游走圖表征 61
3.6.2 EGES-阿里巴巴的Graph Embedding 方法 61
3.6.3 Node2vec-優(yōu)化圖結構的Graph Embedding 方法 63
3.6.4 GCN-基于譜域的圖神經(jīng)網(wǎng)絡 65
3.6.5 GraphSAGE-基于空間域的圖神經(jīng)網(wǎng)絡 68
3.6.6 Graph Embedding 小結 70
3.7 基于深度學習的 u2i 召回 70
3.7.1 DSSM-經(jīng)典的雙塔模型 70
3.7.2 YouTube 的深度學習召回算法 71
3.7.3 基于用戶長短興趣的Embedding 召回 73
3.7.4 深度學習 u2i 召回小結 78
3.8 小結 78
第4 章 粗排技術演進 80
4.1 粗排的發(fā)展 81
4.2 粗排的前深度學習時代 81
4.3 粗排的深度學習時代 82
4.3.1 向量內(nèi)積模型 82
4.3.2 向量版 WDL 模型--向量內(nèi)積模型的改進 83
4.4 粗排的最新進展 84
4.4.1 阿里巴巴的粗排模型 COLD 84
4.4.2 知識蒸餾 85
4.5 粗排的未來展望 90
4.6 小結90
第5 章 精排技術演進 91
5.1 精排模型的演化關系 92
5.2 傳統(tǒng)機器學習推薦模型 94
5.2.1 FM 模型-稀疏數(shù)據(jù)下的特征交叉94
5.2.2 FFM-特征域感知 FM 模型 97
5.2.3 GBDT+LR-Facebook 的特征交叉模型 98
5.2.4 MLR-阿里巴巴的經(jīng)典 CTR 預估模型 100
5.3 精排的深度學習時代 103
5.3.1 WDL-谷歌的經(jīng)典 CTR預估模型 103
5.3.2 DCN-深度交叉網(wǎng)絡 105
5.3.3 DCN-v2-谷歌的改進版DCN 模型 107
5.3.4 DIN-基于注意力機制的用戶動態(tài)興趣表達 109
5.3.5 DIEN-使用序列模型對用戶興趣建模 112
5.3.6 BST-使用 Transformer 對用戶行為序列建模 116
5.3.7 DSIN-基于會話的興趣演化模型 117
5.3.8 MIMN-多通道用戶興趣網(wǎng)絡 121
5.3.9 SIM-基于搜索的超長用戶行為序列建模 126
5.3.10 CAN-特征交叉新路線 135
5.4 小結 139
第6 章 重排技術演進 141
6.1 重排的作用 142
6.2 基于規(guī)則的多樣性重排 143
6.3 基于行列式點過程的重排 143
6.4 深度學習在重排中的應用 145
6.5 強化學習在重排中的應用 147
6.6 小結 149
第7 章 多目標排序在推薦系統(tǒng)中的應用.150
7.1 推薦系統(tǒng)的優(yōu)化目標 151
7.2 多目標排序模型的演化關系 152
7.3 通過樣本權重進行多目標優(yōu)化 154
7.4 多目標排序模型 155
7.4.1 共享底層參數(shù)的多塔結構 155
7.4.2 MOE-替換共享底層參數(shù)的門控網(wǎng)絡 158
7.4.3 MMOE-改進 MOE 的多門混合專家系統(tǒng) 159
7.4.4 PLE-改進 MMOE 解決“蹺蹺板”現(xiàn)象 160
7.4.5 ESMM-根據(jù)目標依賴關系建模 167
7.4.6 ESM2-改進 ESMM 解決數(shù)據(jù)稀疏性問題 170
7.4.7 DBMTL-用貝葉斯網(wǎng)絡對目標依賴關系建模 172
7.5 多目標融合優(yōu)化 174
7.5.1 基于 UWL 聯(lián)合概率分布的多目標融合 174
7.5.2 帕累托多目標融合 176
7.6 多目標模型訓練方式 177
7.6.1 聯(lián)合訓練 177
7.6.2 交替訓練 178
7.7 小結 178
第8 章 推薦系統(tǒng)的前沿實踐 180
8.1 推薦系統(tǒng)的應用場景 181
8.2 推薦系統(tǒng)的公平性問題 182
8.2.1 公平性策略-消除位置偏置和資源曝光偏置 182
8.2.2 YouTube 消除位置偏置實踐 187
8.2.3 華為消除位置偏置實踐--PAL 模型 188
8.2.4 360 消除用戶組偏差實踐--語料采樣 189
8.2.5 360 多場景融合實踐--偏置建模消除用戶組偏差 191
8.2.6 360 實踐--PID 建模消除資源曝光偏置 192
8.3 多場景融合實踐 194
8.3.1 360 多場景融合實踐--將場景信息作為特征加入模型 195
8.3.2 360 多場景融合實踐--多塔結構學習各個場景 195
8.3.3 阿里巴巴多場景融合實踐--STAR 模型多場景融合 196
8.4 知識蒸餾在推薦系統(tǒng)中的應用 200
8.4.1 知識蒸餾的背景 200
8.4.2 阿里巴巴廣告知識蒸餾實踐 201
8.4.3 阿里巴巴淘寶推薦知識蒸餾實踐 203
8.4.4 愛奇藝知識蒸餾實踐 205
8.5 推薦系統(tǒng)的冷啟動問題 206
8.5.1 基于規(guī)則的冷啟動過程 207
8.5.2 引入輔助信息優(yōu)化 Embedding冷啟動 207
8.5.3 元學習優(yōu)化 Embedding冷啟動 208
8.6 深度學習模型的特征選擇 216
8.6.1 基于 L2 的特征選擇 216
8.6.2 基于 SE Block 的特征選擇 216
8.7 推薦系統(tǒng)的其他問題 218
8.7.1 基于 Look-alike 解決推薦系統(tǒng)長尾問題 218
8.7.2 正負樣本不平衡實踐--Focal loss 221
8.7.3 深度學習推薦系統(tǒng)的預訓練實踐 222
8.8 小結 222