123,123,123

內(nèi)容簡(jiǎn)介

　　推薦系統(tǒng)作為近年來(lái)非常熱門(mén)的AI技術(shù)落地場(chǎng)景，已廣泛應(yīng)用于各行業(yè)的互聯(lián)網(wǎng)應(yīng)用，從衣食住行到娛樂(lè)消費(fèi)，以及無(wú)處不在的廣告，背后都依賴(lài)推薦系統(tǒng)的決策。本書(shū)貼合工業(yè)級(jí)推薦系統(tǒng)，以推薦系統(tǒng)的整體技術(shù)框架為切入點(diǎn)，深入剖析推薦系統(tǒng)中的內(nèi)容理解、用戶(hù)畫(huà)像、召回、排序、重排等核心模塊，介紹每個(gè)模塊的核心技術(shù)和業(yè)界應(yīng)用，并展開(kāi)介紹了推薦冷啟動(dòng)、推薦偏置與消偏等常見(jiàn)問(wèn)題和解決方案。此外，還對(duì)當(dāng)前推薦系統(tǒng)領(lǐng)域的熱門(mén)前沿技術(shù)進(jìn)行了介紹，包括強(qiáng)化學(xué)習(xí)、因果推斷、端上智能等。

作者簡(jiǎn)介

　　胡瀾濤，畢業(yè)于清華大學(xué)計(jì)算機(jī)系，快手推薦算法技術(shù)總監(jiān)。曾任字節(jié)跳動(dòng)高級(jí)算法工程師，騰訊高級(jí)研究員。在推薦系統(tǒng)領(lǐng)域有豐富的實(shí)踐經(jīng)驗(yàn)，負(fù)責(zé)過(guò)包括Tikok、快手、微信看一看在內(nèi)的多個(gè)大規(guī)模工業(yè)級(jí)推薦系統(tǒng)的核心研發(fā)工作。主要研究方向?yàn)橥扑]系統(tǒng)，發(fā)表相關(guān)領(lǐng)域的學(xué)術(shù)論文6篇，擁有專(zhuān)利5項(xiàng)。李？h亭，畢業(yè)于大連理工大學(xué)計(jì)算機(jī)專(zhuān)業(yè)。曾先后就職于百度、小米等公司，參與百度鳳巢廣告CTR預(yù)估模型的研發(fā)，負(fù)責(zé)小米音樂(lè)、閱讀、應(yīng)用商店、游戲中心等多個(gè)產(chǎn)品推薦服務(wù)從0到1的搭建，在搜索、廣告、推薦領(lǐng)域有豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。目前轉(zhuǎn)戰(zhàn)智能家居領(lǐng)域，探索智能感知、智能決策等AI技術(shù)在新場(chǎng)景的落地。崔光范，畢業(yè)于中國(guó)科學(xué)院軟件研究所，愛(ài)奇藝助理研究員，負(fù)責(zé)短視頻信息流推薦業(yè)務(wù)。曾任小米推薦算法工程師，負(fù)責(zé)應(yīng)用商店、游戲中心、有品等業(yè)務(wù)的推薦工作，從零構(gòu)建了小米垂域業(yè)務(wù)的深度推薦引擎。主要研究方向是推薦系統(tǒng)、計(jì)算廣告、搜索等，發(fā)表過(guò)多篇論文和專(zhuān)利。易可欣，畢業(yè)于北京大學(xué)，先后在愛(ài)奇藝、快手擔(dān)任推薦系統(tǒng)算法工程師，主要研究方向?yàn)檎倩夭呗耘c模型、數(shù)據(jù)挖掘、樣本優(yōu)化等。

圖書(shū)目錄

第1章　初識(shí)推薦系統(tǒng) 1
1.1　推薦系統(tǒng)大時(shí)代 1
1.1.1 推薦系統(tǒng)的定義 2
1.1.2 推薦系統(tǒng)的價(jià)值 3
1.1.3 推薦系統(tǒng)的天時(shí)地利 4
1.1.4 推薦系統(tǒng)架構(gòu)概覽 5
1.2 推薦系統(tǒng)的核心模塊 7
1.2.1 內(nèi)容理解：理解和刻畫(huà)推薦內(nèi)容 7
1.2.2 用戶(hù)畫(huà)像：理解和刻畫(huà)用戶(hù) 7
1.2.3 召回：為用戶(hù)初篩內(nèi)容 8
1.2.4 排序：為用戶(hù)精選內(nèi)容 9
1.2.5 重排：從業(yè)務(wù)角度進(jìn)行內(nèi)容調(diào)整 10
1.2.6 推薦系統(tǒng)質(zhì)量評(píng)估體系 11
總結(jié) 11
第2章　多模態(tài)時(shí)代的內(nèi)容理解 13
2.1 內(nèi)容標(biāo)簽體系建設(shè) 14
2.1.1 標(biāo)簽體系的作用 14
2.1.2 標(biāo)簽體系設(shè)計(jì)和建設(shè) 14
2.1.3 標(biāo)簽提取和生成 16
2.2 文本內(nèi)容理解 18
2.2.1 文本分類(lèi) 18
2.2.2 文本標(biāo)簽提取 21
2.2.3 文本聚類(lèi) 22
2.2.4 文本Embedding 22
2.2.5 知識(shí)圖譜 26
2.3 多模態(tài)內(nèi)容理解 28
2.3.1 圖像分類(lèi) 28
2.3.2 視頻分類(lèi) 30
2.3.3 視頻多模態(tài)內(nèi)容Embedding 31
2.4 內(nèi)容理解在推薦系統(tǒng)中的應(yīng)用 32
總結(jié) 33
第3章　比你更了解自己的用戶(hù)畫(huà)像 34
3.1 初識(shí)用戶(hù)畫(huà)像 34
3.1.1 什么是用戶(hù)畫(huà)像 35
3.1.2 用戶(hù)畫(huà)像的作用 35
3.1.3 用戶(hù)畫(huà)像系統(tǒng)架構(gòu) 36
3.2 用戶(hù)畫(huà)像標(biāo)簽體系 37
3.2.1 用戶(hù)基礎(chǔ)屬性標(biāo)簽 37
3.2.2 用戶(hù)社交屬性標(biāo)簽 39
3.2.3 用戶(hù)行為屬性標(biāo)簽 39
3.2.4 用戶(hù)興趣標(biāo)簽 40
3.2.5 用戶(hù)分層標(biāo)簽 41
3.2.6 其他常用維度標(biāo)簽 41
3.3 用戶(hù)畫(huà)像標(biāo)簽開(kāi)發(fā) 42
3.3.1 標(biāo)簽的基礎(chǔ)數(shù)據(jù) 42
3.3.2 標(biāo)簽計(jì)算整體流程 42
3.3.3 規(guī)則類(lèi)標(biāo)簽 44
3.3.4 統(tǒng)計(jì)類(lèi)標(biāo)簽 44
3.3.5 模型類(lèi)標(biāo)簽 45
3.4 用戶(hù)畫(huà)像實(shí)踐案例 46
總結(jié) 51

第4章　包羅萬(wàn)象的召回環(huán)節(jié) 52
4.1 召回的基本邏輯和方法論 52
4.1.1 召回的重要性 52
4.1.2 召回與排序的區(qū)別 53
4.1.3 主要的召回策略與算法 54
4.2 傳統(tǒng)召回策略 55
4.2.1 基于內(nèi)容的召回 55
4.2.2 經(jīng)典協(xié)同過(guò)濾召回 56
4.2.3 探索類(lèi)召回 58
4.3 向量化模型召回 59
4.3.1 向量化模型召回原理 59
4.3.2 從KNN到ANN 60
4.3.3 經(jīng)典向量化召回模型 62
4.4 基于用戶(hù)行為序列的召回 65
4.4.1 SASRec——經(jīng)典行為序列召回模型 65
4.4.2 BERT4Rec與BST——NLP技術(shù)與用戶(hù)行為序列結(jié)合 66
4.4.3 MIND及其衍生——多興趣召回模型 68
4.4.4 超長(zhǎng)序列召回——建模用戶(hù)全期興趣 70
4.5 圖Embedding在召回中的應(yīng)用 72
4.5.1 圖Embedding技術(shù) 73
4.5.2 DeepWalk——經(jīng)典圖Embedding方法 74
4.5.3 Node2Vec——DeepWalk更進(jìn)一步 75
4.5.4 PinSAGE——GCN在推薦系統(tǒng)領(lǐng)域的工業(yè)化應(yīng)用 76
4.5.5 MetaPath2Vec——異構(gòu)圖Embedding方法 77
4.6 前瞻性召回策略與模型 79
4.6.1 TDM——模型與索引結(jié)合的藝術(shù) 79
4.6.2 對(duì)比學(xué)習(xí)——樣本的魔法 81
4.7 召回質(zhì)量評(píng)估方法 82
4.7.1 召回評(píng)估方法概述 83
4.7.2 召回率、精確率、F1值——基準(zhǔn)評(píng)估指標(biāo) 83
4.7.3 HR、ARHR——TopN推薦評(píng)價(jià)指標(biāo) 84
4.7.4 CG、DCG、nDCG——信息增益維度的評(píng)估指標(biāo) 84
4.7.5 長(zhǎng)尾覆蓋評(píng)估 85
總結(jié) 86
第5章　投你所好的排序環(huán)節(jié) 87
5.1 排序環(huán)節(jié)的意義和優(yōu)化方向 87
5.1.1 排序環(huán)節(jié)的意義 87
5.1.2 排序環(huán)節(jié)的優(yōu)化方向 88
5.2 從Embedding看排序模型的演進(jìn) 89
5.2.1 什么是Embedding 90
5.2.2 Embedding的產(chǎn)生過(guò)程 91
5.2.3 特征組合在深度排序模型中的應(yīng)用 94
5.2.4 用戶(hù)歷史行為建模在深度排序模型中的應(yīng)用 101
5.2.5 超大規(guī)模Embedding在實(shí)際中的應(yīng)用 107
5.3 推薦系統(tǒng)粗排階段及其發(fā)展歷程 113
5.3.1 粗排定位與技術(shù)路線選擇 114
5.3.2 粗排模型架構(gòu)的演變 116
5.3.3 使用知識(shí)蒸餾增強(qiáng)粗排與精排的一致性 120
5.3.4 緩解樣本選擇偏差 128
5.3.5 粗排效果的評(píng)價(jià) 130
5.4 多目標(biāo)排序建模 131
5.4.1 多目標(biāo)排序建模的意義和挑戰(zhàn) 131
5.4.2 多目標(biāo)排序建模方法概覽 132
5.4.3 多目標(biāo)融合尋參 142
5.5 推薦系統(tǒng)排序階段的評(píng)估 142
5.5.1 排序評(píng)估的兩個(gè)階段 143
5.5.2 常用的效果評(píng)估指標(biāo) 144
5.5.3 常用的系統(tǒng)評(píng)估指標(biāo) 145
5.5.4 離線和線上效果的一致性問(wèn)題 146
總結(jié) 147
第6章　權(quán)衡再三重排序 148
6.1 重排序的必要性和作用 148
6.2 重排模型 150
6.2.1 重排模型建模的出發(fā)點(diǎn) 150
6.2.2 序列重排模型 151
6.2.3 基于強(qiáng)化學(xué)習(xí)的重排模型 157
6.3 重排多樣性策略 160
6.3.1 重排多樣性的出發(fā)點(diǎn) 160
6.3.2 多樣性評(píng)估指標(biāo) 161
6.3.3 規(guī)則多樣性打散 162
6.3.4 多樣性模型策略 164
6.4 重排中的業(yè)務(wù)規(guī)則 167
總結(jié) 169
第7章　如若初見(jiàn)冷啟動(dòng) 170
7.1 推薦冷啟動(dòng)的定義與挑戰(zhàn) 170
7.2 冷啟動(dòng)一般解決思路 171
7.3 新用戶(hù)推薦冷啟動(dòng) 173
7.3.1 新用戶(hù)召回策略 173
7.3.2 新用戶(hù)排序模型 175
7.3.3 新用戶(hù)重排策略 177
7.4 新物品分發(fā)冷啟動(dòng) 178
7.4.1 新物品冷啟動(dòng)召回策略 179
7.4.2 新物品冷啟動(dòng)排序策略 180
7.4.3 新物品冷啟動(dòng)流量分配機(jī)制 181
總結(jié) 184
第8章　推薦系統(tǒng)中的魔術(shù)手 185
8.1 特征工程 185
8.1.1 特征的理解和分類(lèi) 186
8.1.2 特征挖掘維度 186
8.1.3 工程視角下的特征工程開(kāi)發(fā) 187
8.1.4 特征工程的流程和方法 190
8.2 樣本加工藝術(shù) 193
8.2.1 如何提取有效樣本 193
8.2.2 負(fù)樣本優(yōu)化 195
8.2.3 樣本遷移 197
8.2.4 其他樣本優(yōu)化技巧 198
8.3 推薦系統(tǒng)實(shí)效性 198
8.3.1 推薦數(shù)據(jù)實(shí)效性 199
8.3.2 推薦模型實(shí)效性 201
8.3.3 在線學(xué)習(xí)整體機(jī)制 202
8.4 推薦中的偏差與消偏策略 202
8.4.1 推薦偏差的緣由 203
8.4.2 推薦系統(tǒng)常見(jiàn)偏差 203
8.4.3 常用的消偏技術(shù)和策略 205
總結(jié) 209
第9章　系統(tǒng)進(jìn)化的利器——AB實(shí)驗(yàn)平臺(tái) 210
9.1 什么是AB實(shí)驗(yàn) 210
9.2 AB實(shí)驗(yàn)平臺(tái)框架 212
9.3 AB實(shí)驗(yàn)分流機(jī)制＆實(shí)驗(yàn)類(lèi)型 214
9.4 AB實(shí)驗(yàn)效果評(píng)估 217
9.4.1 推薦系統(tǒng)常見(jiàn)的AB指標(biāo) 218
9.4.2 AB實(shí)驗(yàn)的假設(shè)檢驗(yàn) 219
9.4.3 AB實(shí)驗(yàn)的流量大小 221
9.5 AB實(shí)驗(yàn)并不是的 221
總結(jié) 225
第10章　推薦系統(tǒng)中的前沿技術(shù) 226
10.1 強(qiáng)化學(xué)習(xí) 226
10.2 因果推斷 230
10.3 端上智能 235
10.4 動(dòng)態(tài)算力分配 238
10.5 增益模型 241
總結(jié) 246