MLOps工程實踐：工具、技術(shù)與企業(yè)級應(yīng)用

CONTENTS
目??錄
作者簡介
前言
第1章　全面了解MLOps1
1.1　人工智能的趨勢和現(xiàn)狀　1
1.1.1　趨勢1：人工智能在企業(yè)中加速落地，彰顯更多業(yè)務(wù)價值　1
1.1.2　趨勢2：人工智能應(yīng)用從以模型為中心向以數(shù)據(jù)為中心轉(zhuǎn)變　3
1.1.3　現(xiàn)狀：人工智能落地成功率低，
成本高　4
1.2　人工智能的問題、挑戰(zhàn)以及應(yīng)對措施　5
1.2.1　問題1：機器學(xué)習(xí)代碼只是整個系統(tǒng)的一小部分　5
1.2.2　問題2：數(shù)據(jù)是最主要的問題　6
1.2.3　挑戰(zhàn)：人工智能系統(tǒng)
如何規(guī)?；涞亍?
1.2.4　應(yīng)對措施：MLOps　8
1.3　MLOps簡介　8
1.3.1　MLOps的定義　8
1.3.2　MLOps相關(guān)的工具和平臺　12
1.3.3　MLOps的優(yōu)勢　13
1.4　MLOps與DevOps　14
1.4.1　DevOps的3個優(yōu)點　14
1.4.2　MLOps延續(xù)了DevOps的優(yōu)點　17
1.4.3　MLOps和DevOps的不同之處　19
1.4.4　MLOps和DevOps的目標(biāo)與
實踐理念　20
1.5　MLOps與其他XOps的區(qū)別　20
1.5.1　MLOps與AIOps的區(qū)別　21
1.5.2　MLOps與DataOps的區(qū)別　21
1.5.3　MLOps與ModelOps的區(qū)別　22
1.5.4　XOps的相同點：
都基于DevOps原則　22
1.6　本章小結(jié)　22
第2章　MLOps涉及的角色23
2.1　角色類型　23
2.1.1　產(chǎn)品經(jīng)理　24
2.1.2　數(shù)據(jù)科學(xué)家　24
2.1.3　數(shù)據(jù)工程師　25
2.1.4　機器學(xué)習(xí)工程師　26
2.1.5　DevOps工程師　27
2.1.6　IT運維工程師　27
2.2　角色劃分以及角色之間
存在的問題　28
2.2.1　角色劃分　28
2.2.2　問題1：技術(shù)棧不一致導(dǎo)致人工智能模型線上、線下效果不一致　28
2.2.3　問題2：關(guān)注點不同導(dǎo)致對系統(tǒng)的
需求不同　29
2.2.4　協(xié)作問題及解決辦法　30
2.3　本章小結(jié)　30
第3章　機器學(xué)習(xí)項目概論31
3.1　機器學(xué)習(xí)項目簡介　31
3.1.1　機器學(xué)習(xí)的定義　31
3.1.2　機器學(xué)習(xí)相關(guān)概念　33
3.1.3　機器學(xué)習(xí)能解決的問題　37
3.1.4　機器學(xué)習(xí)項目度量　38
3.1.5　機器學(xué)習(xí)項目難以落地的
原因　41
3.2　深入理解機器學(xué)習(xí)項目全流程　44
3.2.1　方案調(diào)研　45
3.2.2　方案投產(chǎn)　49
3.3　本章小結(jié)　51
第4章　MLOps中的數(shù)據(jù)部分52
4.1　從以模型為中心到以數(shù)據(jù)為中心　52
4.1.1　以模型為中心的時代　52
4.1.2　以數(shù)據(jù)為中心的時代　53
4.2　MLOps中的數(shù)據(jù)生命周期管理　55
4.3　數(shù)據(jù)存儲架構(gòu)演進(jìn)　56
4.4　MLOps中主要的數(shù)據(jù)問題及
解決方案　57
4.4.1　常見的數(shù)據(jù)質(zhì)量問題及
解決方案　57
4.4.2　時序數(shù)據(jù)穿越問題及解決方案　59
4.4.3　離線和實時數(shù)據(jù)一致性問題及
解決方案　64
4.4.4　數(shù)據(jù)安全問題及解決方案　66
4.4.5　數(shù)據(jù)共享與復(fù)用問題及
解決方案　67
4.5　本章小結(jié)　67
第5章　流水線工具69
5.1　Airflow　69
5.1.1　Airflow的功能和應(yīng)用場景　69
5.1.2　Airflow的核心概念　72
5.1.3　Airflow的使用方法　72
5.2　MLflow　80
5.2.1　MLflow的功能和應(yīng)用場景　80
5.2.2　MLflow的核心概念　81
5.2.3　MLflow的使用方法　82
5.3　其他流水線工具　91
5.4　本章小結(jié)　93
第6章　特征平臺94
6.1　特征平臺的概念和起源　94
6.2　特征平臺的特性　96
6.3　特征平臺的現(xiàn)狀　97
6.4　主流的特征平臺　98
6.4.1　Tecton的特征平臺　99
6.4.2　AWS的SageMaker特征平臺　100
6.4.3　Databricks的特征平臺　102
6.4.4　Feast項目　103
6.4.5　OpenMLDB項目　105
6.5　特征平臺的發(fā)展趨勢　106
6.6　本章小結(jié)　107
第7章　 實時特征平臺
OpenMLDB108
7.1　實時特征平臺構(gòu)建方法論　108
7.1.1　機器學(xué)習(xí)閉環(huán)　108
7.1.2　實時特征計算　109
7.1.3　痛點：線上線下計算一致性
校驗帶來的高成本　110
7.1.4　目標(biāo)：開發(fā)即上線　112
7.1.5　技術(shù)需求　112
7.1.6　抽象架構(gòu)　113
7.1.7　OpenMLDB架構(gòu)設(shè)計實踐　114
7.2　OpenMLDB項目介紹　116
7.2.1　設(shè)計理念　116
7.2.2　生產(chǎn)級機器學(xué)習(xí)特征平臺　116
7.2.3　核心特性　117
7.2.4　常見問題　117
7.3　核心模塊—在線引擎　118
7.3.1　概覽　118
7.3.2　Apache ZooKeeper　119
7.3.3　Nameserver　119
7.3.4　Tablet　120
7.4　核心數(shù)據(jù)結(jié)構(gòu)　122
7.4.1　背景介紹　122
7.4.2　雙層跳表索引　122
7.4.3　預(yù)聚合技術(shù)　124
7.4.4　性能表現(xiàn)　125
7.5　高級特性—主從集群部署　127
7.5.1　定義和目標(biāo)　127
7.5.2　技術(shù)方案　127
7.5.3　主從集群搭建實踐　130
7.5.4　主從集群部署常見問題　131
7.6　高級特性—雙存儲引擎　133
7.6.1　內(nèi)存和磁盤雙存儲
引擎架構(gòu)　133
7.6.2　功能支持對比　134
7.6.3　性能對比　135
7.7　執(zhí)行流程介紹　136
7.7.1　執(zhí)行流程概覽　136
7.7.2　執(zhí)行模式概覽　137
7.7.3　離線模式　137
7.7.4　在線模式　138
7.7.5　請求模式　138
7.8　實踐　139
7.8.1　準(zhǔn)備　140
7.8.2　使用流程　141
7.8.3　實時特征計算的結(jié)果說明　144
7.9　生態(tài)整合—在線數(shù)據(jù)源Kafka　145
7.9.1　簡介　145
7.9.2　準(zhǔn)備工作　146
7.9.3　步驟1：啟動OpenMLDB
并創(chuàng)建數(shù)據(jù)庫　146
7.9.4　步驟2：啟動Kafka
并創(chuàng)建Topic　147
7.9.5　步驟3：啟動Connector　147
7.9.6