Python預訓練視覺和大語言模型

第Ⅰ部分  預訓練前
第1章　預訓練基礎模型簡介   3
1.1  預訓練和微調(diào)藝術   4
1.2  Transformer模型架構和自注意力   6
1.3  最先進的視覺模型和語言模型   8
1.3.1  截至2023年4月的頂級視覺模型   9
1.3.2  對比預訓練與自然語言監(jiān)督   11
1.3.3  截至2023年4月的頂級語言模型   12
1.3.4  語言技術重點——因果建模和縮放法則   14
1.4  編碼器和解碼器   15
1.5  本章小結   17
第2章　數(shù)據(jù)集準備：第1部分   19
2.1  為基礎建模尋找數(shù)據(jù)集和用例   19
2.2  你的數(shù)據(jù)集有多大區(qū)別   23
2.2.1  使用縮放法則調(diào)整數(shù)據(jù)集的大小   25
2.2.2  基礎——神經(jīng)語言模型的縮放法則   26
2.3  偏差檢測和減少   28
2.4  增強數(shù)據(jù)集——多語言、多模態(tài)和增強   30
2.5  本章小結   32
第3章　模型準備   35
3.1  尋找最優(yōu)基礎模型   35
3.1.1  從最小的基礎模型開始   37
3.1.2  權衡——簡單與復雜   37
3.1.3  權衡——應用于許多用例，而非局限于一個用例   38
3.1.4  找到最優(yōu)基礎模型的技術方法   39
3.2  尋找預訓練損失函數(shù)   39
3.2.1  視覺的預訓練損失函數(shù)——ViT和CoCa   41
3.2.2  語言中的預訓練損失函數(shù)——Alexa教師模型   44
3.2.3  更改預訓練損失函數(shù)   46
3.3  設定模型大小   46
3.3.1  解決模型大小問題的實用方法   49
3.3.2  并非所有縮放法則的效果都相同   49
3.3.3  規(guī)劃未來的實驗   50
3.4  本章小結   51
第Ⅱ部分　配置環(huán)境   
第4章　云容器和云加速器   55
4.1  什么是加速器，為什么它們很重要   55
4.2  準備使用加速器   58
4.3  優(yōu)化加速器性能   63
4.3.1  超參數(shù)   63
4.3.2　AWS上加速器的基礎設施優(yōu)化   64
4.4  加速器性能故障排除   65
4.5  本章小結   67
第5章　分布式基礎知識   69
5.1  理解關鍵概念——數(shù)據(jù)和模型并行性   69
5.1.1  什么是數(shù)據(jù)并行   70
5.1.2  什么是模型并行   71
5.2  將模型與數(shù)據(jù)并行相結合   73
5.3  Amazon SageMaker分布式訓練   74
5.3.1  分布式訓練軟件   75
5.3.2  SM DDP   76
5.3.3  SMP庫   77
5.4  減少GPU內(nèi)存的高級技術   79
5.4.1  張量并行性   80
5.4.2  優(yōu)化器狀態(tài)分片   81
5.4.3  激活檢查點   81
5.4.4  分片數(shù)據(jù)并行性   81
5.5  當今模型的示例   82
5.5.1  Stable Diffusion——大規(guī)模數(shù)據(jù)并行   82
5.5.2  GPT-3——大規(guī)模的模型和數(shù)據(jù)并行性   83
5.6  本章小結   84
第6章　數(shù)據(jù)集準備：第2部分   85
6.1  Python中的數(shù)據(jù)加載器   86
6.2  構建和測試自己的數(shù)據(jù)加載器——來自Stable Diffusion的案例研究   88
6.3  創(chuàng)建嵌入——詞元分析器和智能功能的其他關鍵步驟   91
6.4  在Amazon SageMaker上優(yōu)化數(shù)據(jù)管道   95
6.5  在AWS上大規(guī)模轉換深度學習數(shù)據(jù)集   98
6.6  本章小結   100
第Ⅲ部分　訓練模型
第7章　尋找合適的超參數(shù)   103
7.1  超參數(shù)——批量大小、學習率等   103
7.2  微調(diào)策略   105
7.3  基礎模型的超參數(shù)微調(diào)   108
7.4  使用SageMaker根據(jù)world size放大   109
7.5  本章小結   113
第8章　SageMaker的大規(guī)模訓練   115
8.1  優(yōu)化SageMaker訓練的腳本   115
8.1.1  導入程序包   116
8.1.2  參數(shù)解析   116
8.1.3　函數(shù)定義和用法   118
8.2  SageMaker訓練的頂級可用性功能   121
8.2.1  用于快速實驗的暖池   121
8.2.2  SSM和SSH進入訓練實例   122
8.2.3  跟蹤作業(yè)和實驗以復制結果   123
8.3  本章小結   127
第9章　高級訓練概念   129
9.1  評估和提高吞吐量   129
9.2  使用Flash注意力加速訓練運行   132
9.3  通過編譯加快作業(yè)速度   133
9.4  Amazon SageMaker訓練編譯器和Neo   135
9.5  在亞馬遜的Trainium和Inferentia自定義硬件上運行編譯后的模型   137
9.6  求解最優(yōu)訓練時間   138
9.7  本章小結   140
第Ⅳ部分  評估模型   
第10章  微調(diào)和評估   143
10.1  對語言、文本和其間的一切進行微調(diào)   143
10.1.1  微調(diào)純語言模型   145
10.1.2  微調(diào)純視覺模型   147
10.1.3  微調(diào)視覺語言模型   149
10.2  評估基礎模型   150
10.2.1  視覺模型評估指標   150
10.2.2  語言模型評估指標   152
10.2.3  聯(lián)合視覺-語言任務中的模型評估指標   154
10.2.4  通過SageMaker Ground Truth將人類視角與標簽相結合   156
10.3  從人類反饋中強化學習   157
10.4  本章小結   158
第11章  檢測、減少和監(jiān)控偏差   161
11.1  檢測機器學習模型中的偏差   161
11.2  減少視覺和語言模型中的偏差   165
11.2.1  語言模型中的偏差減少——反事實數(shù)據(jù)增強和公平損失函數(shù)   166
11.2.2  視覺模型中的偏差減少——減少相關性并解決采樣問題   169
11.3  監(jiān)控機器學習模型中的偏差   170
11.4  使用SageMaker Clarify檢測、減輕和監(jiān)控偏差   172
11.5  本章小結   173
第Ⅴ部分  部署模型
第12章  如何部署模型   177
12.1  模型部署的定義   177
12.2  托管模型的最優(yōu)方式   179
12.3  為什么縮小模型，以及如何縮小   182
12.3.1  模型編譯   183
12.3.2  知識蒸餾   183
12.3.3  量化   184
12.4  在SageMaker上托管分布式模型   184
12.5  模型服務器和端到端托管優(yōu)化   186
12.6  本章小結   188
第13章  提示工程   189
13.1  提示工程——以少搏多的藝術   189
13.2  從少樣本學習到零樣本學習   190
13.3  文本到圖像提示工程的注意之處   193
13.4  圖像到圖像提示工程的注意之處   196
13.4.1  放大   196
13.4.2  掩膜   196
13.4.3  使用DreamBooth提示目標到圖像   197
13.5  提示大型語言模型   198
13.5.1  指令微調(diào)   198
13.5.2  思維鏈提示   199
13.5.3  摘要   200
13.5.4  防止提示注入和越獄   200
13.6  高級技術——前綴和提示微調(diào)   201
13.6.1  前綴微調(diào)   201
13.6.2  提示微調(diào)   203
13.7  本章小結   204
第14章  視覺和語言MLOps   205
14.1  什么是MLOps？   205
14.2  持續(xù)集成和持續(xù)部署   208
14.3  模型監(jiān)控和人機回環(huán)   210
14.4  基礎模型的MLOps   212
14.5  視覺MLOps   213
14.6  AWS為MLOps提供的服務   215
14.7  本章小結   218
第15章  預訓練基礎模型的未來趨勢   219
15.1  構建LLM應用程序的技術   219
15.1.1  使用開源堆棧構建交互式對話應用程序   220
15.1.2  使用RAG確保LLM應用程序的高準確性   222
15.1.3  生成是新的分類嗎？   223
15.1.4  用LLM構建應用的人性化設計   224
15.2  其他生成式模式   225
15.3  基礎模型中的AWS產(chǎn)品   226
15.4  基礎模型的未來   228
15.5  預訓練的未來   229
15.6  本章小結   232
——?以下內(nèi)容可掃描封底二維碼下載?——
參考文獻   233