擴散模型從原理到實戰(zhàn)

第 1章　擴散模型簡介　1
1.1　擴散模型的原理　1
1.1.1　生成模型　1
1.1.2　擴散過程　2
1.2　擴散模型的發(fā)展　5
1.2.1　開始擴散：基礎(chǔ)擴散模型的提出與改進　6
1.2.2　加速生成：采樣器　6
1.2.3　刷新紀錄：基于顯式分類器引導(dǎo)的擴散模型　7
1.2.4　引爆網(wǎng)絡(luò)：基于CLIP的多模態(tài)圖像生成　8
1.2.5　再次“出圈”：大模型的“再學(xué)習(xí)”方法——DreamBooth、LoRA和ControlNet　8
1.2.6　開啟AI作畫時代：眾多商業(yè)公司提出成熟的圖像生成解決方案　10
1.3　擴散模型的應(yīng)用　12
1.3.1　計算機視覺 　12
1.3.2　時序數(shù)據(jù)預(yù)測　14
1.3.3　自然語言　15
1.3.4　基于文本的多模態(tài)　16
1.3.5　AI基礎(chǔ)科學(xué)　19
第 2章　Hugging Face簡介　21
2.1　Hugging Face核心功能介紹　21
2.2　Hugging Face開源庫　28
2.3　Gradio工具介紹　30
第3章　從零開始搭建擴散模型　33
3.1　環(huán)境準備　33
3.1.1　環(huán)境的創(chuàng)建與導(dǎo)入　33
3.1.2　數(shù)據(jù)集測試　34
3.2　擴散模型之退化過程　34
3.3　擴散模型之訓(xùn)練　36
3.3.1　 UNet網(wǎng)絡(luò)　36
3.3.2　開始訓(xùn)練模型　38
3.4　擴散模型之采樣過程　41
3.4.1　采樣過程　41
3.4.2　與DDPM的區(qū)別　44
3.4.3　UNet2DModel模型　44
3.5　擴散模型之退化過程示例　57
3.5.1　退化過程　57
3.5.2　最終的訓(xùn)練目標　59
3.6　拓展知識　60
3.6.1　時間步的調(diào)節(jié)　60
3.6.2　采樣（取樣）的關(guān)鍵問題　61
3.7　本章小結(jié)　61
第4章　Diffusers實戰(zhàn)　62
4.1　環(huán)境準備　62
4.1.1　安裝Diffusers庫　62
4.1.2　DreamBooth　64
4.1.3　Diffusers核心API　66
4.2　實戰(zhàn)：生成美麗的蝴蝶圖像　67
4.2.1　下載蝴蝶圖像集　67
4.2.2　擴散模型之調(diào)度器　69
4.2.3　定義擴散模型　70
4.2.4　創(chuàng)建擴散模型訓(xùn)練循環(huán)　72
4.2.5　圖像的生成　75
4.3　拓展知識　77
4.3.1　將模型上傳到Hugging Face Hub 　77
4.3.2　使用Accelerate庫擴大訓(xùn)練模型的規(guī)?！?9
4.4　本章小結(jié)　81
第5章　微調(diào)和引導(dǎo)　83
5.1　環(huán)境準備　86
5.2　載入一個預(yù)訓(xùn)練過的管線　87
5.3　DDIM——更快的采樣過程　88
5.4　擴散模型之微調(diào)　91
5.4.1　實戰(zhàn)：微調(diào)　91
5.4.2　使用一個最小化示例程序來微調(diào)模型　96
5.4.3　保存和載入微調(diào)過的管線　97
5.5　擴散模型之引導(dǎo)　98
5.5.1　實戰(zhàn)：引導(dǎo)　100
5.5.2　CLIP引導(dǎo)　104
5.6　分享你的自定義采樣訓(xùn)練　108
5.7　實戰(zhàn)：創(chuàng)建一個類別條件擴散模型　111
5.7.1　配置和數(shù)據(jù)準備　111
5.7.2　創(chuàng)建一個以類別為條件的UNet模型　112
5.7.3　訓(xùn)練和采樣　114
5.8　本章小結(jié)　117
第6章　Stable Diffusion　118
6.1　基本概念　118
6.1.1　隱式擴散　118
6.1.2　以文本為生成條件　119
6.1.3　無分類器引導(dǎo)　121
6.1.4　其他類型的條件生成模型：Img2Img、Inpainting與Depth2Img模型 　122
6.1.5　使用DreamBooth進行微調(diào)　123
6.2　環(huán)境準備　124
6.3　從文本生成圖像　125
6.4　Stable Diffusion Pipeline　128
6.4.1　可變分自編碼器　128
6.4.2　分詞器和文本編碼器　129
6.4.3　UNet　131
6.4.4　調(diào)度器　132
6.4.5　DIY采樣循環(huán)　134
6.5　其他管線介紹　136
6.5.1　Img2Img　136
6.5.2　Inpainting　138
6.5.3　Depth2Image　139
6.6　本章小結(jié)　140
第7章　DDIM反轉(zhuǎn)　141
7.1　實戰(zhàn)：反轉(zhuǎn)　141
7.1.1　配置　141
7.1.2　載入一個預(yù)訓(xùn)練過的管線　142
7.1.3　DDIM采樣　143
7.1.4　反轉(zhuǎn)　147
7.2　組合封裝　153
7.3　ControlNet的結(jié)構(gòu)與訓(xùn)練過程　158
7.4　ControlNet示例　162
7.4.1　ControlNet與Canny Edge　162
7.4.2　ControlNet與M-LSD Lines　162
7.4.3　ControlNet與HED Boundary　163
7.4.4　ControlNet與涂鴉畫　164
7.4.5　ControlNet與人體關(guān)鍵點　164
7.4.6　ControlNet與語義分割　164
7.5　ControlNet實戰(zhàn)　165
7.6　本章小結(jié)　174
第8章　音頻擴散模型　175
8.1　實戰(zhàn)：音頻擴散模型　175
8.1.1　設(shè)置與導(dǎo)入　175
8.1.2　在預(yù)訓(xùn)練的音頻擴散模型管線中進行采樣　176
8.1.3　從音頻到頻譜的轉(zhuǎn)換　177
8.1.4　微調(diào)管線　180
8.1.5　訓(xùn)練循環(huán)　183
8.2　將模型上傳到Hugging Face Hub　186
8.3　本章小結(jié)　187
附錄A　精美圖像集展示　188
附錄B　Hugging Face相關(guān)資源　202