Diffusion AI繪圖模型構造與訓練實戰(zhàn)

第1章介紹Diffusion模型的發(fā)展歷程，以及本書中相關任務的訓練方法。
第2章介紹開發(fā)環(huán)境的配置，并且快速上手Diffusion模型的使用。
第3章介紹不定圖像的生成任務。
第4章介紹文本訓練方法。
第5章介紹Dream Booth訓練方法。
第6章介紹圖文結合的訓練方法。
第7章介紹使用LoRA技巧加速訓練。
第8章介紹AE模型。
第9章介紹VAE模型。
第10章介紹DCGAN模型。
第11章介紹WGANGP模型。
第12章手動構造一個沒有文本輸入的Diffusion模型。
第13章介紹ControlNet組件。
第14章介紹Instruct Pix2Pix訓練方法。
第15章介紹正負樣本混合訓練方法。
第16章介紹Pix2Pix模型。
第17章介紹CycleGAN模型。
第18章介紹風格遷移任務。
第19章手動構建一個完整的Diffusion模型。
閱讀建議
本書是一本對Diffusion模型進行綜合性講解的書籍，既有基礎知識，也有實戰(zhàn)示例，也包括底層原理的講解。
本書盡量以簡潔的語言書寫，每個章節(jié)之間的內容盡量獨立，使讀者可以跳躍閱讀而沒有障礙。
作為一本實戰(zhàn)型書籍，讀者要掌握本書的知識，務必要結合代碼調試，本書的代碼也盡量以簡潔的形式書寫，使讀者閱讀時不感吃力。每個代碼塊即是一個測試單元，讀者可以對每個程序的每個代碼塊按從上到下的順序進行測試，從一個個小知識點聚沙成塔，融會貫通。
資源下載提示
素材（源碼）等資源: 掃描封底的文泉云盤防盜碼，再掃描目錄上方的二維碼下載。
致謝
感謝HuggingFace社區(qū)無私的奉獻，因為有了你們的工作成果，本書才得以以簡潔、標準化的API面世。
在書寫本書的過程中，我竭盡所能為讀者呈現(xiàn)最好的內容，錯漏難免會存在，敬請讀者批評指正。
李福林2023年11月
本書源碼
快速上手篇
第1章Diffusion模型3
1.1Diffusion模型介紹3
1.1.1Diffusion模型的演化之路4
1.1.2圖像以外的應用6
1.1.3其他的繪圖模型6
1.2微調預訓練模型6
1.2.1預訓練模型6
1.2.2微調模型以適應新數據7
1.2.3微調相比重新訓練的優(yōu)勢7
1.3小結8
第2章快速上手9
2.1部署開發(fā)環(huán)境9
2.2HuggingFace簡介和快速上手11
2.2.1快速上手11
2.2.2加速技巧12
2.3Diffusion模型相關組件介紹13
2.3.1tokenizer13
2.3.2scheduler15
2.3.3Encoder16
2.3.4VAE17
2.3.5UNet18
2.4小結20
訓練方法篇
第3章不定圖像的生成23
3.1任務簡介23
3.2數據集介紹23
3.3測試部分24
3.3.1測試函數24
3.3.2未訓練模型的測試結果25
3.3.3訓練后模型的測試結果27
3.4訓練部分28
3.4.1全局常量28
3.4.2定義數據集28
3.4.3定義模型30
3.4.4初始化工具類31
3.4.5計算loss32
3.4.6訓練34
3.5小結35
第4章文本訓練36
4.1任務簡介36
4.2數據集介紹36
4.3測試部分37
4.3.1測試函數37
4.3.2未訓練模型的測試結果38
4.3.3訓練后模型的測試結果39
4.4訓練部分39
4.4.1全局常量39
4.4.2定義數據集39
4.4.3定義模型44
4.4.4初始化工具類47
4.4.5計算loss47
4.4.6訓練50
4.5小結51
第5章Dream Booth53
5.1任務簡介53
5.2數據集介紹53
5.3測試部分54
5.3.1測試函數54
5.3.2未訓練模型的測試結果55
5.3.3訓練后模型的測試結果55
5.4訓練部分56
5.4.1全局常量56
5.4.2定義數據集56
5.4.3定義模型60
5.4.4初始化工具類61
5.4.5計算loss61
5.4.6訓練62
5.5小結64
第6章圖文結合的訓練65
6.1任務簡介65
6.2數據集介紹65
6.3測試部分66
6.3.1測試函數67
6.3.2未訓練模型的測試結果68
6.3.3訓練后模型的測試結果68
6.4訓練部分69
6.4.1全局常量69
6.4.2定義數據集69
6.4.3定義模型73
6.4.4初始化工具類73
6.4.5計算loss74
6.4.6訓練75
6.5小結77
第7章LoRA Dream Booth78
7.1任務簡介78
7.2數據集介紹79
7.3測試部分79
7.3.1測試函數79
7.3.2未訓練模型的測試結果80
7.3.3訓練后模型的測試結果80
7.4訓練部分81
7.4.1全局常量81
7.4.2定義數據集81
7.4.3定義模型84
7.4.4初始化工具類87
7.4.5計算loss87
7.4.6訓練88
7.5小結89
圖像生成模型的歷史發(fā)展篇
第8章AE模型93
8.1模型原理介紹93
8.2鮮花數據集介紹94
8.3定義數據集95
8.4定義神經網絡模型98
8.4.1定義Block工具層98
8.4.2定義Encoder和Decoder100
8.5訓練101
8.5.1訓練前的準備工作101
8.5.2執(zhí)行訓練102
8.6測試104
8.6.1測試本地訓練的模型104
8.6.2使用訓練好的模型測試105
8.7小結105
第9章VAE模型106
9.1AE模型的缺陷106
9.2定義神經網絡模型107
9.3訓練108
9.3.1訓練前的準備工作108
9.3.2執(zhí)行訓練109
9.4測試111
9.4.1測試本地訓練的模型111
9.4.2使用訓練好的模型測試111
9.5小結113
第10章DCGAN模型114
10.1模型原理介紹114
10.2定義神經網絡模型115
10.2.1定義CLS模型115
10.2.2定義GEN模型116
10.3訓練117
10.3.1訓練前的準備工作117
10.3.2訓練CLS模型的函數118
10.3.3訓練GEN模型的函數119
10.3.4執(zhí)行訓練120
10.4測試122
10.4.1測試本地訓練的模型122
10.4.2使用訓練好的模型測試122
10.5小結123
第11章WGANGP模型124
11.1模型原理介紹124
11.2定義神經網絡模型125
11.3訓練126
11.3.1訓練前的準備工作126
11.3.2訓練CLS模型的函數127
11.3.3執(zhí)行訓練128
11.4測試130
11.4.1測試本地訓練的模型130
11.4.2使用訓練好的模型測試130
11.5小結131
第12章Diffusion模型132
12.1模型原理介紹132
12.2定義神經網絡模型134
12.3定義圖像生成函數142
12.4訓練144
12.5測試146
12.6小結147
訓練方法篇
第13章ControlNet以圖生圖151
13.1任務簡介151
13.2數據集介紹153
13.3測試部分154
13.3.1測試函數155
13.3.2未訓練模型的測試結果156
13.3.3訓練后模型的測試結果158
13.4訓練部分159
13.4.1全局常量159
13.4.2定義數據集159
13.4.3定義ControlNet模型162
13.4.4定義模型168
13.4.5初始化工具類169
13.4.6計算loss169
13.4.7訓練171
13.5小結172
第14章Instruct Pix2Pix圖像調整173
14.1任務簡介173
14.2數據集介紹174
14.3測試部分175
14.3.1加載數據集175
14.3.2測試函數176
14.4訓練部分179
14.4.1全局常量179
14.4.2定義數據集180
14.4.3定義模型181
14.4.4初始化工具類182
14.4.5計算loss183
14.4.6訓練186
14.5小結187
第15章正、負樣本混合訓練188
15.1任務簡介188
15.2數據集介紹188
15.3測試部分190
15.3.1配置環(huán)境190
15.3.2測試函數191
15.3.3未訓練模型的測試結果191
15.3.4訓練后模型的測試結果192
15.4訓練部分193
15.4.1全局常量193
15.4.2定義數據集193
15.4.3定義模型200
15.4.4初始化工具類203
15.4.5計算loss203
15.4.6訓練206
15.5小結207
以圖生圖模型的歷史發(fā)展篇
第16章Pix2Pix模型211
16.1任務介紹211
16.2數據集介紹212
16.3定義數據集213
16.4定義神經網絡模型216
16.4.1定義CLS模型217
16.4.2定義殘差連接層217
16.4.3定義GEN模型218
16.5訓練220
16.5.1訓練前的準備工作220
16.5.2訓練CLS的函數221
16.5.3訓練GEN的函數222
16.5.4執(zhí)行訓練223
16.6測試226
16.6.1測試本地訓練的模型226
16.6.2使用訓練好的模型測試228
16.7小結228
第17章CycleGAN模型230
17.1模型原理介紹230
17.2數據集介紹231
17.3定義數據集232
17.4定義神經網絡模型234
17.4.1定義CLS模型234
17.4.2定義GEN模型235
17.5訓練237
17.5.1訓練前的準備工作237
17.5.2訓練CLS的函數238
17.5.3訓練GEN的函數239
17.5.4執(zhí)行訓練242
17.6測試243
17.6.1測試本地訓練的模型243
17.6.2使用訓練好的模型測試244
17.7小結245
Diffusion模型篇
第18章風格遷移249
18.1模型原理介紹249
18.1.1針對單張圖片的風格遷移249
18.1.2基于神經網絡模型的風格遷移250
18.1.3風格遷移模型的訓練方法250
18.1.4數據部分251
18.2定義神經網絡模型252
18.2.1定義CLS模型254
18.2.2定義抽取內容特征的函數254
18.2.3定義抽取風格特征的函數255
18.2.4加載風格圖片特征256
18.3訓練257
18.3.1訓練前的準備工作257
18.3.2執(zhí)行訓練257
18.4測試259
18.4.1測試本地訓練的模型259
18.4.2使用訓練好的模型測試260
18.5小結260
第19章手動構建Diffusion模型261
19.1模型原理介紹261
19.2Encoder模型263
19.2.1編碼層263
19.2.2注意力層264
19.2.3編碼器層266
19.2.4Encoder模型268
19.2.5載入參數268
19.2.6試算270
19.3VAE模型270
19.3.1殘差連接層270
19.3.2注意力層272
19.3.3Pad工具層274
19.3.4VAE模型275
19.3.5載入參數278
19.3.6試算280
19.4UNet模型281
19.4.1模型結構281
19.4.2殘差連接層282
19.4.3注意力層284
19.4.4Transformers層286
19.4.5down層289
19.4.6up層290
19.4.7UNet模型291
19.4.8載入參數296
19.4.9試算298
19.5訓練299
19.5.1加載工具類299
19.5.2定義數據集300
19.5.3定義模型303
19.5.4計算loss304
19.5.5執(zhí)行訓練305
19.6測試306
19.6.1定義生成函數306
19.6.2定義測試函數308
19.6.3測試未訓練的模型309
19.6.4測試訓練好的模型310
19.7小結311