碼農(nóng)的零門(mén)檻AI課：基于fastai與PyTorch的深度學(xué)習(xí)

前言......xxi
序......xxvii
第Ⅰ部分　上手實(shí)踐深度學(xué)習(xí)
第 1 章　你的深度學(xué)習(xí)之旅........ 3
人人都可以學(xué)會(huì)深度學(xué)習(xí) ...... 3
神經(jīng)網(wǎng)絡(luò)簡(jiǎn)史 .......... 5
作者介紹 ............... 8
如何學(xué)習(xí)深度學(xué)習(xí) ......... 9
你的項(xiàng)目和思維模式 .......... 11
構(gòu)建模型相關(guān)的庫(kù)和運(yùn)行環(huán)境 ：PyTorch、fastai 和 Jupyter（它們都不重要） .... 12
你的第一個(gè)模型 .............. 14
找一臺(tái)擁有合適 GPU 的計(jì)算機(jī)用于深度學(xué)習(xí) ....... 14
運(yùn)行你的第一個(gè) notebook ..........15
什么是機(jī)器學(xué)習(xí) ................20
什么是神經(jīng)網(wǎng)絡(luò) ............ 23
一些深度學(xué)習(xí)的術(shù)語(yǔ) ......... 24
機(jī)器學(xué)習(xí)的局限性 ............ 25
圖像識(shí)別器工作的方式 ....... 27
圖像識(shí)別器在學(xué)習(xí)什么 ..................33
圖像識(shí)別器可處理非圖像任務(wù) ....... 36
術(shù)語(yǔ)回顧 ................ 39
深度學(xué)習(xí)不僅僅用于圖像分類(lèi) .......... 41
驗(yàn)證集和測(cè)試集 .............. 48
根據(jù)判斷定義測(cè)試集 ..................50
選擇你想要冒險(xiǎn)探索的方向 .......... 53
問(wèn)題 .....................54
深入研究 ....................... 55
第 2 章　從模型到輸出..... 56
深度學(xué)習(xí)的實(shí)踐 .............56
開(kāi)始你的項(xiàng)目 ............... 57
深度學(xué)習(xí)的研究進(jìn)展 ........58
傳動(dòng)系統(tǒng)方法 .........62
收集數(shù)據(jù) ................ 63
從數(shù)據(jù)到數(shù)據(jù)加載器 ........ 68
數(shù)據(jù)增強(qiáng) ............ 72
訓(xùn)練模型，并使用模型進(jìn)行數(shù)據(jù)清洗 ......73
將模型轉(zhuǎn)換為在線(xiàn)應(yīng)用程序 ........ 76
使用模型進(jìn)行推理 ............ 76
從模型創(chuàng)建 notebook 應(yīng)用 ...........78
讓 notebook 成為一個(gè)真正的應(yīng)用程序 ....... 80
部署你的應(yīng)用程序 ........ 81
如何避免災(zāi)難 ...............84
不可預(yù)見(jiàn)的后果和反饋回路 ...... 86
寫(xiě)下來(lái) ............. 87
問(wèn)題 ................ 88
深入研究 ............... 89
第 3 章　數(shù)據(jù)倫理.........90
數(shù)據(jù)倫理的主要案例 .......... 91
各種 Bug 和追索權(quán) ：漏洞百出的醫(yī)療保健福利算法 ..... 92
反饋回路 ：YouTube 的推薦系統(tǒng) ........... 92
偏見(jiàn) ：拉塔尼亞 · 斯威尼“已被捕” ........ 92
為什么倫理如此重要 ......... 93
在產(chǎn)品設(shè)計(jì)中結(jié)合機(jī)器學(xué)習(xí) .. 96
數(shù)據(jù)倫理專(zhuān)題 .......... 97
追索權(quán)和問(wèn)責(zé)制 ........ 98
反饋回路 ........... 98
偏見(jiàn) ........... 101
謠言 .................111
識(shí)別和解決倫理問(wèn)題 ......... 112
分析你正在做的項(xiàng)目 ........ 113
落地流程 ....... 113
多元的力量........ 115
公平、問(wèn)責(zé)和透明 ....... 116
政策的作用 ...... 117
監(jiān)管的有效性 ....... 118
權(quán)利與政策.........118
汽車(chē) ：前車(chē)之鑒 ....... 119
結(jié)論 ........ 119
問(wèn)題 ........... 120
深入研究 .............. 121
上手實(shí)踐深度學(xué)習(xí) ：圓滿(mǎn)完成 ...... 122
第Ⅱ部分　理解 fastai 的應(yīng)用
第 4 章　深入探索謎底 ：訓(xùn)練數(shù)字分類(lèi)器.........125
像素 ：計(jì)算機(jī)視覺(jué)的基礎(chǔ) .......... 125
第一次嘗試 ：像素相似度 ............. 129
Numpy 數(shù)組和 PyTorch 張量............. 134
使用廣播機(jī)制計(jì)算指標(biāo)............ 136
隨機(jī)梯度下降法 ............ 140
梯度計(jì)算 .............. 144
通過(guò)學(xué)習(xí)率迭代 ............... 146
一個(gè)直觀(guān)的隨機(jī)梯度下降案例 ............ 148
梯度下降的總結(jié) ................ 153
MNIST 損失函數(shù) ............. 154
sigmoid .............. 160
隨機(jī)梯度下降及小批次 ............. 161
將它們集成在一起 ............ 162
創(chuàng)建一個(gè)優(yōu)化器 ........... 166
增加一個(gè)非線(xiàn)性特征 .......... 168
更深入一些...... 172
術(shù)語(yǔ)回顧 ........... 172
問(wèn)題 ................ 174
深入研究 ................ 175
第 5 章 　圖像分類(lèi)...........176
從貓狗識(shí)別到寵物分類(lèi)............ 176
圖像尺寸的預(yù)處理 ......... 179
檢查和調(diào)試數(shù)據(jù)塊 ............ 182
交叉熵?fù)p失 ......... 184
查看激活值和標(biāo)簽 ............ 185
softmax ............... 186
對(duì)數(shù)似然 ........ 189
使用對(duì)數(shù)函數(shù) .......... 191
模型解釋 ......... 193
改進(jìn)我們的模型 ........... 195
學(xué)習(xí)率查找器 .......... 195
解凍與遷移學(xué)習(xí) .... 197
區(qū)別學(xué)習(xí)率........... 199
選擇訓(xùn)練的周期數(shù) ..... 202
更深的網(wǎng)絡(luò)架構(gòu) .......... 202
結(jié)論 ........... 204
問(wèn)題 ........... 205
深入研究 ............ 206
第 6 章　其他計(jì)算機(jī)視覺(jué)問(wèn)題........207
多標(biāo)簽分類(lèi) ...... 207
數(shù)據(jù) ............. 208
構(gòu)建數(shù)據(jù)塊.......... 210
二元交叉熵........ 214
回歸 ............. 219
配置數(shù)據(jù) .......... 220
訓(xùn)練模型 ....... 223
結(jié)論 ......... 225
問(wèn)題 ......... 225
深入研究 ............ 226
第 7 章　訓(xùn)練最高水準(zhǔn)的模型..........227
Imagenette ....... 227
標(biāo)準(zhǔn)化 ............ 229
漸進(jìn)式調(diào)整尺寸 ....... 231
測(cè)試期的數(shù)據(jù)增強(qiáng) ....... 233
Mixup ...... 234
標(biāo)簽平滑 ......... 237
結(jié)論 ......... 239
問(wèn)題 ............. 239
深入研究 ..... 240
第 8 章　深入?yún)f(xié)同過(guò)濾.......241
了解數(shù)據(jù) ........... 242
學(xué)習(xí)潛在特征 ............ 244
創(chuàng)建 DataLoaders ........... 245
從頭開(kāi)始進(jìn)行協(xié)同過(guò)濾.......... 248
權(quán)重衰減 ............... 251
創(chuàng)建我們自己的嵌入模塊 .... 253
嵌入和偏差的解釋 ......... 255
使用 fastai.collab .......... 257
嵌入距離 ................ 257
啟動(dòng)協(xié)同過(guò)濾模型的自助取樣 ...... 258
用于協(xié)同過(guò)濾的深度學(xué)習(xí) ...... 259
結(jié)論 ............ 262
問(wèn)題 ....... 262
深入研究 .......... 263
第 9 章　深入學(xué)習(xí)表格建模.......264
分類(lèi)嵌入 ......... 264
超越深度學(xué)習(xí) ..... 269
數(shù)據(jù)集 .......... 270
Kaggle 競(jìng)賽 .. 270
查看數(shù)據(jù) ....... 272
決策樹(shù) ......... 274
處理日期 .......... 275
使用 TabularPandas 和 TabularProc .... 276
創(chuàng)建決策樹(shù)...... 279
分類(lèi)變量 ....... 283
隨機(jī)森林 ....... 284
創(chuàng)建一個(gè)隨機(jī)森林 ...... 285
out-of-bag error .... 287
模型解釋 ......... 288
樹(shù)預(yù)測(cè)置信度的方差 ...... 288
特征重要性........... 289
刪除低重要性特征 .... 290
刪除冗余特征 ....... 291
部分依賴(lài) ......... 294
數(shù)據(jù)泄露 .......... 296
樹(shù)解釋器 ....... 298
外推與神經(jīng)網(wǎng)絡(luò) ... 299
外推問(wèn)題 ...... 299
查找域外數(shù)據(jù) ... 301
使用神經(jīng)網(wǎng)絡(luò) ....... 303
集成 ....... 307
boosting ......... 308
將嵌入與其他方法相結(jié)合 ..... 309
結(jié)論 ........ 310
問(wèn)題 ......... 311
深入研究 ...... 312
第 10 章　NLP 深度探究 ：RNN.......313
文本預(yù)處理 ....... 314
分詞 ....... 316
用 fastai 進(jìn)行分詞 ....... 316
根據(jù)子詞分詞 .......... 320
使用 fastai 進(jìn)行數(shù)值化 .......... 322
將文本分批作為語(yǔ)言模型的輸入 ....... 323
訓(xùn)練文本分類(lèi)器 ........... 326
使用數(shù)據(jù)塊來(lái)訓(xùn)練語(yǔ)言模型 ....... 326
微調(diào)語(yǔ)言模型 ....... 328
保存和加載模型 ......... 329
文本生成 ....... 330
創(chuàng)建分類(lèi)器的數(shù)據(jù)加載器 ........... 331
微調(diào)分類(lèi)模型 ............. 333
虛假信息和語(yǔ)言模型 ............... 334
結(jié)論 ......... 337
問(wèn)題 .............. 337
深入研究 ............. 338
第 11 章　使用 fastai 的中間層 API 來(lái)處理數(shù)據(jù)............339
深入研究 fastai 的分層 API .......... 339
轉(zhuǎn)換 .............. 340
編寫(xiě)自定義轉(zhuǎn)換 ........... 342
管道 .............. 343
TfmdLists 和 Dataset ：轉(zhuǎn)換后的集合 ........ 343
TfmdLists ........... 344
Datasets ........ 346
應(yīng)用中間層數(shù)據(jù) API ：孿生體（Siamese Pair） ....... 348
結(jié)論 ........... 352
問(wèn)題 ......... 352
深入研究 ............. 353
理解 fastai 的應(yīng)用 ：總結(jié) ........ 353
第Ⅲ部分　深度學(xué)習(xí)基礎(chǔ)
第 12 章　從零開(kāi)始制作語(yǔ)言模型.......................357
數(shù)據(jù) ............................................ 357
從零開(kāi)始構(gòu)建你的第一個(gè)語(yǔ)言模型 ............. 359
PyTorch 語(yǔ)言模型 ....................... 360
我們的第一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò) .............. 363
改進(jìn) RNN ................................... 364
維持 RNN 的狀態(tài) ................... 365
創(chuàng)建更多的標(biāo)志 ......................... 368
多層循環(huán)神經(jīng)網(wǎng)絡(luò) .......................... 370
模型 ............................... 371
激活值消失 / 爆炸 ................. 372
LSTM .......................................... 373
從零開(kāi)始構(gòu)建 LSTM ....................... 374
使用 LSTM 訓(xùn)練一個(gè)語(yǔ)言模型 .............. 377
對(duì) LSTM 進(jìn)行正則化 ................. 378
dropout ........................................... 378
激活單元正則化和時(shí)序激活單元正則化 .............. 380
訓(xùn)練一個(gè)權(quán)重綁定正則化 LSTM ...................... 381
結(jié)論 ....................................... 382
問(wèn)題 .................................... 383
深入研究 ....................................... 385
第 13 章　卷積神經(jīng)網(wǎng)絡(luò)............................386
卷積的魔力 ............................ 386
應(yīng)用一個(gè)卷積核 ............................... 389
PyTorch 中的卷積 ................391
步長(zhǎng)和填充............................ 393
理解卷積方程 ................................. 395
我們的第一個(gè)卷積神經(jīng)網(wǎng)絡(luò) .................... 397
創(chuàng)建 CNN .................................... 397
理解卷積運(yùn)算 ................................. 401
感受野 ........................................ 402
關(guān)于 Twitter 的提示 ........................ 403
彩色圖像 .................................... 405
改善訓(xùn)練穩(wěn)定性 .................... 408
簡(jiǎn)單基準(zhǔn) .............................. 409
增加批次大小 ....................... 411
1 周期訓(xùn)練 ......................... 412
批次歸一化..................... 417
結(jié)論 ................................. 419
問(wèn)題 .............................. 420
深入研究 ............................ 421
第 14 章　ResNet.......................422
回到 Imagenette ................... 422
建立現(xiàn)代 CNN ：ResNet .............. 425
跳連 ............................... 426
最先進(jìn)的 ResNet ................ 431
瓶頸層 .............. 434
結(jié)論 .................. 436
問(wèn)題 ......................... 436
深入研究 .............................. 438
第 15 章　深入研究應(yīng)用架構(gòu)..........439
計(jì)算機(jī)視覺(jué) ............................ 439
cnn_learner ....................... 439
unet_learner .......................... 441
Siamese 網(wǎng)絡(luò) .......................... 443
自然語(yǔ)言處理 .......................... 445
表格 ............................... 446
結(jié)論 ................................ 447
問(wèn)題 .................................. 449
深入研究 .......................... 450
第 16 章　訓(xùn)練過(guò)程...................451
建立基線(xiàn) .............................. 451
通用優(yōu)化器 ........................... 453
動(dòng)量 ................................. 454
RMSProp ................................ 457
Adam .......................... 458
解耦權(quán)重衰減 ........................ 459
回調(diào) .................................. 460
創(chuàng)建一個(gè)回調(diào)函數(shù) .................. 463
回調(diào)排序和異常 .................. 466
結(jié)論 ....................................... 468
問(wèn)題 ......................... 468
深入研究 ...................... 469
深度學(xué)習(xí)基礎(chǔ) ：總結(jié) ............. 469
第Ⅳ部分　從零開(kāi)始學(xué)習(xí)深度學(xué)習(xí)
第 17 章　神經(jīng)網(wǎng)絡(luò)基礎(chǔ)...................473
從零開(kāi)始構(gòu)建神經(jīng)網(wǎng)絡(luò)層 ................... 473
建立神經(jīng)元模型 ............................ 473
從零開(kāi)始進(jìn)行矩陣乘法 ..................... 474
逐元素運(yùn)算.................................. 476
廣播 ............................................ 477
愛(ài)因斯坦求和 ............................... 482
前向和反向傳播 ............................. 483
定義神經(jīng)網(wǎng)絡(luò)層并對(duì)其初始化 .............. 483
梯度和反向傳播 .......................... 488
重構(gòu)模型 ........................... 491
邁向 PyTorch ......................... 492
結(jié)論 .................................. 495
問(wèn)題 ........ 496
深入研究 ................................. 497
第 18 章　用 CAM 做 CNN 的解釋............498
CAM 和 hook .......... 498
梯度 CAM ............502
結(jié)論 .......... 504
問(wèn)題 .................. 504
深入研究 ........... 504
第 19 章　從零開(kāi)始構(gòu)建 fastai Learner............505
數(shù)據(jù) ............... 505
數(shù)據(jù)集 .......... 507
Module 和 Parameter ........... 510
簡(jiǎn)單的 CNN .................. 513
損失 ...... 514
Learner ........ 516
回調(diào) ..... 518
調(diào)整學(xué)習(xí)率安排表 ...... 519
結(jié)論 ...... 522
問(wèn)題 .......... 522
深入研究 ......... 523
第 20 章　總結(jié).....................524
附錄 A　創(chuàng)建一個(gè)博客.................527
附錄 B　數(shù)據(jù)科學(xué)項(xiàng)目的檢查表.........536