計(jì)算機(jī)視覺度量：從特征描述到深度學(xué)習(xí)

第 1章 圖像的獲取和表示1
1．1 圖像傳感器技術(shù) 1
1．1．1 傳感器材料 2
1．1．2 傳感器光電二極管元件 3
1．1．3 傳感器配置：馬賽克、Foveon和BSI 3
1．1．4 動(dòng)態(tài)范圍、噪聲和超分辨率 4
1．1．5 傳感器處理 5
1．1．6 去馬賽克 5
1．1．7 壞像素校正 5
1．1．8 色彩和光照校正 6
1．1．9 幾何校正 6
1．2 照相機(jī)和計(jì)算成像 6
1．2．1 計(jì)算成像概述 7
1．2．2 單像素可計(jì)算相機(jī) 7
1．2．3 二維可計(jì)算照相機(jī) 8
1．2．4 三維深度的照相機(jī)系統(tǒng) 9
1．3 三維深度處理 18
1．3．1 方法概述 18
1．3．2 深度感知和處理中存在的問題 18
1．3．3 單目深度處理 23
1．4 三維表示：體元、深度圖、網(wǎng)格和點(diǎn)云 26
1．5 總結(jié) 27
1．6 習(xí)題 27
第 2章 圖像預(yù)處理 29
2．1 圖像處理概述 29
2．2 圖像預(yù)處理要解決的問題 29
2．2．1 計(jì)算機(jī)視覺的流程和圖像預(yù)處理 30
2．2．2 圖像校正 31
2．2．3 圖像增強(qiáng) 31
2．2．4 為特征提取準(zhǔn)備圖像 32
2．3 圖像處理方法分類 36
2．3．1 點(diǎn)運(yùn)算 36
2．3．2 直線運(yùn)算 36
2．3．3 區(qū)域運(yùn)算 37
2．3．4 算法 37
2．3．5 數(shù)據(jù)轉(zhuǎn)換 37
2．4 色彩學(xué) 37
2．4．1 色彩管理系統(tǒng)概述 38
2．4．2 光源、白點(diǎn)、黑點(diǎn)和中性軸 38
2．4．3 設(shè)備顏色模型 39
2．4．4 色彩空間與色彩感知 39
2．4．5 色域映射與渲染的目標(biāo) 40
2．4．6 色彩增強(qiáng)的實(shí)際考慮 41
2．4．7 色彩的準(zhǔn)確度與精度 41
2．5 空間濾波 41
2．5．1 卷積濾波與檢測(cè) 41
2．5．2 核濾波與形狀選擇 43
2．5．3 點(diǎn)濾波 44
2．5．4 噪聲與偽像濾波 45
2．5．5 積分圖與方框?yàn)V波器 46
2．6 邊緣檢測(cè)器 46
2．6．1 核集合 47
2．6．2 Canny檢測(cè)器 48
2．7 變換濾波、Fourier變換及其他 48
2．7．1 Fourier變換 48
2．7．2 其他變換 50
2．8 形態(tài)學(xué)與分割 51
2．8．1 二值形態(tài)學(xué) 51
2．8．2 灰度和彩色形態(tài)學(xué) 52
2．8．3 形態(tài)學(xué)優(yōu)化和改進(jìn) 53
2．8．4 歐氏距離映射 53
2．8．5 超像素分割 53
2．8．6 深度圖分割 54
2．8．7 色彩分割 55
2．9 閾值化 55
2．9．1 全局閾值化 56
2．9．2 局部閾值化 59
2．10 總結(jié) 60
2．11 習(xí)題 60
第3章 全局特征和區(qū)域特征 63
3．1 視覺特征的歷史概述 63
3．1．1 全局度量、區(qū)域度量和局部度量的核心思想 64
3．1．2 紋理分析 65
3．1．3 統(tǒng)計(jì)方法 68
3．2 紋理區(qū)域度量 68
3．2．1 邊緣度量 69
3．2．2 互相關(guān)性和自相關(guān)性 70
3．2．3 Fourier譜、小波和基簽名 71
3．2．4 共生矩陣、Haralick特征 71
3．2．5 Laws紋理度量 78
3．2．6 LBP局部二值模式 79
3．2．7 動(dòng)態(tài)紋理 80
3．3 統(tǒng)計(jì)區(qū)域度量 81
3．3．1 圖像矩特征 81
3．3．2 點(diǎn)度量特征 81
3．3．3 全局直方圖 83
3．3．4 局部區(qū)域直方圖 83
3．3．5 散點(diǎn)圖、3D直方圖 84
3．3．6 多分辨率、多尺度直方圖 85
3．3．7 徑向直方圖 87
3．3．8 輪廓或邊緣直方圖 87
3．4 基空間度量 88
3．4．1 Fourier描述 90
3．4．2 Walsh-Hadamard變換 90
3．4．3 HAAR變換 91
3．4．4 斜變換 91
3．4．5 Zernike多項(xiàng)式 91
3．4．6 導(dǎo)向?yàn)V波器 92
3．4．7 Karhunen-Loeve變換與Hotelling變換 93
3．4．8 小波變換和Gabor濾波器 93
3．4．9 Hough變換與Radon變換 95
3．5 總結(jié) 96
3．6 習(xí)題 96
第4章 局部特征設(shè)計(jì) 97
4．1 局部特征 97
4．1．1 檢測(cè)器、興趣點(diǎn)、關(guān)鍵點(diǎn)、錨點(diǎn)和特征點(diǎn) 98
4．1．2 描述子、特征描述和特征提取 98
4．1．3 稀疏局部模式方法 98
4．2 局部特征屬性 99
4．2．1 選擇特征描述子和興趣點(diǎn) 99
4．2．2 特征描述子和特征匹配 99
4．2．3 好特征的標(biāo)準(zhǔn) 99
4．2．4 可重復(fù)性，困難和容易的查找 101
4．2．5 判別性與非判別性 101
4．2．6 相對(duì)位置和絕對(duì)位置 101
4．2．7 匹配代價(jià)和一致性 101
4．3 距離函數(shù) 102
4．3．1 距離函數(shù)的早期工作 102
4．3．2 歐氏或笛卡兒距離度量 103
4．3．3 網(wǎng)格距離度量 104
4．3．4 基于統(tǒng)計(jì)學(xué)的差異性度量 105
4．3．5 二值或布爾距離度量 106
4．4 描述子的表示 107
4．4．1 坐標(biāo)空間和復(fù)合空間 107
4．4．2 笛卡兒坐標(biāo) 107
4．4．3 極坐標(biāo)和對(duì)數(shù)極坐標(biāo) 107
4．4．4 徑向坐標(biāo) 107
4．4．5 球面坐標(biāo) 108
4．4．6 Gauge坐標(biāo) 108
4．4．7 多元空間和多模數(shù)據(jù) 108
4．4．8 特征金字塔 109
4．5 描述子的密度 109
4．5．1 丟棄興趣點(diǎn)和描述子 109
4．5．2 稠密與稀疏特征描述 110
4．6 描述子形狀 110
4．6．1 關(guān)聯(lián)性模板 111
4．6．2 塊和形狀 111
4．6．3 對(duì)象多邊形 113
4．7 局部二值描述子與點(diǎn)對(duì)模式 113
4．7．1 FREAK視網(wǎng)膜模式 114
4．7．2 BRISK模式 115
4．7．3 ORB和BRIEF模式 116
4．8 描述子的判別性 116
4．8．1 譜的判別性 117
4．8．2 區(qū)域、形狀和模式的判別性 118
4．8．3 幾何判別因素 118
4．8．4 通過特征可視化來(lái)評(píng)價(jià)判別性 119
4．8．5 精度與可跟蹤性 121
4．8．6 精度優(yōu)化、子區(qū)域重疊、Gaussian加權(quán)和池化 122
4．8．7 亞像素精度 123
4．9 搜索策略與優(yōu)化 123
4．9．1 密集搜索 124
4．9．2 網(wǎng)格搜索 124
4．9．3 多尺度金字塔搜索 124
4．9．4 尺度空間和圖像金字塔 125
4．9．5 特征金字塔 126
4．9．6 稀疏預(yù)測(cè)搜索與跟蹤 127
4．9．7 跟蹤區(qū)域限制搜尋 127
4．9．8 分割限制搜索 127
4．9．9 深度或Z限制搜索 127
4．10 計(jì)算機(jī)視覺、模型和結(jié)構(gòu) 128
4．10．1 特征空間 128
4．10．2 對(duì)象模型 129
4．10．3 約束 130
4．10．4 選擇檢測(cè)器和特征 131
4．10．5 訓(xùn)練概述 131
4．10．6 特征和對(duì)象的分類 132
4．10．7 特征學(xué)習(xí)、稀疏編碼和卷積網(wǎng)絡(luò) 136
4．11 總結(jié) 139
4．12 習(xí)題 139
第5章 特征描述屬性的分類 141
5．1 一般的魯棒性分類 143
5．2 一般的視覺度量分類 146
5．3 特征度量評(píng)估 155
5．3．1 SIFT的示例 156
5．3．2 LBP的示例 156
5．3．3 形狀因子的示例 157
5．4 總結(jié) 158
5．5 習(xí)題 158
第6章 興趣點(diǎn)檢測(cè)與特征描述子 159
6．1 興趣點(diǎn)調(diào)整 159
6．2 興趣點(diǎn)的概念 160
6．3 興趣點(diǎn)方法概述 162
6．3．1 Laplacian和LoG 163
6．3．2 Moravac角點(diǎn)檢測(cè)器 163
6．3．3 Harris方法、Harris-Stephens、Shi-Tomasi和Hessian類型的檢測(cè)器 163
6．3．4 Hessian矩陣檢測(cè)器和Hessian-Laplace 164
6．3．5 Gaussian差 164
6．3．6 顯著性區(qū)域 164
6．3．7 SUSAN、Trajkovic-Hedly 165
6．3．8 FAST 165
6．3．9 局部曲率方法 166
6．3．10 形態(tài)興趣區(qū)域 167
6．4 特征描述簡(jiǎn)介 167
6．4．1 局部二值描述子 168
6．4．2 Census 173
6．4．3 改進(jìn)的Census變換 174
6．4．4 BRIEF 174
6．4．5 ORB 175
6．4．6 BRISK 176
6．4．7 FREAK 176
6．5 譜描述子 177
6．5．1 SIFT 177
6．5．2 SIFT-PCA 181
6．5．3 SIFT-GLOH 181
6．5．4 SIFT-SIFER 182
6．5．5 SIFT CS-LBP 182
6．5．6 ROOTSIFT 183
6．5．7 CenSurE和STAR 183
6．5．8 相關(guān)模板 185
6．5．9 HAAR特征 186
6．5．10 使用類HAAR特征的Viola和Jones算法 187
6．5．11 SURF 187
6．5．12 改進(jìn)的SURF算法 189
6．5．13 梯度直方圖（HOG）及改進(jìn)方法 189
6．5．14 PHOG和相關(guān)方法 190
6．5．15 Daisy和O-Daisy 191
6．5．16 CARD 193
6．5．17 具有魯棒性的快速特征匹配 194
6．5．18 RIFF和CHOG 195
6．5．19 鏈碼直方圖 196
6．5．20 D-NETS 196
6．5．21 局部梯度模式 197
6．5．22 局部相位量化 198
6．6 基空間描述子 198
6．6．1 Fourier描述子 199
6．6．2 用其他基函數(shù)來(lái)構(gòu)建描述子 200
6．6．3 稀疏編碼方法 200
6．7 多邊形形狀描述 200
6．7．1 MSER方法 201
6．7．2 針對(duì)斑點(diǎn)和多邊形的目標(biāo)形狀度量 202
6．7．3 形狀上下文 204
6．8 3D和4D描述子 205
6．8．1 3D HOG 206
6．8．2 HON 4D 206
6．8．3 3D SIFT 207
6．9 總結(jié) 208
6．10 習(xí)題 208
第7章 基準(zhǔn)數(shù)據(jù)、內(nèi)容、度量和分析 210
7．1 基準(zhǔn)數(shù)據(jù) 210
7．2 先前關(guān)于基準(zhǔn)數(shù)據(jù)方面的工作：藝術(shù)與科學(xué) 212
7．2．1 質(zhì)量的一般度量 212
7．2．2 算法性能的度量 212
7．2．3 Rosin關(guān)于角點(diǎn)方面的工作 213
7．3 構(gòu)造基準(zhǔn)數(shù)據(jù)的關(guān)鍵問題 214
7．3．1 內(nèi)容：采用、修改或創(chuàng)建 214
7．3．2 可用的基準(zhǔn)數(shù)據(jù)集 215
7．3．3 擬合基準(zhǔn)數(shù)據(jù)的算法 215
7．3．4 場(chǎng)景構(gòu)成和標(biāo)注 216
7．4 定義目標(biāo)和預(yù)期 218
7．4．1 Mikolajczyk和Schmid的方法 218
7．4．2 開放式評(píng)價(jià)系統(tǒng) 219
7．4．3 極端情況和限制 219
7．4．4 興趣點(diǎn)和特征 219
7．5 基準(zhǔn)數(shù)據(jù)的魯棒性準(zhǔn)則 220
7．5．1 舉例說(shuō)明魯棒性標(biāo)準(zhǔn) 220
7．5．2 將魯棒性標(biāo)準(zhǔn)用于實(shí)際應(yīng)用 221
7．6 度量與基準(zhǔn)數(shù)據(jù)配對(duì) 222
7．6．1 興趣點(diǎn)、特征和基準(zhǔn)數(shù)據(jù)的配對(duì)和優(yōu)化 222
7．6．2 一般的視覺分類例子 223
7．7 合成的特征字母表 224
7．7．1 合成數(shù)據(jù)集的目標(biāo) 224
7．7．2 合成興趣點(diǎn)字母表 226
7．7．3 將合成字母表疊加到真實(shí)圖像上 228
7．8 總結(jié) 229
7．9 習(xí)題 230
第8章 可視流程及優(yōu)化 231
8．1 階段、操作和資源 231
8．2 計(jì)算資源預(yù)算 233
8．2．1 計(jì)算單元、ALU和加速器 234
8．2．2 能耗的使用 235
8．2．3 內(nèi)存的利用 235
8．2．4 I O性能 238
8．3 計(jì)算機(jī)視覺流程的實(shí)例 238
8．3．1 汽車識(shí)別 239
8．3．2 人臉檢測(cè)、情感識(shí)別和年齡識(shí)別 244
8．3．3 圖像分類 250
8．3．4 增強(qiáng)現(xiàn)實(shí) 254
8．4 可選的加速方案 258
8．4．1 內(nèi)存優(yōu)化 258
8．4．2 粗粒度并行 260
8．4．3 細(xì)粒度數(shù)據(jù)并行 261
8．4．4 高級(jí)指令集和加速器 263
8．5 視覺算法的優(yōu)化與調(diào)整 263
8．5．1 編譯器優(yōu)化與手工優(yōu)化 264
8．5．2 特征描述子改進(jìn)、檢測(cè)器和距離函數(shù) 265
8．5．3 Boxlets與卷積加速 265
8．5．4 數(shù)據(jù)類型優(yōu)化（整數(shù)與浮點(diǎn)） 265
8．6 優(yōu)化資源 266
8．7 總結(jié) 266
第9章 特征學(xué)習(xí)的架構(gòu)分類和神經(jīng)科學(xué)背景 267
9．1 計(jì)算機(jī)視覺中的神經(jīng)科學(xué)思想 268
9．2 特征生成與特征學(xué)習(xí) 269
9．3 計(jì)算機(jī)視覺中所使用的神經(jīng)科學(xué)術(shù)語(yǔ) 269
9．4 特征學(xué)習(xí)的分類 274
9．4．1 卷積特征權(quán)重學(xué)習(xí) 275
9．4．2 局部特征描述子學(xué)習(xí) 275
9．4．3 基本特征的組合和字典學(xué)習(xí) 275
9．4．4 特征學(xué)習(xí)方法總結(jié) 276
9．5 計(jì)算機(jī)視覺中的機(jī)器學(xué)習(xí)模型 276
9．5．1 專家系統(tǒng) 277
9．5．2 統(tǒng)計(jì)和數(shù)學(xué)分析方法 278
9．5．3 受神經(jīng)科學(xué)啟發(fā)的方法 278
9．5．4 深度學(xué)習(xí) 278
9．6 機(jī)器學(xué)習(xí)和特征學(xué)習(xí)的歷史 280
9．6．1 歷史回顧：20世紀(jì)40年代至21世紀(jì)初 280
9．6．2 人工神經(jīng)網(wǎng)絡(luò)（ANN）分類 284
9．7 特征學(xué)習(xí)概述 285
9．7．1 通過學(xué)習(xí)得到的各類描述子 285
9．7．2 層次特征學(xué)習(xí) 285
9．7．3 要學(xué)習(xí)多少特征 286
9．7．4 深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì) 286
9．7．5 特征編碼的有效性 286
9．7．6 手工設(shè)計(jì)的特征與深度學(xué)習(xí) 287
9．7．7 特征學(xué)習(xí)的不變性和魯棒性 288
9．7．8 最好的特征和學(xué)習(xí)架構(gòu) 288
9．7．9 大數(shù)據(jù)、分析和計(jì)算機(jī)視覺的統(tǒng)一 289
9．7．10 關(guān)鍵技術(shù)的推動(dòng)因素 291
9．8 神經(jīng)科學(xué)的概念 292
9．8．1 生物學(xué)及其整體結(jié)構(gòu) 293
9．8．2 難以找到統(tǒng)一的學(xué)習(xí)理論 294
9．8．3 人類視覺系統(tǒng)的架構(gòu) 295
9．9 特征學(xué)習(xí)的結(jié)構(gòu)分類 299
9．9．1 架構(gòu)拓?fù)?301
9．9．2 架構(gòu)組件和層 302
9．10 總結(jié) 313
9．11 習(xí)題 313
第 10章 特征學(xué)習(xí)和深度學(xué)習(xí)架構(gòu)概述 315
10．1 架構(gòu)概述 315
10．1．1 FNN架構(gòu)簡(jiǎn)介 316
10．1．2 RNN的結(jié)構(gòu)簡(jiǎn)介 372
10．1．3 BFN的結(jié)構(gòu)簡(jiǎn)介 395
10．2 集成方法 427
10．3 深度神經(jīng)網(wǎng)絡(luò)的未來(lái) 429
10．3．1 增加最大深度—深度殘差學(xué)習(xí) 429
10．3．2 使用更簡(jiǎn)單的MLP來(lái)近似復(fù)雜模型（模型壓縮） 430
10．3．3 分類器的分解與重組 431
10．4 總結(jié) 432
10．5 習(xí)題 432
附錄A 合成特征分析 435
附錄B 基準(zhǔn)數(shù)據(jù)集概述 464
附錄C 成像和計(jì)算機(jī)視覺資源 470
附錄D 擴(kuò)展SDM準(zhǔn)則 474
附錄E 視覺基因組模型（VGM） 487
參考文獻(xiàn) 508
譯后記 541