計算機視覺度量：從特征描述到深度學習

第 1章 圖像的獲取和表示1
1．1 圖像傳感器技術 1
1．1．1 傳感器材料 2
1．1．2 傳感器光電二極管元件 3
1．1．3 傳感器配置：馬賽克、Foveon和BSI 3
1．1．4 動態(tài)范圍、噪聲和超分辨率 4
1．1．5 傳感器處理 5
1．1．6 去馬賽克 5
1．1．7 壞像素校正 5
1．1．8 色彩和光照校正 6
1．1．9 幾何校正 6
1．2 照相機和計算成像 6
1．2．1 計算成像概述 7
1．2．2 單像素可計算相機 7
1．2．3 二維可計算照相機 8
1．2．4 三維深度的照相機系統(tǒng) 9
1．3 三維深度處理 18
1．3．1 方法概述 18
1．3．2 深度感知和處理中存在的問題 18
1．3．3 單目深度處理 23
1．4 三維表示：體元、深度圖、網(wǎng)格和點云 26
1．5 總結(jié) 27
1．6 習題 27
第 2章 圖像預處理 29
2．1 圖像處理概述 29
2．2 圖像預處理要解決的問題 29
2．2．1 計算機視覺的流程和圖像預處理 30
2．2．2 圖像校正 31
2．2．3 圖像增強 31
2．2．4 為特征提取準備圖像 32
2．3 圖像處理方法分類 36
2．3．1 點運算 36
2．3．2 直線運算 36
2．3．3 區(qū)域運算 37
2．3．4 算法 37
2．3．5 數(shù)據(jù)轉(zhuǎn)換 37
2．4 色彩學 37
2．4．1 色彩管理系統(tǒng)概述 38
2．4．2 光源、白點、黑點和中性軸 38
2．4．3 設備顏色模型 39
2．4．4 色彩空間與色彩感知 39
2．4．5 色域映射與渲染的目標 40
2．4．6 色彩增強的實際考慮 41
2．4．7 色彩的準確度與精度 41
2．5 空間濾波 41
2．5．1 卷積濾波與檢測 41
2．5．2 核濾波與形狀選擇 43
2．5．3 點濾波 44
2．5．4 噪聲與偽像濾波 45
2．5．5 積分圖與方框濾波器 46
2．6 邊緣檢測器 46
2．6．1 核集合 47
2．6．2 Canny檢測器 48
2．7 變換濾波、Fourier變換及其他 48
2．7．1 Fourier變換 48
2．7．2 其他變換 50
2．8 形態(tài)學與分割 51
2．8．1 二值形態(tài)學 51
2．8．2 灰度和彩色形態(tài)學 52
2．8．3 形態(tài)學優(yōu)化和改進 53
2．8．4 歐氏距離映射 53
2．8．5 超像素分割 53
2．8．6 深度圖分割 54
2．8．7 色彩分割 55
2．9 閾值化 55
2．9．1 全局閾值化 56
2．9．2 局部閾值化 59
2．10 總結(jié) 60
2．11 習題 60
第3章 全局特征和區(qū)域特征 63
3．1 視覺特征的歷史概述 63
3．1．1 全局度量、區(qū)域度量和局部度量的核心思想 64
3．1．2 紋理分析 65
3．1．3 統(tǒng)計方法 68
3．2 紋理區(qū)域度量 68
3．2．1 邊緣度量 69
3．2．2 互相關性和自相關性 70
3．2．3 Fourier譜、小波和基簽名 71
3．2．4 共生矩陣、Haralick特征 71
3．2．5 Laws紋理度量 78
3．2．6 LBP局部二值模式 79
3．2．7 動態(tài)紋理 80
3．3 統(tǒng)計區(qū)域度量 81
3．3．1 圖像矩特征 81
3．3．2 點度量特征 81
3．3．3 全局直方圖 83
3．3．4 局部區(qū)域直方圖 83
3．3．5 散點圖、3D直方圖 84
3．3．6 多分辨率、多尺度直方圖 85
3．3．7 徑向直方圖 87
3．3．8 輪廓或邊緣直方圖 87
3．4 基空間度量 88
3．4．1 Fourier描述 90
3．4．2 Walsh-Hadamard變換 90
3．4．3 HAAR變換 91
3．4．4 斜變換 91
3．4．5 Zernike多項式 91
3．4．6 導向濾波器 92
3．4．7 Karhunen-Loeve變換與Hotelling變換 93
3．4．8 小波變換和Gabor濾波器 93
3．4．9 Hough變換與Radon變換 95
3．5 總結(jié) 96
3．6 習題 96
第4章 局部特征設計 97
4．1 局部特征 97
4．1．1 檢測器、興趣點、關鍵點、錨點和特征點 98
4．1．2 描述子、特征描述和特征提取 98
4．1．3 稀疏局部模式方法 98
4．2 局部特征屬性 99
4．2．1 選擇特征描述子和興趣點 99
4．2．2 特征描述子和特征匹配 99
4．2．3 好特征的標準 99
4．2．4 可重復性，困難和容易的查找 101
4．2．5 判別性與非判別性 101
4．2．6 相對位置和絕對位置 101
4．2．7 匹配代價和一致性 101
4．3 距離函數(shù) 102
4．3．1 距離函數(shù)的早期工作 102
4．3．2 歐氏或笛卡兒距離度量 103
4．3．3 網(wǎng)格距離度量 104
4．3．4 基于統(tǒng)計學的差異性度量 105
4．3．5 二值或布爾距離度量 106
4．4 描述子的表示 107
4．4．1 坐標空間和復合空間 107
4．4．2 笛卡兒坐標 107
4．4．3 極坐標和對數(shù)極坐標 107
4．4．4 徑向坐標 107
4．4．5 球面坐標 108
4．4．6 Gauge坐標 108
4．4．7 多元空間和多模數(shù)據(jù) 108
4．4．8 特征金字塔 109
4．5 描述子的密度 109
4．5．1 丟棄興趣點和描述子 109
4．5．2 稠密與稀疏特征描述 110
4．6 描述子形狀 110
4．6．1 關聯(lián)性模板 111
4．6．2 塊和形狀 111
4．6．3 對象多邊形 113
4．7 局部二值描述子與點對模式 113
4．7．1 FREAK視網(wǎng)膜模式 114
4．7．2 BRISK模式 115
4．7．3 ORB和BRIEF模式 116
4．8 描述子的判別性 116
4．8．1 譜的判別性 117
4．8．2 區(qū)域、形狀和模式的判別性 118
4．8．3 幾何判別因素 118
4．8．4 通過特征可視化來評價判別性 119
4．8．5 精度與可跟蹤性 121
4．8．6 精度優(yōu)化、子區(qū)域重疊、Gaussian加權(quán)和池化 122
4．8．7 亞像素精度 123
4．9 搜索策略與優(yōu)化 123
4．9．1 密集搜索 124
4．9．2 網(wǎng)格搜索 124
4．9．3 多尺度金字塔搜索 124
4．9．4 尺度空間和圖像金字塔 125
4．9．5 特征金字塔 126
4．9．6 稀疏預測搜索與跟蹤 127
4．9．7 跟蹤區(qū)域限制搜尋 127
4．9．8 分割限制搜索 127
4．9．9 深度或Z限制搜索 127
4．10 計算機視覺、模型和結(jié)構(gòu) 128
4．10．1 特征空間 128
4．10．2 對象模型 129
4．10．3 約束 130
4．10．4 選擇檢測器和特征 131
4．10．5 訓練概述 131
4．10．6 特征和對象的分類 132
4．10．7 特征學習、稀疏編碼和卷積網(wǎng)絡 136
4．11 總結(jié) 139
4．12 習題 139
第5章 特征描述屬性的分類 141
5．1 一般的魯棒性分類 143
5．2 一般的視覺度量分類 146
5．3 特征度量評估 155
5．3．1 SIFT的示例 156
5．3．2 LBP的示例 156
5．3．3 形狀因子的示例 157
5．4 總結(jié) 158
5．5 習題 158
第6章 興趣點檢測與特征描述子 159
6．1 興趣點調(diào)整 159
6．2 興趣點的概念 160
6．3 興趣點方法概述 162
6．3．1 Laplacian和LoG 163
6．3．2 Moravac角點檢測器 163
6．3．3 Harris方法、Harris-Stephens、Shi-Tomasi和Hessian類型的檢測器 163
6．3．4 Hessian矩陣檢測器和Hessian-Laplace 164
6．3．5 Gaussian差 164
6．3．6 顯著性區(qū)域 164
6．3．7 SUSAN、Trajkovic-Hedly 165
6．3．8 FAST 165
6．3．9 局部曲率方法 166
6．3．10 形態(tài)興趣區(qū)域 167
6．4 特征描述簡介 167
6．4．1 局部二值描述子 168
6．4．2 Census 173
6．4．3 改進的Census變換 174
6．4．4 BRIEF 174
6．4．5 ORB 175
6．4．6 BRISK 176
6．4．7 FREAK 176
6．5 譜描述子 177
6．5．1 SIFT 177
6．5．2 SIFT-PCA 181
6．5．3 SIFT-GLOH 181
6．5．4 SIFT-SIFER 182
6．5．5 SIFT CS-LBP 182
6．5．6 ROOTSIFT 183
6．5．7 CenSurE和STAR 183
6．5．8 相關模板 185
6．5．9 HAAR特征 186
6．5．10 使用類HAAR特征的Viola和Jones算法 187
6．5．11 SURF 187
6．5．12 改進的SURF算法 189
6．5．13 梯度直方圖（HOG）及改進方法 189
6．5．14 PHOG和相關方法 190
6．5．15 Daisy和O-Daisy 191
6．5．16 CARD 193
6．5．17 具有魯棒性的快速特征匹配 194
6．5．18 RIFF和CHOG 195
6．5．19 鏈碼直方圖 196
6．5．20 D-NETS 196
6．5．21 局部梯度模式 197
6．5．22 局部相位量化 198
6．6 基空間描述子 198
6．6．1 Fourier描述子 199
6．6．2 用其他基函數(shù)來構(gòu)建描述子 200
6．6．3 稀疏編碼方法 200
6．7 多邊形形狀描述 200
6．7．1 MSER方法 201
6．7．2 針對斑點和多邊形的目標形狀度量 202
6．7．3 形狀上下文 204
6．8 3D和4D描述子 205
6．8．1 3D HOG 206
6．8．2 HON 4D 206
6．8．3 3D SIFT 207
6．9 總結(jié) 208
6．10 習題 208
第7章 基準數(shù)據(jù)、內(nèi)容、度量和分析 210
7．1 基準數(shù)據(jù) 210
7．2 先前關于基準數(shù)據(jù)方面的工作：藝術與科學 212
7．2．1 質(zhì)量的一般度量 212
7．2．2 算法性能的度量 212
7．2．3 Rosin關于角點方面的工作 213
7．3 構(gòu)造基準數(shù)據(jù)的關鍵問題 214
7．3．1 內(nèi)容：采用、修改或創(chuàng)建 214
7．3．2 可用的基準數(shù)據(jù)集 215
7．3．3 擬合基準數(shù)據(jù)的算法 215
7．3．4 場景構(gòu)成和標注 216
7．4 定義目標和預期 218
7．4．1 Mikolajczyk和Schmid的方法 218
7．4．2 開放式評價系統(tǒng) 219
7．4．3 極端情況和限制 219
7．4．4 興趣點和特征 219
7．5 基準數(shù)據(jù)的魯棒性準則 220
7．5．1 舉例說明魯棒性標準 220
7．5．2 將魯棒性標準用于實際應用 221
7．6 度量與基準數(shù)據(jù)配對 222
7．6．1 興趣點、特征和基準數(shù)據(jù)的配對和優(yōu)化 222
7．6．2 一般的視覺分類例子 223
7．7 合成的特征字母表 224
7．7．1 合成數(shù)據(jù)集的目標 224
7．7．2 合成興趣點字母表 226
7．7．3 將合成字母表疊加到真實圖像上 228
7．8 總結(jié) 229
7．9 習題 230
第8章 可視流程及優(yōu)化 231
8．1 階段、操作和資源 231
8．2 計算資源預算 233
8．2．1 計算單元、ALU和加速器 234
8．2．2 能耗的使用 235
8．2．3 內(nèi)存的利用 235
8．2．4 I O性能 238
8．3 計算機視覺流程的實例 238
8．3．1 汽車識別 239
8．3．2 人臉檢測、情感識別和年齡識別 244
8．3．3 圖像分類 250
8．3．4 增強現(xiàn)實 254
8．4 可選的加速方案 258
8．4．1 內(nèi)存優(yōu)化 258
8．4．2 粗粒度并行 260
8．4．3 細粒度數(shù)據(jù)并行 261
8．4．4 高級指令集和加速器 263
8．5 視覺算法的優(yōu)化與調(diào)整 263
8．5．1 編譯器優(yōu)化與手工優(yōu)化 264
8．5．2 特征描述子改進、檢測器和距離函數(shù) 265
8．5．3 Boxlets與卷積加速 265
8．5．4 數(shù)據(jù)類型優(yōu)化（整數(shù)與浮點） 265
8．6 優(yōu)化資源 266
8．7 總結(jié) 266
第9章 特征學習的架構(gòu)分類和神經(jīng)科學背景 267
9．1 計算機視覺中的神經(jīng)科學思想 268
9．2 特征生成與特征學習 269
9．3 計算機視覺中所使用的神經(jīng)科學術語 269
9．4 特征學習的分類 274
9．4．1 卷積特征權(quán)重學習 275
9．4．2 局部特征描述子學習 275
9．4．3 基本特征的組合和字典學習 275
9．4．4 特征學習方法總結(jié) 276
9．5 計算機視覺中的機器學習模型 276
9．5．1 專家系統(tǒng) 277
9．5．2 統(tǒng)計和數(shù)學分析方法 278
9．5．3 受神經(jīng)科學啟發(fā)的方法 278
9．5．4 深度學習 278
9．6 機器學習和特征學習的歷史 280
9．6．1 歷史回顧：20世紀40年代至21世紀初 280
9．6．2 人工神經(jīng)網(wǎng)絡（ANN）分類 284
9．7 特征學習概述 285
9．7．1 通過學習得到的各類描述子 285
9．7．2 層次特征學習 285
9．7．3 要學習多少特征 286
9．7．4 深度神經(jīng)網(wǎng)絡的優(yōu)勢 286
9．7．5 特征編碼的有效性 286
9．7．6 手工設計的特征與深度學習 287
9．7．7 特征學習的不變性和魯棒性 288
9．7．8 最好的特征和學習架構(gòu) 288
9．7．9 大數(shù)據(jù)、分析和計算機視覺的統(tǒng)一 289
9．7．10 關鍵技術的推動因素 291
9．8 神經(jīng)科學的概念 292
9．8．1 生物學及其整體結(jié)構(gòu) 293
9．8．2 難以找到統(tǒng)一的學習理論 294
9．8．3 人類視覺系統(tǒng)的架構(gòu) 295
9．9 特征學習的結(jié)構(gòu)分類 299
9．9．1 架構(gòu)拓撲 301
9．9．2 架構(gòu)組件和層 302
9．10 總結(jié) 313
9．11 習題 313
第 10章 特征學習和深度學習架構(gòu)概述 315
10．1 架構(gòu)概述 315
10．1．1 FNN架構(gòu)簡介 316
10．1．2 RNN的結(jié)構(gòu)簡介 372
10．1．3 BFN的結(jié)構(gòu)簡介 395
10．2 集成方法 427
10．3 深度神經(jīng)網(wǎng)絡的未來 429
10．3．1 增加最大深度—深度殘差學習 429
10．3．2 使用更簡單的MLP來近似復雜模型（模型壓縮） 430
10．3．3 分類器的分解與重組 431
10．4 總結(jié) 432
10．5 習題 432
附錄A 合成特征分析 435
附錄B 基準數(shù)據(jù)集概述 464
附錄C 成像和計算機視覺資源 470
附錄D 擴展SDM準則 474
附錄E 視覺基因組模型（VGM） 487
參考文獻 508
譯后記 541