數(shù)據(jù)標注工程

第1章 數(shù)據(jù)標注概述…………………………………………1
1.1 數(shù)據(jù)標注的起源與發(fā)展…………………………………………1
1.1.1 什么是數(shù)據(jù)標注 …………………………………………3
1.1.2 數(shù)據(jù)標注分類概述 ………………………………………4
1.1.3 數(shù)據(jù)標注流程概述 ………………………………………6
1.2 數(shù)據(jù)標注的應用場景……………………………………… 7
1.2.1 出行行業(yè) …………………………………………………7
1.2.2 金融行業(yè) …………………………………………………8
1.2.3 醫(yī)療行業(yè) …………………………………………………8
1.2.4 家居行業(yè) …………………………………………………8
1.2.5 安防行業(yè) …………………………………………………9
1.2.6 公共服務 …………………………………………………9
1.2.7 電子商務 …………………………………………………10
1.3 有多少智能，就有多少人工……………………………………10
1.3.1 有監(jiān)督的機器學習 ………………………………………10
1.3.2 最后一批人工智能的“老師” ……………………………11
1.4 數(shù)據(jù)越多，智能越好……………………………………………12
1.5 作業(yè)與練習………………………………………………………14
參考文獻… ……………………………………………………………14
第2章 數(shù)據(jù)采集與清洗………………………………………16
2.1 標注對象…………………………………………………………16
2.1.1 主要的數(shù)據(jù)來源 …………………………………………16
2.1.2 常見的標注數(shù)據(jù) …………………………………………17
X 數(shù)據(jù)標注工程
2.2 數(shù)據(jù)采集………………………………………………………… 18
2.2.1 數(shù)據(jù)采集方法 …………………………………………… 18
2.2.2 數(shù)據(jù)采集流程 …………………………………………… 19
2.2.3 標注數(shù)據(jù)采集 …………………………………………… 20
2.3 數(shù)據(jù)清洗…………………………………………………………23
2.3.1 數(shù)據(jù)清洗方法 …………………………………………… 24
2.3.2 數(shù)據(jù)清洗流程 …………………………………………… 26
2.3.3 MapReduce 數(shù)據(jù)去重 …………………………………… 26
2.4 作業(yè)與練習………………………………………………………28
參考文獻… ……………………………………………………………28
第3 章 數(shù)據(jù)標注分類…………………………………………29
3.1 圖像標注…………………………………………………………29
3.1.1 什么是圖像標注 ………………………………………… 29
3.1.2 圖像標注應用領域 ……………………………………… 30
3.2 語音標注…………………………………………………………35
3.2.1 什么是語音標注 ………………………………………… 35
3.2.2 客服錄音數(shù)據(jù)標注規(guī)范 ………………………………… 35
3.3 文本標注…………………………………………………………38
3.3.1 什么是文本標注 ………………………………………… 38
3.3.2 文本標注應用領域 ……………………………………… 38
3.4 作業(yè)與練習……………………………………………………… 41
參考文獻… …………………………………………………………… 41
第4 章 數(shù)據(jù)標注質(zhì)量檢驗……………………………………42
4.1 數(shù)據(jù)質(zhì)量影響算法效果…………………………………………42
4.2 數(shù)據(jù)標注質(zhì)量標準………………………………………………44
4.2.1 圖像標注質(zhì)量標準 ……………………………………… 44
4.2.2 語音標注質(zhì)量標準 ……………………………………… 47
4.2.3 文本標注質(zhì)量標準 ……………………………………… 48
4.3 數(shù)據(jù)標注質(zhì)量檢驗方法…………………………………………48
4.3.1 實時檢驗 ………………………………………………… 48
目 錄XI
4.3.2 全樣檢驗 ………………………………………………… 50
4.3.3 抽樣檢驗 ………………………………………………… 50
4.4 作業(yè)與練習………………………………………………………53
參考文獻… ……………………………………………………………53
第5 章 數(shù)據(jù)標注管理………………………………………… 55
5.1 數(shù)據(jù)標注工廠設計………………………………………………55
5.2 數(shù)據(jù)標注管理架構………………………………………………59
5.3 數(shù)據(jù)安全管理與質(zhì)量管理體系…………………………………60
5.3.1 數(shù)據(jù)存儲安全管理要求 ………………………………… 60
5.3.2 工廠人員行為管理 ……………………………………… 61
5.3.3 溯源體系建設 …………………………………………… 61
5.3.4 質(zhì)量管理體系建設 ……………………………………… 62
5.4 數(shù)據(jù)標注項目評估………………………………………………63
5.5 數(shù)據(jù)標注訂單管理………………………………………………64
5.6 數(shù)據(jù)標注客戶關系管理…………………………………………65
5.7 作業(yè)與練習………………………………………………………66
參考文獻… ……………………………………………………………66
第6 章 數(shù)據(jù)標注應用…………………………………………68
6.1 自動駕駛…………………………………………………………68
6.1.1 自動駕駛的發(fā)展 ………………………………………… 68
6.1.2 自動駕駛的9 種數(shù)據(jù)標注 ……………………………… 70
6.2 智能安防…………………………………………………………75
6.2.1 智能安防的發(fā)展分析 …………………………………… 75
6.2.2 智能安防的5 種數(shù)據(jù)標注 ……………………………… 77
6.3 智能醫(yī)療…………………………………………………………80
6.3.1 智能醫(yī)療的發(fā)展 ………………………………………… 80
6.3.2 智能醫(yī)療應用的4 種數(shù)據(jù)標注 ………………………… 80
6.4 作業(yè)與練習………………………………………………………82
參考文獻… ……………………………………………………………83
XII 數(shù)據(jù)標注工程
第7 章 數(shù)據(jù)標注實戰(zhàn)…………………………………………84
7.1 實戰(zhàn)環(huán)境搭建……………………………………………………84
7.1.1 標注工具安裝環(huán)境搭建 ………………………………… 84
7.1.2 LabelImg 標框標注工具的使用方法 …………………… 92
7.1.3 Labelme 工具的安裝與使用方法 ……………………… 100
7.2 醫(yī)療影像標注………………………………………………… 104
7.3 遙感影像標注………………………………………………… 106
7.4 車牌圖像標注………………………………………………… 109
7.4.1 車牌圖像標框標注 …………………………………… 109
7.4.2 車牌圖像分類標注 …………………………………… 110
7.5 人像數(shù)據(jù)標注………………………………………………… 113
7.5.1 行人圖像標注 ………………………………………… 113
7.5.2 人臉數(shù)據(jù)標注 ………………………………………… 116
7.6 作業(yè)與練習…………………………………………………… 121
參考文獻… ………………………………………………………… 121
附錄 大數(shù)據(jù)實驗平臺（數(shù)據(jù)標注版）… ………………… 122