機器學習與大數(shù)據(jù)技術

第 1章 緒論 1
1．1 機器學習 3
1．1．1概述 3
1．1．2評價準則 4
1．1．3分類 6
1．1．4常用工具 7
1．2 大數(shù)據(jù) 9
1．3 人工智能 10
1．4 圖像處理技術 12
第 2章 機器學習理論與方法 13
2．1 回歸分析與最小二乘法 13
2．2聚類 15
2．2．1簡介 15
2．2．2基本原理 15
2．2．3常用聚類算法 17
2．3 遺傳算法 20
2．3．1簡介 20
2．3．2基本原理 21
2．3．3特點與應用 23
2．4 蟻群算法 23
2．4．1簡介 23
2．4．2基本原理 24
2．4．3特點與應用 26
2．5 粒子群算法 27
2．5．1簡介 27
2．5．2基本原理 27
2．5．3特點與應用 28
2．6 人工神經(jīng)網(wǎng)絡 29
2．6．1簡介 29
2．6．2神經(jīng)網(wǎng)絡基礎 31
2．6．3 BP神經(jīng)網(wǎng)絡 37
2．6．4 RBF神經(jīng)網(wǎng)絡 38
2．7支持向量機 40
2．7．1簡介 40
2．7．2基本原理 40
2．7．3特點與應用 46
2．8 隱馬爾科夫模型 46
第3章 深度學習理論與方法 50
3．1 簡介 50
3．2 常見模型 51
3．2．1卷積神經(jīng)網(wǎng)絡 52
3．2．2受限玻爾茲曼機 54
3．2．3深度信念網(wǎng)絡 56
3．2．4自動編碼器 57
3．2．5降噪自動編碼器 59
3．2．6堆疊降噪自動編碼器 59
3．3 應用場景 60
3．4 發(fā)展趨勢 61
3．4．1深度集成學習 61
3．4．2深度強化學習 62
3．4．3深度遷移學習 63
第4章 大數(shù)據(jù)處理技術 65
4．1 大數(shù)據(jù)簡介 65
4．1．1大數(shù)據(jù)概念與特點 65
4．1．2大數(shù)據(jù)類型 66
4．1．3大數(shù)據(jù)應用 67
4．2 大數(shù)據(jù)技術 68
4．2．1數(shù)據(jù)獲取與預處理技術 68
4．2．2存儲與管理技術 71
4．2．3分析與挖掘技術 72
4．2．4可視化技術 74
4．3 大數(shù)據(jù)處理框架 79
4．3．1簡介 79
4．3．2 Hadoop 80
4．3．3 Spark 82
4．3．4 Storm 84
4．3．5 HBase 85
4．3．6 Hive 86
4．4 大數(shù)據(jù)面臨挑戰(zhàn) 86
4．4．1數(shù)據(jù)安全性 87
4．4．2計算復雜性 87
4．4．3計算時效性 87
第5章 大數(shù)據(jù)與智能系統(tǒng)開發(fā)——以農(nóng)業(yè)應用為例 88
5．1 農(nóng)業(yè)信息化概述 88
5．1．1農(nóng)業(yè)信息概念 88
5．1．2農(nóng)業(yè)信息分類 88
5．1．3農(nóng)業(yè)信息技術 89
5．2 農(nóng)業(yè)大數(shù)據(jù)概述 89
5．2．1農(nóng)業(yè)大數(shù)據(jù)概念 89
5．2．2農(nóng)業(yè)大數(shù)據(jù)特點 90
5．2．3農(nóng)業(yè)大數(shù)據(jù)標準 90
5．2．4農(nóng)業(yè)大數(shù)據(jù)發(fā)展趨勢 91
5．3 農(nóng)業(yè)大數(shù)據(jù)技術 92
5．3．1獲取與預處理技術 92
5．3．2存儲與集成技術 95
5．3．3挖掘與可視化技術 95
5．3．4發(fā)展趨勢 96
5．4 農(nóng)業(yè)大數(shù)據(jù)機遇、挑戰(zhàn)與對策 97
5．4．1機遇 97
5．4．2挑戰(zhàn)與對策 97
5．5 基于安卓的農(nóng)業(yè)智能 99
5．5．1簡介 99
5．5．2APP開發(fā)步驟 100
5．5．3農(nóng)業(yè)APP 101
第6章 圖像處理與分析技術 102
6．1 簡介 102
6．1．1常用術語 102
6．1．2圖像處理與分析基礎 106
6．2 圖像處理技術在農(nóng)業(yè)中的應用 111
6．2．1農(nóng)業(yè)圖像特點 111
6．2．2農(nóng)業(yè)應用場景 111
6．3圖像細化算法 112
6．3．1細化算法原理 112
6．3．2改進算法 114
第7章 機器學習、大數(shù)據(jù)技術和圖像處理技術的應用——以農(nóng)業(yè)應用為例 118
7．1 簡介 118
7．2 隨機森林在棉蚜等級預測中的應用 118
7．2．1隨機森林原理 118
7．2．2隨機森林構(gòu)建 119
7．2．3袋外數(shù)據(jù)OOB和OOB估計 120
7．2．4實驗結(jié)果與分析 121
7． 3 基于鄰域核函數(shù)的局部支持向量機在樹木圖像分類中的應用 127
7．3．1鄰域核函數(shù) 128
7．3．2基于鄰域核函數(shù)的局部支持向量機 129
7．3．3實驗結(jié)果與分析 129
7．4 局部支持向量回歸在小麥蚜蟲預測中的應用 132
7．4．1小麥蚜蟲預測原理 132
7．4．2數(shù)據(jù)來源與預處理 132
7．4．3支持向量回歸與局部支持向量回歸 134
7．4．4實驗結(jié)果與分析 136
7．5 深度學習在小麥蚜蟲短期預測中的應用 138
7．5．1數(shù)據(jù)來源與預處理 138
7．5．2模型評價指標 139
7．5．3基于DBN_LSVR的小麥蚜蟲短期預測模型 140
7．5．4實驗結(jié)果與分析 141
7．6 基于Spark的支持向量機在小麥病害圖像識別中的應用 143
7．6．1數(shù)據(jù)來源與預處理 144
7．6．2 基于Spark的支持向量機 149
7．6．3實驗結(jié)果與分析 151
7．7 Hadoop平臺下基于粒子群的局部支持向量機 153
7．7．1相關技術及算法 154
7．7．2改進算法原理 155
7．7．3 MapRuduce實現(xiàn) 155
7．7．4改進思想 156
7．7．5實驗結(jié)果與分析 157
第8章 Python基礎 160
8．1 基礎知識 160
8．1．1Python安裝與使用 160
8．1．2編碼規(guī)范 160
8．1．3模塊導入 161
8．1．4異常處理 163
8．2 語言基礎 164
8．2．1基本數(shù)據(jù)類型 164
8．2．2運算符與表達式 166
8．2．3選擇與循環(huán) 172
8．2．4字符串 176
8．2．5列表、元組與字典 178
8．2．6正則表達式 187
8．3 函數(shù) 190
8．3．1函數(shù)定義 190
8．3．2 函數(shù)調(diào)用 191
8．3．3函數(shù)參數(shù) 192
8．3．4返回值 195
8．3．5變量作用域 196
8．4 類 197
8．4．1類定義 197
8．4．2類方法 198
8．4．3繼承與多態(tài) 199
8．4．4應用舉例 199
8．5 文件 206
8．5．1打開和關閉 206
8．5．2讀寫 207
8．5．3其他操作 208
8．5．4目錄操作 209
第9章 Python數(shù)據(jù)處理與機器學習 210
9．1 矩陣計算 210
9．1．1基礎知識 210
9．1．2應用舉例 218
9．2 網(wǎng)絡爬蟲 222
9．2．1基礎知識 222
9．2．2應用舉例 226
9．3 數(shù)據(jù)庫 226
9．3．1 Sqlite數(shù)據(jù)庫 226
9．3．2 MySQL數(shù)據(jù)庫 228
9．4 OpenCV圖像編程 230
9．4．1圖像基礎操作 230
9．4．2圖像幾何變換 231
9．4．3圖像濾波 233
9．4．4數(shù)學形態(tài)學 235
9．4．5應用舉例 236
9．5 數(shù)據(jù)可視化 237
9．5．1 matplotlib可視化 237
9．5．2 plotly可視化 238
9．6 基于Python機器學習算法 240
9．6．1線性回歸 240
9．6．2 Logistic回歸 242
9．6．3 K近鄰算法 245
9．6．4 K均值聚類 247
9．6．5決策樹 250
9．7 基于Python大數(shù)據(jù)處理技術 255
9．7．1 MapReduce編程 255
9．7．2 應用舉例 256
9．8 Tensorflow編程 256
9．8．1簡介 256
9．8．2基礎知識 258
9．8．3應用舉例 260
參考文獻 261