深度學(xué)習神經(jīng)網(wǎng)絡(luò)：設(shè)計與案例研究

目錄
譯者序
致謝
前言
第1章 深度學(xué)習神經(jīng)網(wǎng)絡(luò)：方法和范圍 1
1.1 定義 1
1.2 深度神經(jīng)網(wǎng)絡(luò)簡史及其應(yīng)用 1
1.3 本書范圍 3
1.4 本書的結(jié)構(gòu)安排 4
參考文獻 5
第2章 神經(jīng)網(wǎng)絡(luò)的基本概念 8
2.1 Hebbian原理 8
2.2 感知器 8
2.3 聯(lián)想記憶 10
2.4 “贏者通吃”原理 11
2.5 卷積積分 12
參考文獻 13
第3章 反向傳播神經(jīng)網(wǎng)絡(luò) 14
3.1 反向傳播結(jié)構(gòu) 14
3.2 反向傳播算法的推導(dǎo) 14
3.3 反向傳播算法的改進 18
3.3.1 神經(jīng)網(wǎng)絡(luò)偏差的引入 18
3.3.2 結(jié)合動量或平滑項調(diào)整權(quán)重 19
3.3.3 關(guān)于收斂性的其他修正 19
參考文獻 20
第4章 認知機與新認知機 21
4.1 引言 21
4.2 認知機的原理 21
4.3 認知機網(wǎng)絡(luò)的推導(dǎo) 22
4.3.1 興奮性神經(jīng)元 22
4.3.2 抑制性神經(jīng)元 23
4.4 認知機網(wǎng)絡(luò)的訓(xùn)練 23
4.5 新認知機 24
參考文獻 25
第5章 卷積神經(jīng)網(wǎng)絡(luò) 27
5.1 引言 27
5.2 前饋結(jié)構(gòu) 27
5.2.1 基本結(jié)構(gòu) 27
5.2.2 設(shè)計細節(jié) 30
5.3 卷積層 31
5.3.1 卷積濾波器設(shè)計 31
5.3.2 核權(quán)值在卷積層中的作用 32
5.3.3 卷積層的輸出 32
5.4 反向傳播算法 33
5.5 修正線性單元層 33
5.6 池化層 34
5.6.1 最大池化 34
5.6.2 平均池化 35
5.6.3 其他池化方法 35
5.7 隨機失活層 35
5.8 輸出全連接層 36
5.9 參數(shù)(權(quán)重)共享層 36
5.10 應(yīng)用 36
5.11 案例研究 37
參考文獻 37
第6章 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò) 40
6.1 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)原理 40
6.1.1 簡介 40
6.1.2 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)的版本 41
6.1.3 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)的基本原理 41
6.1.4 基本結(jié)構(gòu)元素 42
6.1.5 輸入存儲權(quán)重的設(shè)置和獲勝神經(jīng)元的確定 44
6.1.6 在自組織映射模塊中調(diào)整分辨率 45
6.1.7 自組織映射模塊和從自組織映射模塊到輸出模塊之間的鏈接 45
6.1.8 權(quán)重 46
6.1.9 初始值和局部最小值 46
6.1.10 遺忘和抑制 47
6.1.11 對預(yù)處理器和協(xié)處理器的輸入層的設(shè)置 47
6.1.12 訓(xùn)練與運行 48
6.1.13 面對數(shù)據(jù)缺失的操作 48
6.1.14 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)的決策過程 48
6.2 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)1型 49
6.2.1 通過連接權(quán)值確定獲勝決策 49
6.2.2 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)1型核心算法(動態(tài)大內(nèi)存存儲與檢索) 49
6.3 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)2型 52
6.3.1 動機 52
6.3.2 改進的大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)算法 52
6.3.3 動態(tài)大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò) 53
6.4 使用LAMSTAR-1和LAMSTAR-2進行數(shù)據(jù)分析 56
6.4.1 基于連接權(quán)值信息的數(shù)據(jù)分析能力 56
6.4.2 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)輸入的連接權(quán)值情況圖 57
6.4.3 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)中的特征提取與去除 57
6.4.4 相關(guān)和插值 58
6.4.5 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)的更新檢測 60
6.5 大內(nèi)存存儲與檢索神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)平衡預(yù)設(shè)程序 60
6.5.1 數(shù)據(jù)不平衡的解決方法 60
6.5.2 預(yù)處理訓(xùn)練核心算法 60
6.6 評論及應(yīng)用 62
6.6.1 評論 62
6.6.2 應(yīng)用 63
參考文獻 63
第7章 用于深度學(xué)習的其他神經(jīng)網(wǎng)絡(luò) 66
7.1 深度玻耳茲曼機 66
7.2 深度遞歸神經(jīng)網(wǎng)絡(luò) 68
7.3 反卷積/小波神經(jīng)網(wǎng)絡(luò) 69
參考文獻 71
第8章 案例研究 73
8.1 人類活動識別 73
8.2 醫(yī)學(xué)：癲癇發(fā)作的預(yù)測 76
8.3 醫(yī)學(xué)：癌癥檢測圖像處理 77
8.4 圖像處理：從2D圖像到3D 78
8.5 圖像分析：場景分類 79
8.6 圖像識別：指紋識別1 80
8.7 圖像識別：指紋識別2 82
8.8 人臉識別 83
8.9 圖像識別：蝴蝶種類分類 84
8.10 圖像識別：樹葉分類 85
8.11 圖像識別：交通標志識別 86
8.12 信息檢索：編程語言分類 87
8.13 信息檢索：對從轉(zhuǎn)錄自然語言在會話中的信息分類 88
8.14 語音識別 89
8.15 音樂流派分類 90
8.16 安全/財務(wù)：信用卡欺詐檢測 91
8.17 從測試鉆井的滲透率數(shù)據(jù)預(yù)測石油鉆探位置 92
8.18 森林火災(zāi)預(yù)測 93
8.19 市場微觀結(jié)構(gòu)中價格走勢預(yù)測 94
8.20 故障檢測：通過聲波發(fā)射診斷軸承故障 95
參考文獻 96
第9章 總結(jié) 99
附錄A 問題 102
附錄B 介紹 105
附錄C 程序 106