人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計(jì)算（清華大學(xué)信息科學(xué)技術(shù)學(xué)院教材）

第1章 緒論1
1.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用1
1.2 人工神經(jīng)元模型2
1.3 用有向圖表示神經(jīng)網(wǎng)絡(luò)4
1.4 網(wǎng)絡(luò)結(jié)構(gòu)及工作方式5
1.5 NN的學(xué)習(xí)7
1.5.1 學(xué)習(xí)方式7
1.5.2 學(xué)習(xí)算法7
1.5.3 學(xué)習(xí)與自適應(yīng)9
習(xí)題9
參考文獻(xiàn)10
第2章 前饋網(wǎng)絡(luò)11
2.1 線性閾值單元11
2.1.1 用線性閾值單元實(shí)現(xiàn)布爾函數(shù)11
2.1.2 線性可分性12
2.1.3 n維歐氏空間中m個(gè)點(diǎn)上可實(shí)現(xiàn)的線性可分函數(shù)的個(gè)數(shù)13
2.2 多層前饋網(wǎng)絡(luò)的計(jì)算能力及函數(shù)逼近15
2.3 感知器的學(xué)習(xí)算法17
2.4 反向傳播學(xué)習(xí)算法19
2.5 改進(jìn)反向傳播算法收斂速度的措施26
2.5.1 加入動(dòng)量項(xiàng)26
2.5.2 高階導(dǎo)數(shù)的利用27
2.5.3 共軛梯度法27
2.5.4 遞推最小二乘法28
2.5.5 神經(jīng)元空間搜索法28
2.5.6 一些其他措施30
2.6 多層前饋網(wǎng)絡(luò)作用的分析31
2.6.1 線性網(wǎng)絡(luò)32
2.6.2 非線性情況33
2.7 應(yīng)用舉例34
習(xí)題45
參考文獻(xiàn)48
第3章 徑向基函數(shù)網(wǎng)絡(luò)51
3.1 φ可分性51
3.2 函數(shù)逼近與內(nèi)插52
3.3 正規(guī)化理論53
3.4 RBF網(wǎng)絡(luò)的學(xué)習(xí)60
3.5 RBF網(wǎng)絡(luò)的一些變形63
3.6 CMAC網(wǎng)絡(luò)64
3.6.1 模型結(jié)構(gòu)64
3.6.2 工作原理分析66
3.6.3 學(xué)習(xí)算法69
3.7 概率神經(jīng)網(wǎng)絡(luò)70
3.8 小波網(wǎng)絡(luò)71
3.9 泛函連接網(wǎng)絡(luò)72
3.10 新一代神經(jīng)元模型及其計(jì)算能力的研究74
3.10.1 布爾函數(shù)的計(jì)算75
3.10.2 連續(xù)輸入的情況75
3.10.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)76
參考文獻(xiàn)81
第4章 學(xué)習(xí)理論與網(wǎng)絡(luò)結(jié)構(gòu)選擇86
4.1 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化與推廣能力88
4.1.1 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則89
4.1.2 推廣能力、模型復(fù)雜度和樣本量90
4.2 統(tǒng)計(jì)學(xué)習(xí)理論簡(jiǎn)介92
4.2.1 學(xué)習(xí)過(guò)程一致性的條件93
4.2.2 統(tǒng)計(jì)學(xué)習(xí)理論發(fā)展中的三個(gè)重要結(jié)論96
4.2.3 推廣能力的界97
4.2.4 結(jié)構(gòu)風(fēng)險(xiǎn)最小化102
4.3 學(xué)習(xí)的復(fù)雜性問(wèn)題105
4.3.1 PAC學(xué)習(xí)模型105
4.3.2 PAC學(xué)習(xí)的例子106
4.3.3 PAC學(xué)習(xí)模型的一些擴(kuò)展106
4.3.4 多層前饋網(wǎng)絡(luò)的樣本數(shù)問(wèn)題107
4.3.5 學(xué)習(xí)的計(jì)算復(fù)雜性108
4.4 學(xué)習(xí)的動(dòng)態(tài)特性109
4.4.1 通用學(xué)習(xí)方程109
4.4.2 LMS規(guī)則110
4.4.3 Hebb規(guī)則111
4.4.4 Oja學(xué)習(xí)規(guī)則111
4.5 推廣問(wèn)題112
4.5.1 定性分析112
4.5.2 平均推廣能力113
4.5.3 樣本量問(wèn)題115
4.5.4 推廣誤差的實(shí)驗(yàn)估計(jì)116
4.6 預(yù)測(cè)學(xué)習(xí)117
4.6.1 模型117
4.6.2 根本困難118
4.6.3 維數(shù)災(zāi)難問(wèn)題118
4.6.4 方差與偏置折衷118
4.7 學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)120
4.8 網(wǎng)絡(luò)模型選擇122
4.8.1 定性分析122
4.8.2 正規(guī)化方法123
4.8.3 修剪與網(wǎng)絡(luò)構(gòu)造法124
4.9 符號(hào)學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)結(jié)合131
習(xí)題133
參考文獻(xiàn)134
第5章 核方法與支持向量機(jī)140
5.1 現(xiàn)有方法概述141
5.1.1 基函數(shù)法142
5.1.2 核函數(shù)143
5.2 基函數(shù)法與核函數(shù)法的對(duì)偶關(guān)系144
5.3 自適應(yīng)方法147
5.4 核函數(shù)法147
5.5 表示定理151
5.6 最優(yōu)線性分界面152
5.7 支持向量機(jī)（SVM）155
5.7.1 基本原理155
5.7.2 SVM用于多類(lèi)（C類(lèi)）問(wèn)題161
5.7.3 SVM用于回歸161
5.8 核PCA163
5.9 SVM的算法165
5.10 貝葉斯方法與高斯過(guò)程171
5.10.1 貝葉斯方法171
5.10.2 高斯過(guò)程173
5.10.3 稀疏表示175
5.11 討論177
參考文獻(xiàn)181
第6章 自組織系統(tǒng)(Ⅰ)——Hebb學(xué)習(xí)184
6.1 引言184
6.2 自組織特征檢測(cè)——一個(gè)簡(jiǎn)單的實(shí)驗(yàn)185
6.3 主成分分析186
6.4 單個(gè)神經(jīng)元抽取最大主分量189
6.5 單層網(wǎng)絡(luò)用于抽取一組主分量189
6.6 有側(cè)向連接的自適應(yīng)PCA191
6.7 最小均方誤差重建學(xué)習(xí)193
6.8 次分量的提取和應(yīng)用195
6.8.1 最優(yōu)擬合問(wèn)題195
6.8.2 用單個(gè)神經(jīng)元實(shí)現(xiàn)197
6.9 PCA算法的進(jìn)一步擴(kuò)展200
6.9.1 非線性PCA200
6.9.2 主曲線與主曲面200
6.9.3 魯棒PCA算法202
6.9.4 偏最小二乘方法202
6.10 用于特征抽取的網(wǎng)絡(luò)203
6.10.1 正態(tài)分布的數(shù)據(jù)204
6.10.2 類(lèi)內(nèi)、類(lèi)間距離的計(jì)算205
6.10.3 Bhattacharya距離206
參考文獻(xiàn)207
第7章 自組織系統(tǒng)(Ⅱ)——競(jìng)爭(zhēng)學(xué)習(xí)210
7.1 Hamming網(wǎng)絡(luò)與WTA網(wǎng)絡(luò)210
7.2 自組織特征映射212
7.3 等效的SOM算法215
7.4 向量量化220
7.5 廣義向量量化221
7.6 討論223
7.7 應(yīng)用舉例225
7.8 自適應(yīng)共振理論235
7.8.1 ART的基本原理236
7.8.2 ART作為分類(lèi)器時(shí)的學(xué)習(xí)算法239
習(xí)題240
參考文獻(xiàn)241
第8章 自組織系統(tǒng)(Ⅲ)——基于信息論的模型245
8.1 信息論簡(jiǎn)介245
8.2 最大信息保持原則247
8.2.1 單個(gè)神經(jīng)元受噪聲干擾247
8.2.2 輸入受加性噪聲干擾248
8.2.3 更復(fù)雜些的情況249
8.3 拓?fù)溆行蛴成涞漠a(chǎn)生251
8.4 基于最大熵原則的拓?fù)溆成?53
8.5 盲信號(hào)處理255
8.5.1 一些基本概念257
8.5.2 ICA的目標(biāo)函數(shù)261
8.5.3 盲信號(hào)處理的應(yīng)用267
8.5.4 非線性獨(dú)立成分分析（NLICA）270
參考文獻(xiàn)273
第9章 動(dòng)態(tài)信號(hào)與系統(tǒng)的處理276
9.1 延時(shí)單元網(wǎng)絡(luò)276
9.2 時(shí)空神經(jīng)元模型280
9.2.1 模型280
9.2.2 FIR網(wǎng)絡(luò)的學(xué)習(xí)算法282
9.3 部分反饋網(wǎng)絡(luò)286
9.4 有反饋網(wǎng)絡(luò)的學(xué)習(xí)算法289
9.4.1 隨時(shí)間演化的反向傳播算法289
9.4.2 實(shí)時(shí)遞歸學(xué)習(xí)290
9.5 應(yīng)用舉例293
9.6 神經(jīng)網(wǎng)絡(luò)在金融領(lǐng)域中的應(yīng)用304
9.7 討論310
9.8 再勵(lì)學(xué)習(xí)及其主要算法314
9.8.1 時(shí)間差分法315
9.8.2 RL的主要算法317
9.9 再勵(lì)學(xué)習(xí)在控制中的應(yīng)用舉例319
習(xí)題327
參考文獻(xiàn)328
第10章 多神經(jīng)網(wǎng)絡(luò)集成335
10.1 引言335
10.2 群體平均法336
10.3 Boosting方法337
10.3.1 Boosting算法338
10.3.2 性能分析339
10.3.3 應(yīng)用實(shí)例——由基因表達(dá)譜對(duì)腫瘤分類(lèi)340
10.4 混合專(zhuān)家網(wǎng)絡(luò)342
10.5 分層混合專(zhuān)家網(wǎng)絡(luò)344
10.5.1 工作原理345
10.5.2 EM算法概述347
10.5.3 EM算法用于HME349
10.5.4 IRLS算法350
10.5.5 EM算法的步驟352
10.6 應(yīng)用舉例353
參考文獻(xiàn)357
第11章 反饋網(wǎng)絡(luò)與聯(lián)想存儲(chǔ)器360
11.1 聯(lián)想存儲(chǔ)器360
11.2 反饋網(wǎng)絡(luò)361
11.2.1 離散Hopfield網(wǎng)絡(luò)362
11.2.2 連續(xù)Hopfield網(wǎng)絡(luò)366
11.3 用反饋網(wǎng)絡(luò)作聯(lián)想存儲(chǔ)器368
11.4 相關(guān)學(xué)習(xí)算法369
11.5 容量分析373
11.6 偽逆學(xué)習(xí)算法377
11.7 基于線性可分性的學(xué)習(xí)算法378
11.8 Li與Michel的設(shè)計(jì)方法（特征結(jié)構(gòu)法）379
11.9 線性規(guī)劃方法379
11.10 多余吸引子問(wèn)題381
11.11 雙向聯(lián)想存儲(chǔ)器（BAM）382
11.11.1 能量函數(shù)與穩(wěn)定性384
11.11.2 BAM網(wǎng)絡(luò)的權(quán)值設(shè)計(jì)384
11.12 玻耳茲曼機(jī)386
11.12.1 隨機(jī)神經(jīng)元386
11.12.2 模擬退火算法387
11.12.3 玻耳茲曼機(jī)387
11.12.4 玻耳茲曼機(jī)的學(xué)習(xí)388
11.12.5 平均場(chǎng)學(xué)習(xí)規(guī)則392
習(xí)題394
參考文獻(xiàn)395
第12章 神經(jīng)網(wǎng)絡(luò)用于優(yōu)化計(jì)算398
12.1 概述398
12.2 連續(xù)Hopfield網(wǎng)絡(luò)用于求解優(yōu)化問(wèn)題401
12.3 CHNN用于優(yōu)化計(jì)算時(shí)存在的問(wèn)題403
12.4 神經(jīng)網(wǎng)絡(luò)用于求解貨流問(wèn)題405
12.5 用于解數(shù)學(xué)規(guī)劃的電路舉例409
12.6 在通信網(wǎng)絡(luò)中的應(yīng)用舉例411
習(xí)題412
參考文獻(xiàn)413
第13章 神經(jīng)網(wǎng)絡(luò)中的動(dòng)力學(xué)問(wèn)題415
13.1 運(yùn)動(dòng)穩(wěn)定性的基本知識(shí)415
13.1.1 運(yùn)動(dòng)微分方程415
13.1.2 平衡狀態(tài)及其穩(wěn)定性416
13.1.3 定性方法與系統(tǒng)的分類(lèi)418
13.1.4 Lyapunov定理421
13.1.5 吸引子422
13.2 反饋網(wǎng)絡(luò)的基本模型及其穩(wěn)定性424
13.2.1 基本模型424
13.2.2 穩(wěn)定性分析425
13.2.3 離散模型427
13.2.4 離散時(shí)間連續(xù)狀態(tài)模型427
13.3 混沌神經(jīng)網(wǎng)絡(luò)的初步介紹430
13.3.1 一個(gè)簡(jiǎn)單的非線性映射430
13.3.2 混沌神經(jīng)元模型432
13.3.3 用混沌神經(jīng)網(wǎng)絡(luò)作聯(lián)想記憶434
參考文獻(xiàn)435
第14章 誤差函數(shù)與參數(shù)優(yōu)化方法437
14.1 誤差平方和438
14.1.1 網(wǎng)絡(luò)輸出的含義438
14.1.2 更一般的條件分布的建模440
14.2 后驗(yàn)概率估計(jì)442
14.2.1 誤差平方和準(zhǔn)則443
14.2.2 隱單元的作用443
14.2.3 R范數(shù)誤差444
14.3 交叉熵445
14.3.1 兩類(lèi)分類(lèi)器445
14.3.2 交叉熵的性質(zhì)446
14.3.3 多類(lèi)情況447
14.4 參數(shù)優(yōu)化算法448
14.4.1 誤差曲面448
14.4.2 對(duì)E的局部二次逼近449
14.4.3 優(yōu)化過(guò)程的一些實(shí)際問(wèn)題450
14.5 梯度下降法451
14.5.1 收斂性的定性分析452
14.5.2 加速收斂的措施452
14.6 共軛梯度法454
14.7 牛頓法及其變形457
14.8 LevenbergMarquart算法458
14.9 信息幾何與自然梯度459
參考文獻(xiàn)459
第15章 貝葉斯方法461
15.1 網(wǎng)絡(luò)權(quán)值的貝葉斯學(xué)習(xí)462
15.1.1 權(quán)值的分布462
15.1.2 一類(lèi)更廣的分布464
15.1.3 網(wǎng)絡(luò)輸出的分布465
15.1.4 超參數(shù)的處理466
15.2 貝葉斯模型選擇468
15.2.1 模型顯著度469
15.2.2 網(wǎng)絡(luò)組470
15.2.3 貝葉斯方法的實(shí)現(xiàn)471
15.2.4 最小描述長(zhǎng)度471
15.3 在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用472
15.4 貝葉斯陰陽(yáng)系統(tǒng)理論簡(jiǎn)介474
15.5 討論475
參考文獻(xiàn)477
第16章 神經(jīng)網(wǎng)絡(luò)在信號(hào)處理中的應(yīng)用479
16.1 引言479
16.2 用泛函對(duì)物理系統(tǒng)建模479
16.2.1 算子與泛函480
16.2.2 Volterra級(jí)數(shù)481
16.3 Volterra級(jí)數(shù)與多層前饋網(wǎng)絡(luò)482
16.4 非線性ARMA模型與MFNN484
16.5 狀態(tài)空間表示與神經(jīng)網(wǎng)絡(luò)486
16.6 神經(jīng)網(wǎng)絡(luò)與馬爾可夫模型487
16.7 特征空間分解與神經(jīng)網(wǎng)絡(luò)489
16.7.1 信息判據(jù)用于主子空間分析489
16.7.2 非線性主元分析492
16.8 EM算法用于訓(xùn)練部分反饋網(wǎng)絡(luò)494
16.9 混沌時(shí)間序列的預(yù)測(cè)和混沌中信號(hào)的檢測(cè)497
16.9.1 混沌時(shí)間序列的預(yù)測(cè)497
16.9.2 混沌中信號(hào)的檢測(cè)——海洋雜亂回波中雷達(dá)信號(hào)的檢測(cè)501
16.10 神經(jīng)網(wǎng)絡(luò)用于信息的壓縮和編碼503
16.11 神經(jīng)網(wǎng)絡(luò)用于盲信號(hào)處理507
16.12 小波網(wǎng)絡(luò)與多分辨率學(xué)習(xí)512
16.12.1 引言512
16.12.2 小波基函數(shù)與函數(shù)的多分辨率分析512
16.12.3 多分辨率學(xué)習(xí)與小波網(wǎng)絡(luò)515
16.12.4 多尺度網(wǎng)絡(luò)用于時(shí)間序列預(yù)測(cè)520
參考文獻(xiàn)522
第17章 進(jìn)化計(jì)算概論與進(jìn)化策略526
17.1 進(jìn)化計(jì)算概論526
17.2 二元進(jìn)化策略528
17.2.1 基本算法528
17.2.2 變異過(guò)程530
17.2.3 步長(zhǎng)選擇532
17.2.4 收斂準(zhǔn)則534
17.2.5 對(duì)于約束條件的處理535
17.3 多元進(jìn)化策略535
17.3.1 基本算法536
17.3.2 (1，λ)前進(jìn)速度分析537
17.3.3 步長(zhǎng)控制543
17.3.4 μ≥1時(shí)的收斂準(zhǔn)則545
17.3.5 串行與并行546
參考文獻(xiàn)547
第18章 遺傳算法及其理論分析549
18.1 標(biāo)準(zhǔn)遺傳算法和基本概念549
18.2 模式定理552
18.3 基因塊假設(shè)556
18.4 欺騙性問(wèn)題559
18.5 收斂性分析563
18.5.1 基本概念563
18.5.2 守恒交叉算子565
18.5.3 完全變異算子566
18.5.4 遺傳算法的馬爾可夫鏈分析567
參考文獻(xiàn)569
第19章 遺傳算法的設(shè)計(jì)與實(shí)現(xiàn)570
19.1 編碼方法570
19.1.1 編碼原則571
19.1.2 編碼方法573
19.2 適應(yīng)度函數(shù)577
19.2.1 目標(biāo)函數(shù)映射成適應(yīng)度函數(shù)577
19.2.2 適應(yīng)度函數(shù)調(diào)整578
19.2.3 適應(yīng)度函數(shù)的設(shè)計(jì)對(duì)遺傳算法的影響579
19.3 遺傳算子580
19.3.1 選擇算子580
19.3.2 交叉算子582
19.3.3 變異算子584
19.4 其他問(wèn)題586
19.4.1 參數(shù)選擇586
19.4.2 其他操作587
參考文獻(xiàn)592
第20章 遺傳算法在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用593
20.1 連接權(quán)的進(jìn)化方法593
20.2 網(wǎng)絡(luò)結(jié)構(gòu)的進(jìn)化方法595
20.3 用遺傳算法解決XOR問(wèn)題示例597
參考文獻(xiàn)599
第21章 遺傳算法在作業(yè)調(diào)度中的應(yīng)用600
21.1 問(wèn)題描述600
21.2 解作業(yè)調(diào)度問(wèn)題的遺傳算法602
21.3 仿真結(jié)果605
參考文獻(xiàn)609
第22章 分布估計(jì)算法610
22.1 離散的分布估計(jì)算法611
22.1.1 變量獨(dú)立假設(shè)下的算法611
22.1.2 雙變量概率依賴(lài)關(guān)系614
22.1.3 多變量概率依賴(lài)關(guān)系622
22.2 連續(xù)的分布估計(jì)算法626
22.2.1 變量獨(dú)立假設(shè)下的算法627
22.2.2 雙變量概率依賴(lài)關(guān)系628
22.2.3 多變量概率依賴(lài)關(guān)系629
22.3 討論630
參考文獻(xiàn)631
索引634