目錄
《智能科學(xué)技術(shù)著作叢書》序
前言
第1章 緒論 1
1.1 隨機系統(tǒng) 1
1.2 隨機系統(tǒng)辨識與參數(shù)估計 2
1.3 隨機系統(tǒng)偏最小二乘估計 3
1.4 隨機系統(tǒng)總體最小二乘估計 4
1.5 本章小結(jié) 6
參考文獻 6
第2章 最小二乘估計 10
2.1 參數(shù)估計問題及其一般描述 10
2.2 最小二乘參數(shù)估計 11
2.2.1 經(jīng)典最小二乘估計 11
2.2.2 加權(quán)最小二乘估計 12
2.2.3 正則化最小二乘估計 14
2.2.4 遞推最小二乘估計 15
2.2.5 最小均方誤差估計 16
2.3 線性差分模型最小二乘參數(shù)估計 18
2.3.1 單輸入單輸出系統(tǒng)的最小二乘參數(shù)估計 18
2.3.2 濾波型加權(quán)最小二乘估計與廣義最小二乘算法 20
2.3.3 相關(guān)型加權(quán)最小二乘估計與輔助變量法 24
2.3.4 多輸入輸出系統(tǒng)的最小二乘參數(shù)估計 25
2.4 離散差分模型的遞推參數(shù)估計 26
2.4.1 用于參數(shù)估計的遞推最小二乘算法 26
2.4.2 漸消記憶的遞推最小二乘算法 28
2.4.3 適用于有色噪聲的改進遞推最小二乘算法 30
2.5 本章小結(jié) 33
參考文獻 33
第3章 偏最小二乘估計 34
3.1 引言 34
3.2 偏最小二乘 35
3.3 核偏最小二乘 37
3.4 改進的核偏最小二乘 38
3.4.1 隨機梯度Boosting算法 39
3.4.2 核純凈信號分析 40
3.4.3 改進的核偏最小二乘方法 41
3.5 仿真實驗 42
3.5.1 數(shù)值仿真實驗 42
3.5.2 混凝土抗壓強度 47
3.6 本章小結(jié) 53
參考文獻 53
第4章 總體最小二乘問題 56
4.1 最小二乘估計方法 56
4.2 總體最小二乘問題 57
4.2.1 預(yù)備知識 58
4.2.2 正交最小二乘問題 58
4.2.3 基本TLS問題 59
4.2.4 多維TLS問題 62
4.2.5 特殊單維TLS問題 63
4.2.6 混合OLS-TLS問題 65
4.2.7 OLS與TLS之間的代數(shù)比較 65
4.2.8 統(tǒng)計特性和有效性 66
4.2.9 基本數(shù)據(jù)最小二乘問題 68
4.3 總體最小二乘求解方法 69
4.3.1 部分TLS算法 69
4.3.2 迭代計算方法 69
4.3.3 神經(jīng)元計算方法 69
4.4 本章小結(jié) 70
參考文獻 70
第5章 總體最小二乘遞歸估計 73
5.1 引言 73
5.2 總體最小二乘遞歸類方法 74
5.2.1 Davila's FIR RTLS算法 74
5.2.2 Davila's IIR RTLS算法 77
5.3 一種新型快速RTLS算法 81
5.3.1 Feng's RTLS算法 81
5.3.2 Feng's AIP算法 92
5.4 本章小結(jié) 101
參考文獻 101
第6章 總體最小二乘迭代與隨機估計 105
6.1 引言 105
6.1.1 直接方法與迭代計算方法 105
6.1.2 逆迭代方法 106
6.1.3 Chebyshev迭代 106
6.1.4 Lanczos方法 107
6.1.5 瑞利商迭代 107
6.2 瑞利商最小化的非神經(jīng)元和神經(jīng)元方法 108
6.3 TLS神經(jīng)網(wǎng)絡(luò)方法 109
6.3.1 GAO's TLS神經(jīng)元方法 109
6.3.2 TLS EXIN神經(jīng)元方法 111
6.3.3 Bruce's混合LS-TLS算法 112
6.4 總體最小均方算法 117
6.4.1 總體最小均方算法的導(dǎo)出 117
6.4.2 算法的穩(wěn)定性分析 120
6.4.3 算法的性能仿真分析 122
6.4.4 算法性能的進一步討論 124
6.5 改進的總體最小二乘線性核及其自穩(wěn)定算法 124
6.5.1 確定性連續(xù)時間系統(tǒng)的性能分析 127
6.5.2 隨機離散時間系統(tǒng)的性能分析 129
6.5.3 計算機仿真實驗 132
6.6 本章小結(jié) 134
參考文獻 135
第7章 約束總體最小二乘和結(jié)構(gòu)總體最小二乘估計 137
7.1 引言 137
7.2 約束總體最小二乘 138
7.2.1 約束總體最小二乘問題 138
7.2.2 約束總體最小二乘算法 141
7.3 結(jié)構(gòu)總體最小二乘 142
7.3.1 結(jié)構(gòu)總體最小二乘問題的例子 143
7.3.2 結(jié)構(gòu)總體最小二乘問題的歷史 145
7.3.3 結(jié)構(gòu)總體最小二乘問題和求解 146
7.4 約束與結(jié)構(gòu)總體最小二乘的等價性 150
7.5 一個新的總體最小二乘問題公式化表示 152
7.5.1 加權(quán)總體最小二乘問題 152
7.5.2 加權(quán)總體最小二乘算法 154
7.6 本章小結(jié) 155
參考文獻 155
第8章 特征提取類總體最小二乘方法 159
8.1 引言 159
8.2 神經(jīng)網(wǎng)絡(luò)次成分特征提取 160
8.2.1 Hopfield網(wǎng)絡(luò)MCA算法 160
8.2.2 Xu-Oja MCA算法 166
8.2.3 MCA EXIN算法 167
8.2.4 MCA自穩(wěn)定算法 168
8.2.5 正交MCA算法 170
8.3 一種自穩(wěn)定的次成分分析算法 172
8.4 一種自穩(wěn)定神經(jīng)網(wǎng)絡(luò)次成分特征提取 174
8.4.1 一種自穩(wěn)定的MCA算法 174
8.4.2 算法的收斂性能 174
8.4.3 算法的發(fā)散性能 175
8.4.4 算法自穩(wěn)定特性 175
8.4.5 次子空間跟蹤算法 176
8.5 本章小結(jié) 182
參考文獻 182
第9章 廣義特征信息提取方法 185
9.1 廣義Hermitian特征值問題 185
9.2 廣義特征信息提取神經(jīng)網(wǎng)絡(luò)算法 188
9.2.1 基于牛頓和擬牛頓法的廣義特征向量提取算法 188
9.2.2 基于冪法的快速廣義特征向量提取算法 189
9.2.3 基于遞歸最小二乘法的廣義特征向量提取算法 190
9.2.4 成對廣義特征向量提取算法 193
9.3 一種快速和自適應(yīng)的耦合廣義特征對提取分析算法 195
9.3.1 GMCA和GPCA算法的耦合廣義系統(tǒng) 196
9.3.2 耦合廣義系統(tǒng)的自適應(yīng)實現(xiàn) 199
9.3.3 收斂性能分析 201
9.3.4 數(shù)值仿真例子 203
9.3.5 結(jié)論 209
9.4 本章小結(jié) 215
參考文獻 215
第10章 參數(shù)估計算法的性能分析 218
10.1 引言 218
10.2 確定性連續(xù)時間系統(tǒng)方法 219
10.2.1 隨機近似逼近理論條件 219
10.2.2 確定性連續(xù)時間方法 219
10.2.3 李雅譜諾夫函數(shù)方法 222
10.3 隨機性離散時間系統(tǒng) 222
10.3.1 普通發(fā)散現(xiàn)象 222
10.3.2 突然發(fā)散現(xiàn)象 225
10.3.3 不穩(wěn)定發(fā)散現(xiàn)象 227
10.3.4 數(shù)值發(fā)散現(xiàn)象 232
10.4 確定性離散時間系統(tǒng) 233
10.4.1 新的自穩(wěn)定MCA學(xué)習(xí)算法的提出 233
10.4.2 確定性DDT系統(tǒng)的收斂性能分析 233
10.4.3 確定性DDT系統(tǒng)的穩(wěn)定性能分析 239
10.4.4 計算機仿真實驗 241
10.5 不動點分析方法 243
10.5.1 收縮映射理論 243
10.5.2 循環(huán)神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)中的穩(wěn)定性 245
10.6 本章小結(jié) 255
參考文獻 256
第11章 總體最小二乘參數(shù)估計方法的應(yīng)用 257
11.1 引言 257
11.2 經(jīng)典總體最小二乘方法應(yīng)用 257
11.2.1 在曲線與曲面擬合中的應(yīng)用 257
11.2.2 在自適應(yīng)濾波中的應(yīng)用 259
11.2.3 在頻率估計中的應(yīng)用 261
11.2.4 在系統(tǒng)參數(shù)估計中的應(yīng)用 264
11.2.5 在系統(tǒng)故障診斷中的應(yīng)用 267
11.3 約束總體最小二乘方法應(yīng)用 272
11.3.1 在諧波信號的超分辨恢復(fù)中的應(yīng)用 272
11.3.2 約束總體最小二乘圖像恢復(fù)應(yīng)用 274
11.4 結(jié)構(gòu)總體最小二乘方法應(yīng)用 279
11.5 本章小結(jié) 282
參考文獻 282