關于我們
書單推薦
新書推薦
|
基于R語言的小波方法在大數(shù)據(jù)統(tǒng)計中的應用
本書較全面地介紹了小波方法在統(tǒng)計學中的應用以及R語言的實現(xiàn)過程。 書中首先介紹了小波理論,詳細討論了小波的重要特性,為小波方法在統(tǒng)計學中的應用奠定理論基礎。然后以統(tǒng)計學的知識內(nèi)容為背景,具體說明了小波在統(tǒng)計學中的應用方法:一是介紹了具有高斯噪聲的等間隔數(shù)據(jù)在非參數(shù)回歸問題中使用小波估計的多種方法;二是討論了互相關聯(lián)的非高斯數(shù)據(jù)問題,討論了如何用小波進行置信區(qū)間估計、密度估計、生存和危險率估計等,以及相應逆問題的解決方案和函數(shù)稀疏性問題;三是分析了小波方法用于平穩(wěn)和非平穩(wěn)時間序列的問題;四是討論了如何用小波的有效方差穩(wěn)定性來估計非高斯數(shù)據(jù)的均值問題。
本書適合作為高等學校相關專業(yè)的教材,也可供相關領域的科研人員參考。
當有人問周恩來總理對法國大革命(1789—1799)的看法時,他回答說:“現(xiàn)在來說這件事還為時過早”(Rosenberg,1999)。我相信,對于小波來說也是如此。雖然在很多年前人們就提出了一些特定的小波,但是直到20世紀80年代才出現(xiàn)了構(gòu)成“小波理論”的大量研究文獻。小波理論在20世紀80年代末90年代初被引入到統(tǒng)計學,最初在曲線估計這類研究文獻中得到廣泛應用,并由此發(fā)展開來,且以多種方式擴展到統(tǒng)計學中的更多領域,例如生存分析、統(tǒng)計時間序列分析、統(tǒng)計圖像處理、逆問題分析以及方差穩(wěn)定化等。
據(jù)Westheimer(2001)所言,法國大革命是傅里葉級數(shù)引入及推廣的歷史大背景,
盡管在當時傅里葉級數(shù)本身遭到了科學界的強烈反對。傅里葉理論發(fā)展的早期充滿質(zhì)疑聲,但在200多年后的今天看來,傅里葉理論及其發(fā)展得到的各種傅里葉方法在眾多科學領域中得到了廣泛應用。小波理論的發(fā)展可以說是一場科學革命。小波的一些有趣特性很容易理解,例如多尺度性、局部化和速率。其他一些重要性質(zhì),如無條件基性質(zhì),也應當進一步去了解。筆者希望,本書能在某種程度上幫助大家去創(chuàng)建更多的小波新方法,同時也希望小波方法能在下一個200年得到更大的發(fā)展,并發(fā)揮更重要的作用!
本書主要介紹小波方法的應用。 筆者撰寫本書主要有兩個目的:一個是想介紹統(tǒng)計學中已經(jīng)應用了小波方法或具有應用小波方法潛力的主要領域;另一個是希望能推動小波方法的普及及應用。出于這樣的目的, 本書的主要內(nèi)容將圍繞免費的統(tǒng)計軟件R及WaveThresh軟件包展開。 通過這些軟件工具,讀者不僅可以學習和應用統(tǒng)計學中的小波方法,還可以根據(jù)自己的需求修改及利用這些方法。本書試圖以傳統(tǒng)專著的方式覆蓋較為廣泛的技術領域,但在內(nèi)容安排上仍不可避免地受限于筆者的學識以及WaveThresh的應用范圍。本書的一個特點是書中幾乎所有的計算都有相應的代碼,并可從WaveThresh網(wǎng)站下載這些代碼。因此,筆者希望本書至少在某種程度上達到了由Buckheit和Donoho(1995)所提出的可重復性研究(reproducible research)的標準。
本書中的大部分WaveThresh代碼是筆者編寫的,但書中也有許多他人編寫的代碼。 這些代碼的編寫者貢獻并慷慨地同意在WaveThresh中發(fā)布這些代碼。在此,筆者要感謝Felix Abramovich(FDR閾值處理)、Stuart Barber(復值小波和閾值處理,貝葉斯小波可信區(qū)間)、Tim Downie(多小波)、Idris Eckley(2D局部平穩(wěn)小波過程)、Piotr Fryzlewicz(泊松過程的HaarFisz變換)、Arne Kovac(不規(guī)則數(shù)據(jù)的小波收縮)、Todd Ogden(變點閾值處理)、Theofanis Sapatinas(Donoho和Johnstone測試函數(shù),一些小波包時間序列碼,BayesThresh閾值)、Bernard Silverman(實數(shù)FFT)、David Herrick(小波密度估計)和Brani Vidakovic(DaubechiesLagarias算法)。還有許多其他人員,有的編寫了附件,有的進行了改進和擴展。此外,我還要感謝Anthony Davison提供了他的團隊編寫的SBand代碼。
感謝布里斯托爾大學麻醉科的A.Black和D.Moshal所提供的體積描記數(shù)據(jù),感謝布里斯托爾兒童健康研究所的P.Fleming、A.Sawczenko和J.Young所提供的嬰兒心電/睡眠狀態(tài)數(shù)據(jù),感謝蒙特塞拉特火山觀測臺和Aspinall and Associates的Willy Aspinall所提供的RSAM數(shù)據(jù)。
感謝Springer的John Kimmel鼓勵筆者成為“Springer UseR!”系列圖書的作者, 在此期間,筆者有幸與小波、數(shù)學和統(tǒng)計學領域的許多著名人士一起工作和討論。最后,筆者還要感謝Felix Abramovich、Anestis Antoniadis、Dan Bailey*、 Rich Baraniuk、Stuart Barber、Jeremy Burn、Alessandro Cardinali、Nikki Carlton、Merlise Clyde、Veronique Delouille、David Donoho、Tim Downie、Idris Eckley、Piotr Fryzlewicz*、Gérard Grégoire、Peter Green、Peter Hall、David Herrick、Katherine Hunt、Maarten Jansen、Iain Johnstone、 Eric Kolaczyk、Marina Knight*、Gerald Kroisandt、Thomas Lee、Emma McCoy、David Merritt、Robert Morgan、Makis Motakis、 Mahadevan Naventhan、Matt Nunes*、Sofia Olhede、HeeSeok Oh、Marianna Pensky、Howell Peregrine、Don Percival、Marc Raimondo、Theofanis Sapatinas、Sylvain Sardy、Andrew Sawczenko、Robin Sibson、Glenn Stone、Suhasini Subba Rao、Kostas Triantafyllopoulos、Brani Vidakovic、Sebastien Van Bellegem、Rainer von Sachs、Andrew Walden、Xue Wang、Brandon Whitcher。特別感謝姓名上標有“*”的人士,他們閱讀了本書的初稿,并提出了一系列寶貴建議。特別感謝Bernard Silverman引導筆者進入小波領域,在筆者職業(yè)生涯的早期階段提供了很多明智的建議。
第1章 引言 1
1.1 什么是小波 1
1.2 為什么使用小波 2
1.3 小波在統(tǒng)計學中的應用 9
1.4 關于本書及其應用軟件 11
第2章 小波 12
2.1 多尺度變換 12
2.1.1 序列的多尺度分析 12
2.1.2 離散Haar小波 17
2.1.3 矩陣表示 21
2.2 Haar小波 24
2.2.1 尺度和平移量 24
2.2.2 細尺度逼近 24
2.2.3 從較細尺度計算較粗尺度的c 26
2.2.4 尺度近似函數(shù)間的差——小波 28
2.2.5 Haar小波變換與離散表示之間的聯(lián)系 29
2.2.6 離散小波變換的系數(shù)結(jié)構(gòu) 30
2.2.7 離散Haar小波變換的例子 30
2.3 多分辨率分析 33
2.3.1 多分辨率分析 33
2.3.2 投影表示 34
2.3.3 擴張方程和小波構(gòu)造 34
2.4 消失矩 36
2.5 WaveThresh小波 36
2.5.1 Daubechies的緊支撐小波 36
2.5.2 復值Daubechies小波 40
2.6 其他小波 41
2.6.1 Shannon小波 41
2.6.2 Meyer小波 42
2.6.3 樣條小波 42
2.6.4 Coiflets小波 44
2.6.5 雙正交小波 44
2.7 通用(快速)離散小波變換 45
2.7.1 正向變換 45
2.7.2 濾波、二元抽樣和降采樣 46
2.7.3 獲得初始細尺度父系數(shù) 46
2.7.4 離散小波逆變換 48
2.8 邊界條件 50
2.9 非抽樣小波 51
2.9.1 ε-抽樣小波變換 51
2.9.2 非抽樣小波變換(NDWT) 52
2.9.3 時間和數(shù)據(jù)包NDWT排序 54
2.9.4 對非抽樣小波的補充說明 58
2.10 多小波 58
2.11小波包變換 60
2.11.1 最佳基算法 61
2.11.2 WaveThresh示例 63
2.12 非抽樣小波包變換 65
2.13 多元小波變換 66
2.14 其他問題 69
第3章 小波收縮 71
3.1 概述 71
3.2 小波收縮 72
3.3 一個假設 74
3.4 測試函數(shù) 75
3.5 通用閾值 76
3.6 初始分辨率 82
3.7 SURE閾值 82
3.8 交叉驗證 83
3.9 錯誤發(fā)現(xiàn)率 85
3.10 貝葉斯小波收縮 86
3.10.1 先驗高斯混合 87
3.10.2 點質(zhì)量分布和高斯分布的混合 88
3.10.3 超參數(shù)和Besov空間 89
3.10.4 點質(zhì)量分布和重尾分布的混合 90
3.11 線性小波平滑 93
3.12 非抽樣小波收縮 94
3.12.1 平移不變小波收縮 94
3.12.2 基的選擇 98
3.13 多小波收縮(多小波) 101
3.14 復小波收縮 103
3.15 分塊閾值 109
3.16 雜項和討論 111
第4章 小波平滑相關技術 113
4.1 概述 113
4.2 相關數(shù)據(jù) 113
4.3 非高斯噪聲 118
4.4 多維數(shù)據(jù) 120
4.5 不規(guī)則間隔數(shù)據(jù) 124
4.6 置信區(qū)間 129
4.6.1 小波的冪近似 131
4.6.2 更精確的區(qū)間 131
4.7 分布密度估計 132
4.8 生存函數(shù)估計 135
4.9 反問題 140
第5章 多尺度時間序列分析 143
5.1 概述 143
5.2 平穩(wěn)時間序列 144
5.2.1 平穩(wěn)模型 144
5.2.2 平穩(wěn)時間序列的尺度分析 147
5.3 局部平穩(wěn)時間序列 149
5.3.1 離散非抽樣小波 150
5.3.2 局部平穩(wěn)小波(LSW)過程 151
5.3.3 LSW仿真 153
5.3.4 局部自協(xié)方差和自相關小波 155
5.3.5 LSW估計 156
5.3.6 更多關于小波周期圖平滑的信息 160
5.3.7 嬰兒心電圖數(shù)據(jù)的LSW分析 160
5.3.8 RSAM數(shù)據(jù)的LSW分析 163
5.4 局部平穩(wěn)小波模型在預測中的應用 163
5.4.1 LSW預測軟件的應用 165
5.4.2 LSW非平穩(wěn)預測的基礎 167
5.5 基于小波包的時間序列分析 168
5.6 相關主題和討論 169
第6章 多尺度方差穩(wěn)定變換 170
6.1 平方根在泊松過程中的應用 170
6.2 Fisz變換 172
6.3 泊松分布密度估計 175
6.4 泊松數(shù)據(jù)的HaarFisz變換 175
6.4.1 最細尺度下小波系數(shù)的Fisz變換 175
6.4.2 較粗尺度下小波系數(shù)的Fisz變換 176
6.4.3 HaarFisz系數(shù)的均值 176
6.4.4 HaarFisz的多尺度性質(zhì) 177
6.4.5 Haar小波逆變換 177
6.4.6 HaarFisz變換的公式 178
6.4.7 HaarFisz小波逆變換 178
6.4.8 WaveThresh中的HaarFisz變換 179
6.4.9 去噪和強度估計 183
6.4.10 循環(huán)移位 184
6.5 數(shù)據(jù)驅(qū)動的HaarFisz變換 185
6.5.1 h已知 185
6.5.2 h未知 186
6.5.3 例1:航空公司乘客數(shù)據(jù) 187
6.5.4 例2:GOES8 X射線數(shù)據(jù) 190
6.6 討論 190
附錄 191
附錄A 用于小波和統(tǒng)計學的R軟件 191
附錄B 符號和數(shù)學概念 192
B.1 函數(shù)空間 192
B.2 函數(shù)的支集 193
B.3 內(nèi)積、范數(shù)和距離 193
B.4 正交性和希爾伯特空間 193
B.5 向量空間的和 193
B.6 傅里葉變換 194
B.7 傅里葉級數(shù) 194
B.8 Besov空間 194
B.9 Landau符號 195
附錄C 生存函數(shù)代碼 195
參考文獻 197
你還可能感興趣
我要評論
|