第1章 工具思維：R語言是一把利器 ................................................................................................. 1
1.1 為何選擇R語言 ..................................................................................................................................... 1
1.2 如何學(xué)習(xí)R語言 ..................................................................................................................................... 2
1.2.1 學(xué)習(xí)R語言的五點小建議 ................................................................................................................................. 2
1.2.2 RGui軟件的初步使用 ........................................................................................................................................ 4
1.3 R語言的語法注意點 ............................................................................................................................... 6
1.4 R語言的數(shù)據(jù)類型與輸入/輸出 .............................................................................................................. 7
1.4.1 數(shù)據(jù)類型 .............................................................................................................................................................. 7
1.4.2 輸入/輸出 ............................................................................................................................................................ 8
1.5 R語言的流程控制與執(zhí)行效率 ............................................................................................................. 12
1.5.1 分支控制 ............................................................................................................................................................ 12
1.5.2 循環(huán)控制 ............................................................................................................................................................ 13
1.6 R語言的表達(dá)式與環(huán)境 ......................................................................................................................... 15
1.6.1 R語言的表達(dá)式 ................................................................................................................................................ 16
1.6.2 R語言的運行環(huán)境 ............................................................................................................................................ 16
1.7 R語言的函數(shù)設(shè)計 ................................................................................................................................ 17
1.7.1 函數(shù)的定義 ........................................................................................................................................................ 17
1.7.2 帶特殊參數(shù)的函數(shù) ........................................................................................................................................... 18
1.7.3 嵌套函數(shù) ............................................................................................................................................................ 19
1.7.4 遞歸函數(shù) ............................................................................................................................................................ 19
1.7.5 關(guān)于腳本和函數(shù)調(diào)用 ....................................................................................................................................... 21
1.7.6 按引用傳遞參數(shù) ............................................................................................................................................... 22
1.7.7 管道運算 ............................................................................................................................................................ 22
1.8 R語言提供的系列函數(shù)與數(shù)據(jù)集.......................................................................................................... 23
1.8.1 17個系列函數(shù) ................................................................................................................................................... 23
1.8.2 內(nèi)置的數(shù)據(jù)集.................................................................................................................................................... 34
1.9 實例分析—疫情數(shù)據(jù)的爬取 ............................................................................................................. 39
思考與練習(xí) .................................................................................................................................................... 44
第2章 直觀思維：數(shù)據(jù)可視化 ........................................................................................................... 46
2.1 可視化的形式 ........................................................................................................................................ 46
2.2 比較的可視化 ........................................................................................................................................ 47
2.2.1 分組報表 ........................................................................................................................................................... 47
2.2.2 分組統(tǒng)計圖 ....................................................................................................................................................... 49
2.2.3 分組多圖 ........................................................................................................................................................... 51
2.2.4 有條件分組繪圖 ............................................................................................................................................... 54
2.3 占比的可視化 ....................................................................................................................................... 55
2.3.1 平面餅圖與3D餅圖 ......................................................................................................................................... 55
2.3.2 條形比例圖 ....................................................................................................................................................... 58
2.3.3 金字塔圖 ........................................................................................................................................................... 58
2.4 趨勢的可視化 ....................................................................................................................................... 60
2.4.1 時間序列 ........................................................................................................................................................... 60
2.4.2 極限相關(guān) ........................................................................................................................................................... 60
2.5 分布的可視化 ....................................................................................................................................... 62
2.5.1 數(shù)據(jù)的位置分布 ............................................................................................................................................... 62
2.5.2 數(shù)據(jù)的形態(tài)分布 ............................................................................................................................................... 63
2.5.3 數(shù)據(jù)的空間分布 ............................................................................................................................................... 64
2.5.4 數(shù)據(jù)的降維可視化 ........................................................................................................................................... 68
2.6 關(guān)系的可視化 ....................................................................................................................................... 71
2.6.1 調(diào)和曲線圖與聚類 ........................................................................................................................................... 71
2.6.2 相關(guān)性的可視化 ............................................................................................................................................... 72
2.6.3 散布圖 ............................................................................................................................................................... 74
2.7 實例分析—人口數(shù)據(jù)的可視化 ........................................................................................................ 76
思考與練習(xí) .................................................................................................................................................... 79
第３章 隨機思維：隨機數(shù)與隨機模擬 ............................................................................................... 81
3.1 隨機數(shù)發(fā)生器 ....................................................................................................................................... 81
擴展閱讀 ........................................................................................................................................................................ 83
3.2 概率極限理論的模擬 ............................................................................................................................ 84
3.2.1 大數(shù)定律 ........................................................................................................................................................... 84
3.2.2 中心極限定理 ................................................................................................................................................... 87
3.3 Monte-Carlo隨機模擬方法及應(yīng)用 ....................................................................................................... 92
3.3.1 圓周率π的估計 .............................................................................................................................................. 93
3.3.2 函數(shù)積分的模擬計算 ....................................................................................................................................... 94
3.3.3 產(chǎn)品合格率問題 ............................................................................................................................................... 96
3.3.4 投資決策問題 ................................................................................................................................................... 97
3.4 樣本獨立同分布的模擬 ...................................................................................................................... 100
3.5 抽樣分布漸近正態(tài)性的模擬 .............................................................................................................. 103
3.5.1 問題描述 ......................................................................................................................................................... 104
3.5.2 求使用正態(tài)分布替代的最小自由度 .............................................................................................................. 105
3.6 抽樣定理的模擬 .................................................................................................................................. 112
3.6.1 格里汶科定理 ................................................................................................................................................. 112
3.6.2 單正態(tài)總體的抽樣分布 ................................................................................................................................. 114
3.6.3 雙正態(tài)總體的抽樣分布 ................................................................................................................................. 116
3.6.4 非正態(tài)總體的抽樣分布 ................................................................................................................................. 118
3.7 混合分布的模擬 ................................................................................................................................. 121
3.8 多維分布的模擬 .................................................................................................................................. 124
3.9 排列組合的抽樣 .................................................................................................................................. 127
3.10 實例分析—微信搶紅包 ................................................................................................................. 133
3.10.1 紅包分配算法 ............................................................................................................................................... 133
3.10.2 紅包金額的數(shù)字特征 ................................................................................................................................... 134
3.10.3 紅包分配的隨機模擬 ................................................................................................................................... 136
思考與練習(xí) .................................................................................................................................................. 139
第4章 發(fā)散思維：參數(shù)估計問題 ................................................................................................... 141
4.1 常見點估計方法的比較 ....................................................................................................................... 141
4.2 非參數(shù)逆向思維估計法 ....................................................................................................................... 146
4.3 區(qū)間估計的實現(xiàn)方法 ........................................................................................................................... 149
4.4 區(qū)間估計中的計算問題 ....................................................................................................................... 153
4.5 Bootstrap方法 ..................................................................................................................................... 158
4.6 混合分布參數(shù)的EM估計 ................................................................................................................... 164
4.7 眾數(shù)的估計方法 .................................................................................................................................. 171
4.8 中位數(shù)的區(qū)間估計 ............................................................................................................................... 175
4.9 經(jīng)驗分布函數(shù)的區(qū)間估計 ................................................................................................................... 179
4.10 參數(shù)估計的綜合與模擬 ..................................................................................................................... 182
4.11 實例分析—傳染病潛伏期的估計 ................................................................................................. 188
思考與練習(xí) .................................................................................................................................................. 190
第5章 探究思維：假設(shè)檢驗問題 ................................................................................................... 192
5.1 檢驗p值的解析 .......................................................................................................................... 192
5.2 基于Bootstrap思想的檢驗p值估計法 ..................................................................................... 194
5.3 假設(shè)檢驗與區(qū)間估計之間的互推 .............................................................................................. 200
5.4 基于Q-Q圖的分布擬合優(yōu)度檢驗 ............................................................................................. 203
5.5 同分布族的直觀檢驗方法 .......................................................................................................... 207
5.6 2χ檢驗法的非常規(guī)探討 ............................................................................................................ 214
5.7 基于距離的分布擬合優(yōu)度2χ檢驗 ............................................................................................ 218
5.8 連續(xù)總體的獨立性檢驗 .............................................................................................................. 225
5.9 置換檢驗 ..................................................................................................................................... 231
5.10 實例分析—關(guān)于圓周率π的檢驗問題................................................................................. 235
思考與練習(xí) .......................................................................................................................................... 239
第6章 優(yōu)化思維：回歸分析問題 ................................................................................................... 240
6.1 回歸模型概述 .............................................................................................................................. 240
6.2 擬合度的解析 .............................................................................................................................. 242
6.3 過擬合的正則化校正 .................................................................................................................. 247
6.4 尋找合適的回歸模型 .................................................................................................................. 252
6.5 組合回歸模型 .............................................................................................................................. 259
6.6 分類與回歸 ................................................................................................................................. 262
6.6.1 Logistic回歸模型 ................................................................................................................................. 262
6.6.2 Probit回歸模型 ..................................................................................................................................... 264
6.6.3 Poisson計數(shù)回歸模型 ........................................................................................................................... 266
6.6.4 過度離勢問題 ....................................................................................................................................... 267
6.7 實例分析—無配對樣本回歸 .................................................................................................. 268
6.7.1 問題再現(xiàn) ............................................................................................................................................... 268
6.7.2 模型構(gòu)建與應(yīng)用 ................................................................................................................................... 270
思考與練習(xí) ......................................................................................................................................... 273
第7章 工程思維：圖像處理中的統(tǒng)計問題 .................................................................................. 275
7.1 灰度圖像的生成 ......................................................................................................................... 275
7.2 灰度圖像的直方圖 ..................................................................................................................... 279
7.3 圖像二值化方法 ......................................................................................................................... 284
7.3.1 OTSU二值化算法 ................................................................................................................................ 284
7.3.2 K-means聚類二值化算法 ..................................................................................................................... 287
7.4 圖像匹配 .................................................................................................................................... 289
7.5 圖像特征提取 ............................................................................................................................. 293
7.5.1 梯度方向直方圖 ................................................................................................................................... 293
7.5.2 圖像HOG計算 ..................................................................................................................................... 293
7.6 初識機器學(xué)習(xí) ............................................................................................................................. 299
7.7 實例分析—圖像分類 ............................................................................................................. 305
7.7.1 讀取數(shù)據(jù)集 ........................................................................................................................................... 305
7.7.2 圖像的描述性統(tǒng)計 ............................................................................................................................... 307
7.7.3 機器學(xué)習(xí)模型 ....................................................................................................................................... 308
思考與練習(xí) ......................................................................................................................................... 313
第８章 決策思維：文本挖掘中的統(tǒng)計問題 ................................................................................... 314
8.1 中文分詞與詞云可視化 ............................................................................................................. 314
8.2 分詞的實現(xiàn)算法 ......................................................................................................................... 318
8.3 樸素貝葉斯決策 ......................................................................................................................... 322
8.3.1 文本中的貝葉斯概率 ............................................................................................................................ 322
8.3.2 概率計算的簡化 ................................................................................................................................... 323
8.3.3 實例計算 ............................................................................................................................................... 324
8.4 實例分析—酒店評價的統(tǒng)計分析 .......................................................................................... 327
8.4.1 探索性分析 ........................................................................................................................................... 327
8.4.2 貝葉斯決策 ........................................................................................................................................... 334
思考與練習(xí) ......................................................................................................................................... 335