第1章 機(jī)器學(xué)習(xí)概述 1 1.1 人工智能概述 1 1.1.1 人工智能發(fā)展歷程 1 1.1.2 人工智能與機(jī)器學(xué)習(xí) 3 1.2 機(jī)器學(xué)習(xí)的兩大學(xué)派 5 1.2.1 頻率學(xué)派 6 1.2.2 貝葉斯學(xué)派 6 1.3 機(jī)器學(xué)習(xí)的三要素 7 1.3.1 數(shù)據(jù) 7 1.3.2 模型 8 1.3.3 算法 9 1.4 機(jī)器學(xué)習(xí)算法的4種類型 9 1.4.1 有監(jiān)督學(xué)習(xí)算法 10 1.4.2 無(wú)監(jiān)督學(xué)習(xí)算法 10 1.4.3 半監(jiān)督學(xué)習(xí)算法 11 1.4.4 強(qiáng)化學(xué)習(xí)算法 12 1.5 機(jī)器學(xué)習(xí)的應(yīng)用 13 1.5.1 計(jì)算機(jī)視覺(jué) 13 1.5.2 自然語(yǔ)言處理 14 1.5.3 機(jī)器人 15 習(xí)題 16 第2章 回歸算法概述 17 2.1 回歸算法簡(jiǎn)介 17 2.2 線性回歸 19 2.2.1 算法原理 19 2.2.2 實(shí)現(xiàn)及參數(shù) 20 2.3 多元線性回歸 24 2.3.1 算法原理 24 2.3.2 實(shí)現(xiàn)及參數(shù) 25 2.4 正則化回歸分析 29 2.4.1 過(guò)擬合與正則化 29 2.4.2 嶺回歸 30 2.4.3 套索回歸 32 2.4.4 彈性網(wǎng)絡(luò)回歸 33 2.5 貝葉斯模型 35 2.5.1 貝葉斯方法 35 2.5.2 貝葉斯回歸 36 2.6 Softmax回歸 40 2.6.1 算法原理 40 2.6.2 實(shí)現(xiàn)及參數(shù) 41 2.7 項(xiàng)目實(shí)踐：航班乘客流量預(yù)測(cè) 44 習(xí)題 52 第3章 分類算法概述 53 3.1 分類算法簡(jiǎn)介 53 3.2 K近鄰查詢算法 54 3.2.1 算法原理 54 3.2.2 實(shí)現(xiàn)及參數(shù) 55 3.3 邏輯回歸算法 58 3.3.1 算法原理 58 3.3.2 實(shí)現(xiàn)及參數(shù) 60 3.4 貝葉斯網(wǎng)絡(luò)與樸素貝葉斯分類器 62 3.4.1 貝葉斯網(wǎng)絡(luò) 62 3.4.2 樸素貝葉斯分類器 63 3.5 決策樹(shù)算法 65 3.5.1 算法原理 66 3.5.2 選擇最優(yōu)特征 68 3.6 集成學(xué)習(xí)算法 69 3.6.1 隨機(jī)森林算法 70 3.6.2 AdaBoost算法 71 3.7 項(xiàng)目實(shí)踐：水果分類 73 習(xí)題 78 第4章 支持向量機(jī)概述 79 4.1 支持向量機(jī)簡(jiǎn)介 79 4.1.1 超平面與線性可分 80 4.1.2 最大化間隔 81 4.2 核函數(shù) 81 4.3 多分類處理 84 4.3.1 “1?a?r”方法 84 4.3.2 樹(shù)形支持向量機(jī)多分類方法 85 4.3.3 決策樹(shù)支持向量機(jī)多分類器 85 4.4 結(jié)構(gòu)風(fēng)險(xiǎn)分析 85 4.5 項(xiàng)目實(shí)踐：貓分類器 86 4.5.1 實(shí)踐準(zhǔn)備 87 4.5.2 訓(xùn)練模型 88 4.5.3 驗(yàn)證模型 90 習(xí)題 92 第5章 數(shù)據(jù)降維概述 93 5.1 數(shù)據(jù)降維簡(jiǎn)介 93 5.2 線性降維 94 5.2.1 PCA 94 5.2.2 使用最大投影方差理解PCA 97 5.2.3 使用最小重構(gòu)代價(jià)理解PCA 98 5.2.4 LDA 100 5.3 非線性降維 103 5.3.1 局部線性嵌入 103 5.3.2 拉普拉斯特征映射 104 5.3.3 隨機(jī)近鄰嵌入 107 5.3.4 t分布隨機(jī)近鄰嵌入 108 5.4 自編碼器 108 5.5 項(xiàng)目實(shí)踐：自編碼器 114 習(xí)題 117 第6章 聚類算法概述 118 6.1 聚類算法簡(jiǎn)介 118 6.2 基于劃分的聚類算法 119 6.2.1 K均值聚類算法 119 6.2.2 EM算法 121 6.3 基于密度的聚類算法 123 6.3.1 DBSCAN算法 123 6.3.2 DPC算法 127 6.4 基于圖的聚類算法 129 6.5 項(xiàng)目實(shí)踐：人臉圖像聚類 131 習(xí)題 134 第7章 深度學(xué)習(xí)概述 135 7.1 深度學(xué)習(xí)簡(jiǎn)介 135 7.2 感知器 136 7.3 人工神經(jīng)網(wǎng)絡(luò) 138 7.4 反向傳播算法 139 7.5 常用的深度學(xué)習(xí)模型 144 7.5.1 CNN 144 7.5.2 RNN 148 7.5.3 GAN 152 7.6 項(xiàng)目實(shí)踐：圖片分類 154 習(xí)題 158 第8章 強(qiáng)化學(xué)習(xí)概述 159 8.1 強(qiáng)化學(xué)習(xí)簡(jiǎn)介 159 8.2 馬爾可夫決策 161 8.2.1 馬爾可夫性質(zhì) 161 8.2.2 馬爾可夫過(guò)程 161 8.2.3 馬爾可夫決策過(guò)程 164 8.2.4 最優(yōu)價(jià)值函數(shù)與最優(yōu)策略 165 8.3 基于免模型的強(qiáng)化學(xué)習(xí)算法 166 8.3.1 蒙特卡羅算法 166 8.3.2 時(shí)序差分算法 167 8.4 強(qiáng)化學(xué)習(xí)前沿 169 8.4.1 逆向強(qiáng)化學(xué)習(xí) 169 8.4.2 分層強(qiáng)化學(xué)習(xí) 170 8.4.3 深度強(qiáng)化學(xué)習(xí) 171 8.5 項(xiàng)目實(shí)踐：車桿游戲 172 習(xí)題 173 第9章 自然語(yǔ)言處理概述 174 9.1 自然語(yǔ)言處理簡(jiǎn)介 174 9.2 自然語(yǔ)言處理工具包和語(yǔ)料庫(kù) 175 9.2.1 自然語(yǔ)言處理工具包 175 9.2.2 語(yǔ)料庫(kù) 176 9.3 自然語(yǔ)言處理技術(shù)分類 177 9.3.1 自然語(yǔ)言處理基礎(chǔ)技術(shù)分類 177 9.3.2 自然語(yǔ)言處理應(yīng)用技術(shù)分類 179 9.4 Transformer 180 9.4.1 Transformer整體結(jié)構(gòu) 181 9.4.2 自注意力機(jī)制 183 9.4.3 Transformer總結(jié) 187 9.5 項(xiàng)目實(shí)踐：新聞文本分類 187 習(xí)題 190 第10章 推薦系統(tǒng)概述 191 10.1 推薦系統(tǒng)簡(jiǎn)介 191 10.1.1 什么是推薦系統(tǒng) 191 10.1.2 個(gè)性化推薦系統(tǒng)的應(yīng)用 191 10.2 協(xié)同過(guò)濾推薦算法 193 10.2.1 基于用戶的協(xié)同過(guò)濾推薦算法 193 10.2.2 基于物品的協(xié)同過(guò)濾推薦算法 194 10.3 因子分解機(jī)算法 195 10.3.1 FM算法的背景 195 10.3.2 FM算法的優(yōu)勢(shì) 195 10.3.3 FM算法的衍生算法 196 10.4 梯度提升決策樹(shù)算法 196 10.4.1 回歸樹(shù) 196 10.4.2 梯度迭代 196 10.4.3 縮減 198 10.5 評(píng)價(jià)指標(biāo) 198 10.5.1 在線評(píng)價(jià)體系 198 10.5.2 離線評(píng)價(jià)體系 199 10.6 項(xiàng)目實(shí)踐：電影推薦系統(tǒng) 201 10.6.1 電影推薦系統(tǒng)的需求分析 201 10.6.2 系統(tǒng)架構(gòu)的設(shè)計(jì) 201 10.6.3 推薦系統(tǒng)的實(shí)現(xiàn) 202 習(xí)題 205 參考文獻(xiàn) 206