序 前言 第 1章 機(jī)器學(xué)習(xí)預(yù)備知識(shí) 2 1.1 引言 2 1.2 關(guān)鍵術(shù)語(yǔ)與任務(wù)類型 2 1.3 機(jī)器學(xué)習(xí)三要素 3 1.4 機(jī)器學(xué)習(xí)核心 4 1.5 機(jī)器學(xué)習(xí)流程 5 1.6 NumPy必學(xué)必會(huì) 7 1.6.1 創(chuàng)建數(shù)組 7 1.6.2 數(shù)組的索引與切片 9 1.6.3 數(shù)組的基礎(chǔ)運(yùn)算 10 1.6.4 數(shù)組維度變換 11 1.6.5 數(shù)組合并與切分 12 1.7 sklearn簡(jiǎn)介 13 1.8章節(jié)安排 14 1.9 小結(jié) 16 第 2章 線性回歸 18 2.1 杭州的二手房房?jī)r(jià) 18 2.2 線性回歸的原理推導(dǎo) 19 2.3 線性回歸的代碼實(shí)現(xiàn) 22 2.3.1 編寫思路 22 2.3.2 基于NumPy的代碼實(shí)現(xiàn) 23 2.3.3 基于sklearn的模型實(shí)現(xiàn) 28 2.4 小結(jié) 29 第3章 邏輯回歸 30 3.1 App開屏廣告 30 3.2 邏輯回歸的原理推導(dǎo) 31 3.3 邏輯回歸的代碼實(shí)現(xiàn) 33 3.3.1 編寫思路 33 3.3.2 基于NumPy的邏輯回歸實(shí)現(xiàn) 34 3.3.3 基于sklearn的邏輯回歸實(shí)現(xiàn) 41 3.4 小結(jié) 41 第4章 回歸模型拓展 42 4.1 回到杭州二手房房?jī)r(jià) 42 4.2 LASSO回歸的原理推導(dǎo) 42 4.3 LASSO回歸的代碼實(shí)現(xiàn) 44 4.3.1 編寫思路 44 4.3.2 基于NumPy的LASSO回歸實(shí)現(xiàn) 45 4.3.3 基于sklearn的LASSO回歸實(shí)現(xiàn) 49 4.4 Ridge回歸的原理推導(dǎo) 49 4.5 Ridge回歸的代碼實(shí)現(xiàn) 50 4.6 小結(jié) 54 第5章 線性判別分析 55 5.1 LDA基本思想 55 5.2 LDA數(shù)學(xué)推導(dǎo) 56 5.3 LDA算法實(shí)現(xiàn) 57 5.3.1 基于NumPy的LDA算法實(shí)現(xiàn) 57 5.3.2 基于sklearn的LDA算法實(shí)現(xiàn) 60 5.4 小結(jié) 61 第6章 k近鄰算法 62 6.1 “猜你喜歡”的推薦邏輯 62 6.2 距離度量方式 63 6.3 k 近鄰算法的基本原理 64 6.4 k 近鄰算法的代碼實(shí)現(xiàn) 64 6.4.1 編寫思路 64 6.4.2 基于NumPy的k近鄰算法實(shí)現(xiàn) 65 6.4.3 基于sklearn的k近鄰算法實(shí)現(xiàn) 71 6.5 小結(jié) 71 第7章 決策樹 72 7.1 “今天是否要打高爾夫” 72 7.2 決策樹 73 7.3 特征選擇：從信息增益到基尼指數(shù) 75 7.3.1 什么是特征選擇 75 7.3.2 信息增益 75 7.3.3 信息增益比 78 7.3.4 基尼指數(shù) 79 7.4 決策樹模型：從ID3到CART 81 7.4.1 ID3 81 7.4.2 C4.5 85 7.4.3 CART分類樹 86 7.4.4 CART回歸樹 86 7.4.5 CART算法實(shí)現(xiàn) 88 7.5 決策樹剪枝 95 7.6 小結(jié) 96 第8章 神經(jīng)網(wǎng)絡(luò) 97 8.1 無(wú)處不在的圖像識(shí)別 97 8.2 從感知機(jī)說(shuō)起 98 8.2.1 感知機(jī)推導(dǎo) 98 8.2.2 基于NumPy的感知機(jī)實(shí)現(xiàn) 100 8.3 從單層到多層 103 8.3.1 神經(jīng)網(wǎng)絡(luò)與反向傳播 103 8.3.2 基于NumPy的神經(jīng)網(wǎng)絡(luò)搭建 105 8.4 神經(jīng)網(wǎng)絡(luò)的廣闊天地 114 8.5 小結(jié) 114 第9章 支持向量機(jī) 115 9.1 重新從感知機(jī)出發(fā) 115 9.2 線性可分支持向量機(jī) 116 9.2.1 線性可分支持向量機(jī)的原理推導(dǎo) 116 9.2.2 線性可分支持向量機(jī)的算法實(shí)現(xiàn) 120 9.3 近似線性可分支持向量機(jī) 125 9.3.1 近似線性可分支持向量機(jī)的原理推導(dǎo) 125 9.3.2 近似線性可分支持向量機(jī)的算法實(shí)現(xiàn) 128 9.4 線性不可分支持向量機(jī) 132 9.4.1 線性不可分與核技巧 132 9.4.2 SMO算法 135 9.4.3 線性不可分支持向量機(jī)的算法實(shí)現(xiàn) 137 9.5 小結(jié) 142 第 10章 AdaBoost 144 10.1 什么是Boosting 144 10.2 AdaBoost算法的原理推導(dǎo) 144 10.2.1 AdaBoost基本原理 144 10.2.2 AdaBoost與前向分步算法 146 10.3 AdaBoost算法實(shí)現(xiàn) 147 10.3.1 基于NumPy的AdaBoost算法實(shí)現(xiàn) 147 10.3.2 基于sklearn的AdaBoost算法實(shí)現(xiàn) 153 10.4 小結(jié) 153 第 11章 GBDT 154 11.1 從提升樹到梯度提升樹 154 11.2 GBDT算法的原理推導(dǎo) 154 11.3 GBDT算法實(shí)現(xiàn) 157 11.3.1 從零開始實(shí)現(xiàn)一個(gè)GBDT算法系統(tǒng) 157 11.3.2 基于sklearn的GBDT實(shí)現(xiàn) 161 11.4 小結(jié) 162 第 12章 XGBoost 163 12.1 XGBoost：極度梯度提升樹 163 12.2 XGBoost算法的原理推導(dǎo) 164 12.3 XGBoost算法實(shí)現(xiàn) 168 12.3.1 XGBoost實(shí)現(xiàn)：基于GBDT的改進(jìn) 168 12.3.2 原生庫(kù)XGBoost示例 172 12.4 小結(jié) 174 第 13章 LightGBM 175 13.1 XGBoost可優(yōu)化的地方 175 13.2 LightGBM基本原理 175 13.2.1 直方圖算法 175 13.2.2 單邊梯度抽樣 176 13.2.3 互斥特征捆綁算法 177 13.2.4 leaf-wise生長(zhǎng)策略 178 13.3 LightGBM算法實(shí)現(xiàn) 179 13.4 小結(jié) 181 第 14章 CatBoost 182 14.1 機(jī)器學(xué)習(xí)中類別特征的處理方法 182 14.2 CatBoost理論基礎(chǔ) 183 14.2.1 目標(biāo)變量統(tǒng)計(jì) 183 14.2.2 特征組合 184 14.2.3 排序提升算法 184 14.3 CatBoost算法實(shí)現(xiàn) 186 14.4 小結(jié) 188 第 15章 隨機(jī)森林 189 15.1 Bagging：另一種集成學(xué)習(xí)框架 189 15.2 隨機(jī)森林的基本原理 190 15.3 隨機(jī)森林的算法實(shí)現(xiàn) 191 15.3.1 基于NumPy的隨機(jī)森林算法實(shí)現(xiàn) 191 15.3.2 基于sklearn的隨機(jī)森林算法實(shí)現(xiàn) 195 15.4 小結(jié) 196 第 16章 集成學(xué)習(xí)：對(duì)比與調(diào)參 197 16.1 三大Boosting算法對(duì)比 197 16.2 常用的超參數(shù)調(diào)優(yōu)方法 201 16.2.1 網(wǎng)格搜索法 201 16.2.2 隨機(jī)搜索 202 16.2.3 貝葉斯調(diào)參 203 16.3 小結(jié) 205 第 17章 聚類分析與k均值聚類算法 208 17.1 距離度量和相似度度量方式 208 17.2 聚類算法一覽 209 17.3 k均值聚類算法的原理推導(dǎo) 211 17.4 k均值聚類算法實(shí)現(xiàn) 212 17.4.1 基于NumPy的k均值聚類算法實(shí)現(xiàn) 212 17.4.2 基于sklearn的k均值聚類算法實(shí)現(xiàn) 217 17.5 小結(jié) 217 第 18章 主成分分析 218 18.1 PCA算法的原理推導(dǎo) 218 18.2 PCA算法實(shí)現(xiàn) 220 18.2.1 基于NumPy的PCA算法實(shí)現(xiàn) 220 18.2.2 基于sklearn的PCA算法實(shí)現(xiàn) 222 18.3 小結(jié) 223 第 19章 奇異值分解 224 19.1 特征向量與矩陣分解 224 19.2 SVD算法的原理推導(dǎo) 225 19.3 SVD算法實(shí)現(xiàn)與應(yīng)用 226 19.3.1 SVD算法實(shí)現(xiàn) 226 19.3.2 基于SVD的圖像去噪 227 19.4 小結(jié) 231 第 20章 最大信息熵模型 234 20.1 最大信息熵原理 234 20.2 最大信息熵模型的推導(dǎo) 234 20.3 小結(jié) 237 第 21章 貝葉斯概率模型 238 21.1 貝葉斯定理簡(jiǎn)介 238 21.2 樸素貝葉斯 239 21.2.1 樸素貝葉斯的原理推導(dǎo) 239 21.2.2 基于NumPy的樸素貝葉斯實(shí)現(xiàn) 240 21.2.3 基于sklearn的樸素貝葉斯實(shí)現(xiàn) 243 21.3 貝葉斯網(wǎng)絡(luò) 244 21.3.1 貝葉斯網(wǎng)絡(luò)的原理推導(dǎo) 244 21.3.2 借助于pgmpy的貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn) 246 21.4 小結(jié) 249 第 22章 EM算法 250 22.1 極大似然估計(jì) 250 22.2 EM算法的原理推導(dǎo) 251 22.3 EM算法實(shí)現(xiàn) 253 22.4 小結(jié) 255 第 23章 隱馬爾可夫模型 256 23.1 什么是概率圖模型 256 23.2 HMM的定義與相關(guān)概念 257 23.3 HMM的三個(gè)經(jīng)典問(wèn)題 262 23.3.1 概率計(jì)算問(wèn)題與前向/后向算法 262 23.3.2 參數(shù)估計(jì)問(wèn)題與Baum-Welch算法 266 23.3.3 序列標(biāo)注問(wèn)題與維特比算法 269 23.4 小結(jié) 271 第 24章 條件隨機(jī)場(chǎng) 272 24.1 從生活畫像到詞性標(biāo)注問(wèn)題 272 24.2 概率無(wú)向圖 273 24.3 CRF的定義與形式 275 24.4 CRF的三大問(wèn)題 277 24.4.1 CRF的概率計(jì)算問(wèn)題 277 24.4.2 CRF的參數(shù)估計(jì)問(wèn)題 278 24.4.3 CRF的序列標(biāo)注問(wèn)題 279 24.4.4 基于sklearn_crfsuite的CRF代碼實(shí)現(xiàn) 281 24.5 小結(jié) 281 第 25章 馬爾可夫鏈蒙特卡洛方法 283 25.1 前置知識(shí)與相關(guān)概念 283 25.1.1 馬爾可夫鏈 283 25.1.2 蒙特卡洛算法 285 25.2 MCMC的原理推導(dǎo) 287 25.2.1 MCMC采樣 287 25.2.2 Metropolis-Hasting采樣算法 289 25.2.3 Gibbs采樣算法 291 25.3 MCMC與貝葉斯推斷 296 25.4 小結(jié) 296 第 26章 機(jī)器學(xué)習(xí)模型總結(jié) 298 26.1 機(jī)器學(xué)習(xí)模型的歸納與分類 298 26.1.1 單模型與集成模型 300 26.1.2 監(jiān)督模型與無(wú)監(jiān)督模型 301 26.1.3 生成式模型與判別式模型 301 26.1.4 概率模型與非概率模型 302 26.2 本書的不足和未來(lái)展望 303 參考文獻(xiàn) 305