目錄 1 第 1章 機(jī)器學(xué)習(xí)引論 12 1.1 什么是人工智能 12 1.1.1 人工智能發(fā)展歷程 13 1.2 什么是機(jī)器學(xué)習(xí) 20 1.2.1 機(jī)器學(xué)習(xí)的定義 21 1.2.2 機(jī)器學(xué)習(xí)的分類 21 1.2.3 機(jī)器學(xué)習(xí)就是專門研究算法？ 22 1.3 如何學(xué)習(xí)機(jī)器學(xué)習(xí) 25 1.3.1 編程能力與實(shí)踐 28 1.4 本章小結(jié) 31 1.5 習(xí)題 32 34 第 2章 概率密度估計(jì) 34 2.1 頻率學(xué)派與貝葉斯學(xué)派 34 2.1.1 頻率學(xué)派 34 2.1.2 貝葉斯學(xué)派 35 2.2 最大似然估計(jì)和最大后驗(yàn)估計(jì) 36 2.2.1 最大似然估計(jì) 36 2.2.2 最大后驗(yàn)估計(jì) 40 2.3 特殊先驗(yàn)分布下的最大后驗(yàn)估計(jì) 42 2.3.1 高斯先驗(yàn) 42 2.3.2 拉普拉斯先驗(yàn) 42 2.4 本章小結(jié) 43 2.5 習(xí)題 43 46 第3章 感知機(jī) 46 3.1 感知機(jī)模型 46 3.2 感知機(jī)的損失函數(shù) 48 3.3 感知機(jī)的學(xué)習(xí)算法 49 3.3.2 機(jī)器學(xué)習(xí)算法的一般編程模式 50 3.4 本章小結(jié) 59 3.5 習(xí)題 59 第4章 Logistic回歸 64 4.1 Logistic的物理含義 64 4.2 logistic回歸的參數(shù)估計(jì) 65 4.3 評(píng)價(jià)標(biāo)準(zhǔn) 72 4.4 多類分類和歸一化指數(shù)函數(shù)（Softmax函數(shù)） 75 4.5 本章小結(jié) 77 4.6 習(xí)題 78 82 第5章 支持向量機(jī) 82 5.1 從感知機(jī)到支持向量機(jī) 82 5.2 線性可分支持向量機(jī) 83 5.2.1 點(diǎn)到分類面的距離 83 5.2.2 最大間隔的目標(biāo)函數(shù) 84 5.2.3 支持向量與間隔最大化 85 5.2.4 支持向量機(jī)的對(duì)偶算法 87 5.2.5 用KKT條件解釋支持向量的稀疏性 90 5.3 線性不可分支持向量機(jī) 91 5.3.1 軟間隔 91 5.3.2 對(duì)偶算法 92 5.4 非線性可分支持向量機(jī) 94 5.4.1 非線性支持向量機(jī) 95 5.4.2 核技巧與計(jì)算復(fù)雜度 96 5.5 SVM優(yōu)化求解 98 5.5.1 非線性支持向量與SMO算法 98 5.5.2 線性支持向量機(jī)與Pegasos算法 99 5.6 支持向量回歸 100 5.7 本章小結(jié) 102 5.8 習(xí)題 103 第6章 決策樹(shù) 107 6.1 決策過(guò)程與決策樹(shù) 107 6.2 建立決策樹(shù)的基本原則 109 6.2.1 “純度”與特征選擇 110 6.2.2 信息增益 111 6.3 決策樹(shù)生成算法 112 6.3.1 ID3算法 112 6.3.2 C4.5算法 113 6.4 決策樹(shù)的剪枝 118 6.5分類回歸樹(shù) 128 6.6 本章小結(jié) 132 6.7 習(xí)題 132 136 第7章 集成學(xué)習(xí) 136 7.1 集成學(xué)習(xí)的原理 136 7.2 分類器優(yōu)劣與泛化誤差 136 7.3 Bagging算法 142 7.4 隨機(jī)森林 147 7.5 Boosting 148 7.6 本章小結(jié) 157 7.7 習(xí)題 158 164 第8章 無(wú)監(jiān)督學(xué)習(xí) 164 8.1 什么是無(wú)監(jiān)督學(xué)習(xí) 164 8.2 均值聚類 165 8.2.1 均值算法模型 165 8.2.2 均值優(yōu)化 166 8.2.3 均值的數(shù)據(jù)預(yù)處理 167 8.2.4 均值初始化 168 8.2.5 值大小的確定方法 169 8.3 基于密度的聚類 171 8.3.1 高斯混合模型的產(chǎn)生 171 8.3.2 高斯混合模型的梯度下降 172 8.3.3 高斯混合模型的期望最大化算法 174 8.3.4 一般情況下的期望最大化算法 176 8.3.5 majorize-minimize算法 177 8.3.6 高斯混合模型的MM算法求解 178 8.3.7 DBSCAN算法 180 8.4 層次聚類 183 8.4.1 凝聚式層次聚類 183 8.5 本章小結(jié) 184 8.6 習(xí)題 185 第 9章 降維分析 187 9.1 主成分分析 187 9.1.1 主成分分析目標(biāo)函數(shù)的化簡(jiǎn) 188 9.1.2 主成分分析目標(biāo)函數(shù)的優(yōu)化 190 9.1.3 主成分分析的預(yù)處理 191 9.2 隱語(yǔ)義模型 192 9.2.1 一詞一義與詞頻-逆詞頻表示 192 9.2.2 隱語(yǔ)義模型 193 9.2.3 概率隱語(yǔ)義模型 196 9.2.4 非負(fù)矩陣分解 198 9.2.5 非負(fù)矩陣分解的乘法更新法則 198 9.2.6 非負(fù)矩陣分解的梯度投影 200 9.3 本章小節(jié) 201 9.4 習(xí)題 202 第 10章 神經(jīng)網(wǎng)絡(luò) 203 10.1 神經(jīng)元模型 204 10.2 多層前饋神經(jīng)網(wǎng)絡(luò) 206 10.3 本章小結(jié) 226 10.4 習(xí)題 226 第 11章 深度神經(jīng)網(wǎng)絡(luò) 227 11.1 卷積神經(jīng)網(wǎng)絡(luò) 227 11.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 233 11.3 生成對(duì)抗網(wǎng)絡(luò) 241 11.4 小結(jié) 251 11.5 習(xí)題 252