第一章 緒論 1 1.1 機(jī)器學(xué)習(xí)發(fā)展簡史與概況 2 1.2 機(jī)器學(xué)習(xí)的研究與應(yīng)用現(xiàn)狀 5 1.3 機(jī)器學(xué)習(xí)的相關(guān)問題 9 1.4 機(jī)器學(xué)習(xí)的發(fā)展前景 12 第二章 機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ) 14 2.1 線性代數(shù)與矩陣分析基礎(chǔ) 14 2.1.1 線性空間基礎(chǔ) 14 2.1.2 范數(shù) 16 2.1.3 矩陣運(yùn)算及其分解 18 2.2 概率與統(tǒng)計(jì)基礎(chǔ) 21 2.2.1 概率分布 22 2.2.2 數(shù)字特征 31 2.2.3 估計(jì)理論基礎(chǔ) 35 2.2.4 貝葉斯理論基礎(chǔ) 39 2.3 優(yōu)化理論基礎(chǔ) 41 2.3.1 無約束最優(yōu)化 41 2.3.2 帶有約束條件的最優(yōu)化 42 復(fù)習(xí)思考題 43 第三章 機(jī)器學(xué)習(xí)基本知識 44 3.1 機(jī)器學(xué)習(xí)的建模問題 44 3.1.1 線性擬合（回歸）及建模問題 44 3.1.2 非線性擬合（回歸）及建模問題 50 3.2 機(jī)器學(xué)習(xí)模式概述 54 3.2.1 有監(jiān)督學(xué)習(xí)模式 55 3.2.2 無監(jiān)督學(xué)習(xí)模式 60 復(fù)習(xí)思考題 66 第四章 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法 67 4.1 神經(jīng)網(wǎng)絡(luò)概述 67 4.2 典型前饋型神經(jīng)網(wǎng)絡(luò) 73 4.2.1 前饋型（BP）神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式 76 4.2.2 前饋型（BP）神經(jīng)網(wǎng)絡(luò)的相關(guān)問題 80 4.3 典型反饋型神經(jīng)網(wǎng)絡(luò) 83 4.3.1 反饋型神經(jīng)網(wǎng)絡(luò)基本運(yùn)行模式 83 4.3.2 反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題 87 4.4 其他典型神經(jīng)網(wǎng)絡(luò) 91 4.4.1 徑向基神經(jīng)網(wǎng)絡(luò) 91 4.4.2 自組織競爭神經(jīng)網(wǎng)絡(luò) 96 4.4.3 小腦模型神經(jīng)網(wǎng)絡(luò) 102 4.4.4 卷積神經(jīng)網(wǎng)絡(luò) 105 復(fù)習(xí)思考題 109 第五章 分類與聚類學(xué)習(xí)算法 110 5.1 分類學(xué)習(xí)算法 110 5.1.1 線性分類算法 111 5.1.2 非線性分類算法 120 5.1.3 核方法與支持向量機(jī) 128 5.2 聚類學(xué)習(xí)算法 134 5.2.1 K均值聚類算法 135 5.2.2 其他聚類算法 138 復(fù)習(xí)思考題 139 第六章 數(shù)據(jù)維度歸約方法 140 6.1 單類數(shù)據(jù)降維 140 6.1.1 主成分分析 140 6.1.2 因子分析 148 6.1.3 相關(guān)分析 157 6.2 非線性降維算法簡介 161 6.2.1 等距映射 162 6.2.2 拉普拉斯特征映射 163 6.2.3 局部線性嵌入 166 6.3 多類數(shù)據(jù)特征選擇與提取 167 復(fù)習(xí)思考題 170 第七章 圖方法 171 7.1 貝葉斯網(wǎng)絡(luò) 171 7.1.1 貝葉斯網(wǎng)絡(luò)理論 171 7.1.2 貝葉斯網(wǎng)絡(luò)推理 173 7.2 決策樹理論 176 7.2.1 定義與結(jié)構(gòu) 176 7.2.2 特征選擇準(zhǔn)則 177 7.2.3 “過擬合”問題 179 7.2.4 連續(xù)值處理 180 7.2.5 決策樹生成 180 7.2.6 算法實(shí)例 181 7.3 馬爾可夫網(wǎng)絡(luò) 189 復(fù)習(xí)思考題 191 第八章 其他典型機(jī)器學(xué)習(xí)方法概述 192 8.1 隱含馬爾可夫模型 192 8.2 蒙特卡洛方法 196 8.3 組合多學(xué)習(xí)器 201 8.4 近似推斷 206 8.5 增強(qiáng)學(xué)習(xí)方法 210 8.6 深度學(xué)習(xí)方法概述 214 8.7 深度學(xué)習(xí)方法應(yīng)用舉例 221 復(fù)習(xí)思考題 229 參考文獻(xiàn) 230