第 1章　緒論1

　1.1 什么是機器學習1

　1.2 不同類型的學習1

　1.2.1 監(jiān)督學習1

　1.2.2 非監(jiān)督學習2

　1.2.3 半監(jiān)督學習3

　1.2.4 強化學習3

　1.3 監(jiān)督學習是如何工作的4

　1.4 為什么模型可以應用于新數據9

第　2章 符號和定義10

　2.1 符號10

　2.1.1 數據結構10

　2.1.2 大寫西格瑪符號12

　2.1.3 大寫派符號12

　2.1.4 集合運算13

　2.1.5 向量運算13

　2.1.6 函數14

　2.1.7 max和argmax16

　2.1.8 賦值運算符16

　2.1.9 導數和梯度16

　2.2 隨機變量18

　2.3 無偏估計值20

　2.4 貝葉斯準則21

　2.5 參數估計21

　2.6 參數與超參數23

　2.7 分類vs.回歸23

　2.8 基于模型學習vs.基于實例學習24

　2.9 淺層學習vs.深度學習24

第3章　基本算法26

　3.1 線性回歸26

　3.1.1 問題陳述26

　3.1.2 解決方案28

　3.2 對數幾率回歸30

　3.2.1 問題陳述31

　3.2.2 解決方案32

　3.3 決策樹學習34

　3.3.1 問題陳述34

　3.3.2 解決方案34

　3.4 支持向量機37

　3.4.1 處理噪聲38

　3.4.2 處理固有非線性39

　3.5 k近鄰42

第4章　算法剖析43

　4.1 一個算法的組成部分43

　4.2 梯度下降44

　4.3 機器學習工程師如何工作50

　4.4 學習算法的特性51

第5章　基本實踐53

　5.1 特征工程53

　5.1.1 獨熱編碼54

　5.1.2 裝箱55

　5.1.3 歸一化56

　5.1.4 標準化56

　5.1.5 處理特征缺失值57

　5.1.6 數據補全技術58

　5.2 選擇學習算法59

　5.3 3個數據集61

　5.4 欠擬合與過擬合63

　5.5 正則化66

　5.6 模型效果評估67

　5.6.1 混淆矩陣69

　5.6.2 查準率/查全率70

　5.6.3 準確率71

　5.6.4 代價敏感準確率71

　5.6.5 ROC曲線下面積72

　5.7 超參數調試73

　交叉驗證75

第6章　神經網絡和深度學習77

　6.1 神經網絡77

　6.1.1 多層感知機例子78

　6.1.2 前饋神經網絡80

　6.2 深度學習81

　6.2.1 卷軸神經網絡83

　6.2.2 循環(huán)神經網絡90

第7章　問題與解決方案96

　7.1 核回歸96

　7.2 多類別分類98

　7.3 單類別分類99

　7.4 多標簽分類102

　7.5 集成學習104

　7.5.1 提升法與裝袋法105

　7.5.2 隨機森林105

　7.5.3 梯度提升106

　7.6 學習標注序列109

　7.7 序列到序列學習111

　7.8 主動學習113

　7.9 半監(jiān)督學習115

　7.10 單樣本學習118

　7.11 零樣本學習120

第8章　進階操作122

　8.1 處理不平衡的數據集122

　8.2 組合模型124

　8.3 訓練神經網絡125

　8.4 進階正則化127

　8.5 處理多輸入128

　8.6 處理多輸出129

　8.7 遷移學習130

　8.8 算法效率131

第9章　非監(jiān)督學習135

　9.1 密度預估135

　9.2 聚類138

　9.2.1 k均值138

　9.2.2 DBSCAN和HDBSCAN140

　9.2.3 決定聚類簇個數141

　9.2.4 其他聚類算法145

　9.3 維度降低148

　9.3.1 主要成分分析149

　9.3.2 UMAP151

　9.4 異常值檢測153

第　10章 其他學習形式154

　10.1 質量學習154

　10.2 排序學習156

　10.3 推薦學習159

　10.3.1 因子分解機161

　10.3.2 去噪自編碼器163

　10.4 自監(jiān)督學習：詞嵌入164

第　11章 結論167

　11.1 主題模型167

　11.2 高斯過程168

　11.3 廣義線性模型168

　11.4 概率圖模型168

　11.5 馬爾可夫鏈蒙特卡洛算法169

　11.6 基因算法170

　11.7 強化學習170

術語表172