從解決工作實際問題出發(fā),提煉總結工作中Python 常用的數據處理、數據挖掘實戰(zhàn)方法與技巧。本書通俗易懂地介紹數據挖掘過程中可能用到的回歸模型、分類模型、聚類、關聯(lián)、時間序列分析等技術。在不影響學習理解的前提下,盡可能地避免使用晦澀難懂的Python 編程、統(tǒng)計術語或模型公式。 本書定位是帶領Python 數據分析初學者入門,并能解決學習、工作中大部分的問題或需求。入門后如還需要進一步進階學習,可自行擴展閱讀相關書籍或資料,學習是永無止境的,正所謂"師傅領進門,修行在個人”。
方小敏,資深機器學習工程師;中山大學數字治理研究中心技術顧問;曾服務于騰訊等知名互聯(lián)網企業(yè),熟練掌握Python、R、Spark、Hive、TensorFlow等工具進行機器學習。
第1章 數據挖掘基礎 /1
1.1 數據挖掘是什么 /1
1.1.1 數據挖掘算法的類型 /2
1.1.2 數據挖掘需要的技能 /4
1.1.3 數據挖掘的常見誤區(qū) /6
1.2 數據挖掘的常見問題 /8
1.2.1 預測問題 /9
1.2.2 分類問題 /9
1.2.3 聚類問題 /11
1.2.4 關聯(lián)問題 /12
1.3 數據挖掘的標準流程 /13
1.3.1 商業(yè)理解 /14
1.3.2 數據理解 /14
1.3.3 數據準備 /14
1.3.4 模型構建 /15
1.3.5 模型評估 /15
1.3.6 模型部署 /15
1.4 數據分析和數據挖掘的區(qū)別 /16
1.4.1 數據分析 /16
1.4.2 數據挖掘 /17
第2章 回歸模型 /18
2.1 回歸模型簡介 /18
2.2 相關分析 /20
2.2.1 依存關系 /20
2.2.2 相關系數的計算 /21
2.2.3 相關系數的方向與大小 /22
2.2.4 居民購物習慣相關分析案例 /23
2.3 簡單線性回歸分析 /25
2.3.1 線性回歸方程解讀 /25
2.3.2 使用最小二乘法求解回歸方程 /26
2.3.3 使用廣告投放費用預測銷售額案例 /28
2.4 多重線性回歸分析 /33
2.4.1 使用最小二乘法求解多重線性回歸方程 /33
2.4.2 使用廣告投放費用與客流量預測銷售額案例 /36
2.5 一元非線性回歸 /39
2.5.1 一元非線性回歸模型 /39
2.5.2 一元非線性回歸模型求解 /40
2.5.3 使用上線天數預測活躍用戶數案例 /41
第3章 分類模型 /48
3.1 分類模型基礎 /48
3.1.1 分類模型的建模五步驟 /49
3.1.2 分類模型評估指標 /50
3.1.3 K折交叉驗證 /53
3.2 KNN模型 /54
3.2.1 KNN模型原理 /54
3.2.2 使用商戶數據預測是否續(xù)約案例 /55
3.3 貝葉斯分類 /64
3.3.1 貝葉斯分類的核心概念 /65
3.3.2 樸素貝葉斯分類 /67
3.3.3 樸素貝葉斯分類算法在離散型特征上的求解 /68
3.3.4 樸素貝葉斯分類算法在連續(xù)型特征上的求解 /71
3.3.5 使用議員在議案上的投票記錄預測其所屬黨派案例 /83
3.3.6 根據商戶數據預測其是否續(xù)約案例 /85
3.3.7 根據新聞文本預測其所屬分類案例 /86
3.4 決策樹 /89
3.4.1 決策樹分類 /89
3.4.2 決策樹分類算法原理 /91
3.4.3 使用高中生基本信息預測其是否計劃升學案例 /93
3.4.4 案例解讀 /102
3.5 隨機森林 /104
3.5.1 隨機森林的特點 /104
3.5.2 網格搜索 /106
3.5.3 使用隨機森林算法提升決策樹算法效果案例 /107
3.6 支持向量機 /111
3.6.1 支持向量機的核心原理 /111
3.6.2 根據葡萄酒成分數據預測其分類案例 /116
3.7 邏輯回歸 /118
3.7.1 邏輯回歸的核心概念 /118
3.7.2 邏輯回歸的數學推導 /119
3.7.3 使用住戶信息預測房屋是否屋主所有案例 /120
第4章 特征工程 /124
4.1 描述性統(tǒng)計分析 /125
4.2 數據標準化 /127
4.2.1 Min-Max標準化 /128
4.2.2 Z-Score 標準化 /129
4.2.3 Normalizer歸一化 /131
4.3 數據變換 /132
4.3.1 二值化 /132
4.3.2 分桶 /135
4.3.3 冪變換 /138
4.4 缺失值處理 /139
4.4.1 刪除缺失值所在的行 /140
4.4.2 均值/眾數/中值填充 /141
4.4.3 模型填充 /142
4.5 降維 /143
4.5.1 主成分分析 /143
4.5.2 因子分析 /154
第5章 聚類算法 /160
5.1 K均值算法 /161
5.1.1 K均值算法的核心概念 /161
5.1.2 電信套餐制定案例 /164
5.2 DBSCAN算法 /169
5.2.1 DBSCAN算法核心概念 /170
5.2.2 用戶;顒訁^(qū)域挖掘案例 /173
5.3 層次聚類算法 /175
5.3.1 演示:聚類層次的計算過程 /175
5.3.2 基于運營商基站信息挖掘商圈案例 /178
第6章 關聯(lián)算法 /184
6.1 關聯(lián)規(guī)則 /185
6.1.1 關聯(lián)規(guī)則的核心概念 /186
6.1.2 超市關聯(lián)規(guī)則挖掘案例 /188
6.1.3 超市關聯(lián)規(guī)則解讀 /192
6.2 協(xié)同過濾 /192
6.2.1 協(xié)同過濾算法的實現(xiàn) /193
6.2.2 安裝scikit-surprise模塊 /196
6.2.3 基于電影數據的協(xié)同過濾案例 /197
6.3 奇異值分解 /201
第7章 時間序列 /206
7.1 時間序列分解 /206
7.1.1 非季節(jié)性時間序列分解 /207
7.1.2 季節(jié)性時間序列 /211
7.2 序列預測 /214
7.2.1 把不平穩(wěn)的時間序列轉換成平穩(wěn)的時間序列 /214
7.2.2 自回歸模型 /219
7.2.3 移動平均模型 /220
7.2.4 自回歸移動平均模型 /221
第8章 模型持久化 /226
8.1 保存模型 /226
8.2 恢復模型 /228
8.3 管道模型 /229