Python數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí) 從入門(mén)到實(shí)踐
定 價(jià):69 元
叢書(shū)名:Python
- 作者:[美]弗蘭克·凱恩(Frank Kane)
- 出版時(shí)間:2019/6/1
- ISBN:9787115512413
- 出 版 社:人民郵電出版社
- 中圖法分類(lèi):TP311.561
- 頁(yè)碼:273
- 紙張:
- 版次:01
- 開(kāi)本:16開(kāi)
本書(shū)介紹了使用Python進(jìn)行數(shù)據(jù)分析和高效的機(jī)器學(xué)習(xí),首先從一節(jié)Python速成課開(kāi)始,然后回顧統(tǒng)計(jì)學(xué)和概率論的基礎(chǔ)知識(shí),接著深入討論與數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)相關(guān)的60多個(gè)主題,包括貝葉斯定理、聚類(lèi)、決策樹(shù)、回歸分析、實(shí)驗(yàn)設(shè)計(jì)等。
數(shù)據(jù)科學(xué)家實(shí)踐指南,依據(jù)高科技公司中數(shù)據(jù)科學(xué)家的職位描述和要求,創(chuàng)作本書(shū)。
提供三大實(shí)戰(zhàn)案例:
1.使用真實(shí)的電影評(píng)分?jǐn)?shù)據(jù)創(chuàng)建一個(gè)電影推薦系統(tǒng);
2.創(chuàng)建一個(gè)能實(shí)際運(yùn)行的維基百科數(shù)據(jù)搜索引擎;
3.創(chuàng)建一個(gè)垃圾郵件分類(lèi)器,可以對(duì)郵件賬戶(hù)中的垃圾郵件和正常郵件進(jìn)行正確的分類(lèi)。
本書(shū)涵蓋準(zhǔn)備分析數(shù)據(jù)、訓(xùn)練機(jī)器學(xué)習(xí)模型和可視化分析結(jié)果等主題,有助你提高使用Python高效地進(jìn)行數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的能力,并建立信心以更好地分析自己的機(jī)器學(xué)習(xí)模型。
●清理和準(zhǔn)備數(shù)據(jù),使其可用于分析
●應(yīng)用Python中流行的聚類(lèi)和回歸方法
●使用決策樹(shù)和隨機(jī)森林訓(xùn)練高效的機(jī)器學(xué)習(xí)模型
●使用Python Matplotlib庫(kù)對(duì)分析結(jié)果進(jìn)行可視化
●使用Apache Spark的MLlib包在大型數(shù)據(jù)庫(kù)上進(jìn)行機(jī)器學(xué)習(xí)
Frank Kane,Sundog Software公司創(chuàng)始人,曾在Amazon和IMDb工作近9年,在分布式計(jì)算、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等領(lǐng)域持有17項(xiàng)專(zhuān)利。
【譯者簡(jiǎn)介】
陳光欣,畢業(yè)于清華大學(xué)并留校工作,主要興趣為數(shù)據(jù)分析與數(shù)據(jù)挖掘。
第 1 章 入門(mén) 1
1.1 安裝Enthought Canopy 1
1.2 使用并理解IPython/Jupyter Notebook 6
1.3 Python基礎(chǔ)——第 一部分 9
1.4 理解Python代碼 11
1.5 導(dǎo)入模塊 13
1.5.1 數(shù)據(jù)結(jié)構(gòu) 13
1.5.2 使用列表 14
1.5.3 元組 17
1.5.4 字典 18
1.6 Python基礎(chǔ)——第二部分 20
1.6.1 Python中的函數(shù) 20
1.6.2 循環(huán) 23
1.6.3 探索活動(dòng) 24
1.7 運(yùn)行Python腳本 24
1.7.1 運(yùn)行Python代碼的其他方式 25
1.7.2 在命令行中運(yùn)行Python腳本 25
1.7.3 使用Canopy IDE 26
1.8 小結(jié) 28
第 2 章 統(tǒng)計(jì)與概率復(fù)習(xí)以及Python實(shí)現(xiàn) 29
2.1 數(shù)據(jù)類(lèi)型 29
2.1.1 數(shù)值型數(shù)據(jù) 30
2.1.2 分類(lèi)數(shù)據(jù) 30
2.1.3 定序數(shù)據(jù) 31
2.2 均值、中位數(shù)和眾數(shù) 32
2.2.1 均值 32
2.2.2 中位數(shù) 33
2.2.3 眾數(shù) 34
2.3 在Python中使用均值、中位數(shù)和眾數(shù) 35
2.3.1 使用NumPy包計(jì)算均值 35
2.3.2 使用NumPy包計(jì)算中位數(shù) 36
2.3.3 使用SciPy包計(jì)算眾數(shù) 37
2.4 標(biāo)準(zhǔn)差和方差 40
2.4.1 方差 40
2.4.2 標(biāo)準(zhǔn)差 42
2.4.3 總體方差與樣本方差 42
2.4.4 在直方圖上分析標(biāo)準(zhǔn)差和方差 44
2.4.5 使用Python計(jì)算標(biāo)準(zhǔn)差和方差 44
2.4.6 自己動(dòng)手 45
2.5 概率密度函數(shù)和概率質(zhì)量函數(shù) 45
2.5.1 概率密度函數(shù) 45
2.5.2 概率質(zhì)量函數(shù) 46
2.6 各種類(lèi)型的數(shù)據(jù)分布 47
2.6.1 均勻分布 47
2.6.2 正態(tài)分布或高斯分布 48
2.6.3 指數(shù)概率分布與指數(shù)定律 50
2.6.4 二項(xiàng)式概率質(zhì)量函數(shù) 50
2.6.5 泊松概率質(zhì)量函數(shù) 51
2.7 百分位數(shù)和矩 52
2.7.1 百分位數(shù) 53
2.7.2 矩 56
2.8 小結(jié) 60
第 3 章 Matplotlib與概率高級(jí)概念 61
3.1 Matplotlib快速學(xué)習(xí) 61
3.1.1 在一張圖形上進(jìn)行多次繪圖 62
3.1.2 將圖形保存為文件 63
3.1.3 調(diào)整坐標(biāo)軸 64
3.1.4 添加網(wǎng)格 65
3.1.5 修改線(xiàn)型和顏色 65
3.1.6 標(biāo)記坐標(biāo)軸并添加圖例 68
3.1.7 一個(gè)有趣的例子 69
3.1.8 生成餅圖 70
3.1.9 生成條形圖 71
3.1.10 生成散點(diǎn)圖 72
3.1.11 生成直方圖 72
3.1.12 生成箱線(xiàn)圖 73
3.1.13 自己動(dòng)手 74
3.2 協(xié)方差與相關(guān)系數(shù) 74
3.2.1 概念定義 75
3.2.2 相關(guān)系數(shù) 76
3.2.3 在Python中計(jì)算協(xié)方差和相關(guān)系數(shù) 76
3.2.4 相關(guān)系數(shù)練習(xí) 80
3.3 條件概率 80
3.3.1 Python中的條件概率練習(xí) 81
3.3.2 條件概率作業(yè) 84
3.3.3 作業(yè)答案 85
3.4 貝葉斯定理 86
3.5 小結(jié) 88
第 4 章 預(yù)測(cè)模型 89
4.1 線(xiàn)性回歸 89
4.1.1 普通最小二乘法 90
4.1.2 梯度下降法 91
4.1.3 判定系數(shù)或r方 91
4.1.4 使用Python進(jìn)行線(xiàn)性回歸并計(jì)算r方 92
4.1.5 線(xiàn)性回歸練習(xí) 94
4.2 多項(xiàng)式回歸 95
4.2.1 使用NumPy實(shí)現(xiàn)多項(xiàng)式回歸 96
4.2.2 計(jì)算r方誤差 98
4.2.3 多項(xiàng)式回歸練習(xí) 98
4.3 多元回歸和汽車(chē)價(jià)格預(yù)測(cè) 99
4.3.1 使用Python進(jìn)行多元回歸 100
4.3.2 多元回歸練習(xí) 102
4.4 多水平模型 102
4.5 小結(jié) 104
第 5 章 使用Python進(jìn)行機(jī)器學(xué)習(xí) 105
5.1 機(jī)器學(xué)習(xí)及訓(xùn)練/測(cè)試法 105
5.1.1 非監(jiān)督式學(xué)習(xí) 106
5.1.2 監(jiān)督式學(xué)習(xí) 107
5.2 使用訓(xùn)練/測(cè)試法防止多項(xiàng)式回歸中的過(guò)擬合 109
5.3 貝葉斯方法——概念 113
5.4 使用樸素貝葉斯實(shí)現(xiàn)垃圾郵件分類(lèi)器 115
5.5 k均值聚類(lèi) 118
5.6 基于收入與年齡進(jìn)行人群聚類(lèi) 121
5.7 熵的度量 123
5.8 決策樹(shù)——概念 124
5.8.1 決策樹(shù)實(shí)例 126
5.8.2 生成決策樹(shù) 127
5.8.3 隨機(jī)森林 127
5.9 決策樹(shù)——使用Python預(yù)測(cè)錄用決策 128
5.9.1 集成學(xué)習(xí)——使用隨機(jī)森林 132
5.9.2 練習(xí) 133
5.10 集成學(xué)習(xí) 133
5.11 支持向量機(jī)簡(jiǎn)介 135
5.12 使用scikit-learn通過(guò)SVM進(jìn)行人員聚集 137
5.13 小結(jié) 140
第 6 章 推薦系統(tǒng) 141
6.1 什么是推薦系統(tǒng) 141
6.2 基于項(xiàng)目的協(xié)同過(guò)濾 145
6.3 基于項(xiàng)目的協(xié)同過(guò)濾是如何工作的 146
6.4 找出電影相似度 149
6.5 改善電影相似度結(jié)果 155
6.6 向人們推薦電影 159
6.7 改善推薦結(jié)果 165
6.8 小結(jié) 167
第 7 章 更多數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù) 168
7.1 k最近鄰的概念 168
7.2 使用KNN預(yù)測(cè)電影評(píng)分 170
7.3 數(shù)據(jù)降維與主成分分析 176
7.3.1 數(shù)據(jù)降維 176
7.3.2 主成分分析 177
7.4 對(duì)鳶尾花數(shù)據(jù)集的PCA示例 178
7.5 數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介 182
7.6 強(qiáng)化學(xué)習(xí) 184
7.6.1 Q-learning 185
7.6.2 探索問(wèn)題 186
7.6.3 時(shí)髦名詞 186
7.7 小結(jié) 188
第 8 章 處理真實(shí)數(shù)據(jù) 189
8.1 偏差-方差權(quán)衡 189
8.2 使用k折交叉驗(yàn)證避免過(guò)擬合 192
8.3 數(shù)據(jù)清理和標(biāo)準(zhǔn)化 196
8.4 清理Web日志數(shù)據(jù) 198
8.4.1 對(duì)Web日志應(yīng)用正則表達(dá)式 198
8.4.2 修改1——篩選請(qǐng)求字段 200
8.4.3 修改2——篩選post請(qǐng)求 201
8.4.4 修改3——檢查用戶(hù)代理 203
8.4.5 篩選爬蟲(chóng)與機(jī)器人 204
8.4.6 修改4——使用網(wǎng)站專(zhuān)用篩選器 205
8.4.7 Web日志數(shù)據(jù)練習(xí) 206
8.5 數(shù)值型數(shù)據(jù)的標(biāo)準(zhǔn)化 207
8.6 檢測(cè)異常值 208
8.6.1 處理異常值 209
8.6.2 異常值練習(xí) 211
8.7 小結(jié)211
第 9 章 Apache Spark——大數(shù)據(jù)上的機(jī)器學(xué)習(xí) 212
9.1 安裝Spark 212
9.1.1 在Windows系統(tǒng)中安裝Spark 213
9.1.2 在其他操作系統(tǒng)上安裝Spark 214
9.1.3 安裝Java Development Kit 214
9.1.4 安裝Spark 217
9.2 Spark簡(jiǎn)介 227
9.2.1 可伸縮 227
9.2.2 速度快 228
9.2.3 充滿(mǎn)活力 229
9.2.4 易于使用 229
9.2.5 Spark組件 229
9.2.6 在Spark中使用Python還是Scala 230
9.3 Spark和彈性分布式數(shù)據(jù)集 231
9.3.1 SparkContext對(duì)象 231
9.3.2 創(chuàng)建RDD 232
9.3.3 更多創(chuàng)建RDD的方法 233
9.3.4 RDD操作 233
9.4 MLlib簡(jiǎn)介 235
9.4.1 MLlib功能 235
9.4.2 MLlib特殊數(shù)據(jù)類(lèi)型 236
9.5 在Spark中使用MLlib實(shí)現(xiàn)決策樹(shù) 236
9.6 在Spark中實(shí)現(xiàn)k均值聚類(lèi) 245
9.7 TF-IDF 250
9.7.1 TF-IDF實(shí)戰(zhàn) 250
9.7.2 使用TF-IDF 251
9.8 使用Spark MLlib搜索維基百科 251
9.8.1 導(dǎo)入語(yǔ)句 252
9.8.2 創(chuàng)建初始RDD 252
9.8.3 創(chuàng)建并轉(zhuǎn)換HashingTF對(duì)象 253
9.8.4 計(jì)算TF-IDF得分 254
9.8.5 使用維基百科搜索引擎算法 254
9.8.6 運(yùn)行算法 255
9.9 使用Spark 2.0中的MLlib數(shù)據(jù)框API 255
9.10 小結(jié) 259
第 10 章 測(cè)試與實(shí)驗(yàn)設(shè)計(jì) 260
10.1 A/B測(cè)試的概念 260
10.1.1 A/B測(cè)試 260
10.1.2 A/B測(cè)試的轉(zhuǎn)化效果測(cè)量 262
10.1.3 小心方差 263
10.2 t檢驗(yàn)與p值 263
10.2.1 t統(tǒng)計(jì)量或t檢驗(yàn) 264
10.2.2 p值 264
10.3 使用Python計(jì)算t統(tǒng)計(jì)量和p值 265
10.3.1 使用實(shí)驗(yàn)數(shù)據(jù)進(jìn)行A/B測(cè)試 265
10.3.2 樣本量有關(guān)系嗎 267
10.4 確定實(shí)驗(yàn)持續(xù)時(shí)間 268
10.5 A/B測(cè)試中的陷阱 269
10.5.1 新奇性效應(yīng) 270
10.5.2 季節(jié)性效應(yīng) 271
10.5.3 選擇性偏差 271
10.5.4 數(shù)據(jù)污染 272
10.5.5 歸因錯(cuò)誤 272
10.6 小結(jié) 273