目錄

出版說明
前言

第1章 大數(shù)據(jù)分析概述1
1.1 大數(shù)據(jù)概述1
1.1.1 大數(shù)據(jù)的定義和特征1
1.1.2 大數(shù)據(jù)處理的過程2
1.1.3 大數(shù)據(jù)的職業(yè)崗位4
1.2 云計(jì)算—大數(shù)據(jù)的處理架構(gòu)4
1.2.1 云計(jì)算的定義和特點(diǎn)4
1.2.2 云計(jì)算的體系結(jié)構(gòu)6
1.2.3 云計(jì)算的分類7
1.2.4 虛擬化技術(shù)9
1.3 Hadoop大數(shù)據(jù)處理平臺(tái)11
1.3.1 Hadoop的發(fā)展歷史及版本11
1.3.2 HDFS的組成13
1.3.3 HDFS讀取和寫入文件15
1.3.4 MapReduce并行編程框架16
1.3.5 YARN資源管理器19
1.3.6 Hadoop生態(tài)系統(tǒng)及其安裝22
1.4 NoSQL數(shù)據(jù)庫24
1.5 大數(shù)據(jù)分析技術(shù)26
1.5.1 大數(shù)據(jù)分析的方法26
1.5.2 大數(shù)據(jù)分析的種類27
1.5.3 大數(shù)據(jù)分析的層次28
1.5.4 大數(shù)據(jù)分析的工具29
1.5.5 大數(shù)據(jù)分析面臨的挑戰(zhàn)29
1.5.6 大數(shù)據(jù)分析的數(shù)據(jù)類型30
習(xí)題與實(shí)驗(yàn)31
第2章 Python數(shù)據(jù)分析與可視化基礎(chǔ)34
2.1 Python程序入門34
2.1.1 一些簡單的Python程序34
2.1.2 序列數(shù)據(jù)結(jié)構(gòu)36
2.1.3 序列處理函數(shù)37
2.1.4 函數(shù)和類38
2.2 Python數(shù)據(jù)分析工具41
2.2.1 Anaconda的使用41
2.2.2 Spyder集成開發(fā)環(huán)境42
2.2.3 numpy庫42
2.3 數(shù)據(jù)可視化—基于Matplotlib庫45
2.3.1 繪制曲線圖46
2.3.2 繪制散點(diǎn)圖等其他圖形50
2.4 SciPy庫54
2.5 sklearn庫56
2.5.1 機(jī)器學(xué)習(xí)的概念和方法56
2.5.2 樣本及樣本的劃分58
2.5.3 導(dǎo)入或創(chuàng)建數(shù)據(jù)集62
2.5.4 數(shù)據(jù)預(yù)處理65
2.5.5 數(shù)據(jù)的降維68
2.5.6 調(diào)用機(jī)器學(xué)習(xí)模型70
習(xí)題與實(shí)驗(yàn)71
第3章 關(guān)聯(lián)規(guī)則與推薦算法73
3.1 關(guān)聯(lián)規(guī)則挖掘73
3.1.1 基本概念73
3.1.2 Apriori算法75
3.1.3 Apriori算法的程序?qū)崿F(xiàn)79
3.1.4 FP-Growth算法80
3.2 推薦系統(tǒng)及算法83
3.2.1 協(xié)同過濾推薦算法84
3.2.2 協(xié)同過濾推薦算法應(yīng)用實(shí)例86
3.2.3 推薦算法的MapReduce實(shí)現(xiàn)89
3.2.4 協(xié)同過濾算法的sklearn實(shí)現(xiàn)91
習(xí)題與實(shí)驗(yàn)94
第4章 聚類算法及其應(yīng)用96
4.1 聚類的原理與實(shí)現(xiàn)96
4.1.1 聚類的概念和類型96
4.1.2 如何度量距離96
4.1.3 聚類的基本步驟99
4.2 層次聚類算法103
4.2.1 層次聚類法舉例103
4.2.2 層次聚類法sklearn實(shí)現(xiàn)104
4.3 K-means聚類算法108
4.3.1 K-means聚類算法原理和實(shí)例108
4.3.2 K-means聚類算法的sklearn
實(shí)現(xiàn)114
4.4 K-medoids聚類算法115
4.4.1 K-medoids聚類算法原理和實(shí)例115
4.4.2 K-medoids聚類算法的sklearn
實(shí)現(xiàn)120
4.5 DBSCAN聚類算法121
4.5.1 DBSCAN聚類算法原理和實(shí)例121
4.5.2 DBSCAN聚類算法的sklearn
實(shí)現(xiàn)125
習(xí)題與實(shí)驗(yàn)126
第5章 分類算法及其應(yīng)用128
5.1 分類的基本原理128
5.1.1 分類與聚類的區(qū)別128
5.1.2 分類的步驟129
5.1.3 分類模型預(yù)測結(jié)果的評估131
5.1.4 sklearn庫的常用分類算法132
5.2 K-近鄰分類算法133
5.2.1 K-近鄰分類算法原理和實(shí)例133
5.2.2 sklearn中分類模型的編程步驟136
5.2.3 K-近鄰分類算法的sklearn實(shí)現(xiàn)138
5.2.4 繪制分類邊界圖139
5.2.5 確定最優(yōu)的k值141
5.3 樸素貝葉斯分類算法142
5.3.1 樸素貝葉斯原理與實(shí)例143
5.3.2 樸素貝葉斯分類的常見問題146
5.3.3 樸素貝葉斯分類算法的sklearn
實(shí)現(xiàn)147
5.4 決策樹分類算法149
5.4.1 信息論基礎(chǔ)150
5.4.2 ID3算法153
5.4.3 C4.5算法157
5.4.4 CART算法160
5.4.5 決策樹分類算法的sklearn程序
實(shí)現(xiàn)162
5.5 隨機(jī)森林分類算法163
5.5.1 集成學(xué)習(xí)理論163
5.5.2 隨機(jī)森林分類的理論與實(shí)例165
5.5.3 隨機(jī)森林分類算法的sklearn
實(shí)現(xiàn)169
習(xí)題與實(shí)驗(yàn)172
第6章 回歸與邏輯回歸174
6.1 線性回歸174
6.1.1 相關(guān)與回歸174
6.1.2 線性回歸分析175
6.1.3 線性回歸方程參數(shù)的求法177
6.1.4 線性回歸模型的sklearn實(shí)現(xiàn)181
6.2 邏輯回歸185
6.2.1 線性分類模型的原理185
6.2.2 邏輯回歸模型及實(shí)例187
6.2.3 邏輯回歸模型的sklearn實(shí)現(xiàn)190
習(xí)題與實(shí)驗(yàn)195
第7章 人工神經(jīng)網(wǎng)絡(luò)196
7.1 神經(jīng)元與感知機(jī)196
7.1.1 人工神經(jīng)元與邏輯回歸模型197
7.1.2 感知機(jī)模型197
7.1.3 感知機(jī)模型的Python實(shí)現(xiàn)199
7.1.4 多層感知機(jī)模型201
7.2 人工神經(jīng)網(wǎng)絡(luò)的核心要素203
7.2.1 神經(jīng)元的激活函數(shù)203
7.2.2 損失函數(shù)205
7.2.3 網(wǎng)絡(luò)結(jié)構(gòu)206
7.2.4 反向傳播207
7.2.5 人工神經(jīng)網(wǎng)絡(luò)的sklearn實(shí)現(xiàn)209
7.3 深度學(xué)習(xí)與深度神經(jīng)網(wǎng)絡(luò)213
7.3.1 深度學(xué)習(xí)的概念和原理213
7.3.2 TensorFlow概述214
7.3.3 卷積神經(jīng)網(wǎng)絡(luò)215
習(xí)題與實(shí)驗(yàn)217
第8章 支持向量機(jī)219
8.1 支持向量機(jī)的理論基礎(chǔ)219
8.1.1 支持向量的超平面220
8.1.2 支持向量機(jī)間隔及損失函數(shù)221
8.1.3 非線性支持向量機(jī)與核函數(shù)226
8.1.4 支持向量機(jī)分類的步驟227
8.2 支持向量機(jī)的sklearn實(shí)現(xiàn)228
8.2.1 繪制決策邊界229
8.2.2 繪制支持向量機(jī)的分類界面230
8.2.3 支持向量機(jī)參數(shù)對性能的影響231
習(xí)題與實(shí)驗(yàn)236
參考文獻(xiàn)238