目錄
前言
第1章 大數(shù)據(jù)概述 1
1.1 大數(shù)據(jù)定義 1
1.1.1 初識(shí)大數(shù)據(jù) 1
1.1.2 大數(shù)據(jù)的特征 2
1.1.3 大數(shù)據(jù)技術(shù) 3
1.2 大數(shù)據(jù)的結(jié)構(gòu)類型 6
1.2.1 結(jié)構(gòu)化數(shù)據(jù) 6
1.2.2 半結(jié)構(gòu)化數(shù)據(jù) 7
1.2.3 非結(jié)構(gòu)化數(shù)據(jù) 7
1.2.4 其他分類方式下的數(shù)據(jù)類型 8
1.3 大數(shù)據(jù)發(fā)展 9
1.3.1 大數(shù)據(jù)概念發(fā)展 9
1.3.2 大數(shù)據(jù)浪潮下數(shù)據(jù)存儲(chǔ)的發(fā)展 10
1.4 大數(shù)據(jù)應(yīng)用及挑戰(zhàn) 11
1.4.1 大數(shù)據(jù)應(yīng)用 11
1.4.2 大數(shù)據(jù)發(fā)展面臨的挑戰(zhàn) 15
本章小結(jié) 17
思考題 18
第2章 大數(shù)據(jù)采集 19
2.1 大數(shù)據(jù)來(lái)源 19
2.2 大數(shù)據(jù)采集設(shè)備 20
2.2.1 科研數(shù)據(jù)采集設(shè)備 20
2.2.2 網(wǎng)絡(luò)數(shù)據(jù)采集設(shè)備 21
2.3 大數(shù)據(jù)采集方法 21
2.3.1 科研大數(shù)據(jù)采集方法 21
2.3.2 網(wǎng)絡(luò)大數(shù)據(jù)采集方法 22
2.3.3 系統(tǒng)日志采集方法 24
2.4 大數(shù)據(jù)預(yù)處理技術(shù) 25
2.4.1 數(shù)據(jù)預(yù)處理技術(shù)基本概述 26
2.4.2 數(shù)據(jù)清理 27
2.4.3 數(shù)據(jù)集成 30
2.4.4 數(shù)據(jù)變換與數(shù)據(jù)離散化 31
本章小結(jié) 34
思考題 34
第3章 大數(shù)據(jù)存儲(chǔ) 35
3.1 云存儲(chǔ) 35
3.1.1 云存儲(chǔ)簡(jiǎn)介 35
3.1.2 云存儲(chǔ)技術(shù) 38
3.2 大數(shù)據(jù)存儲(chǔ) 43
3.2.1 大數(shù)據(jù)存儲(chǔ)的特點(diǎn)與挑戰(zhàn) 43
3.2.2 存儲(chǔ)系統(tǒng)架構(gòu) 44
3.2.3 新興數(shù)據(jù)庫(kù)技術(shù) 47
3.3 數(shù)據(jù)中心 50
3.3.1 數(shù)據(jù)中心概述 50
3.3.2 數(shù)據(jù)中心的演進(jìn) 52
3.3.3 數(shù)據(jù)中心的分級(jí) 55
3.3.4 數(shù)據(jù)中心的體系結(jié)構(gòu) 56
3.4 數(shù)據(jù)倉(cāng)庫(kù) 59
3.4.1 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 59
3.4.2 數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu) 62
本章小結(jié) 62
思考題 63
第4章 大數(shù)據(jù)計(jì)算平臺(tái) 64
4.1 云計(jì)算 64
4.1.1 云計(jì)算定義 64
4.1.2 云計(jì)算特點(diǎn) 64
4.1.3 云計(jì)算體系架構(gòu) 65
4.1.4 云計(jì)算與相關(guān)計(jì)算形式 67
4.1.5 云計(jì)算的機(jī)遇與挑戰(zhàn) 68
4.2 云計(jì)算平臺(tái) 70
4.2.1 主流分布式計(jì)算系統(tǒng) 70
4.2.2 主流分布式計(jì)算平臺(tái) 70
4.3 MapReduce平臺(tái) 74
4.3.1 數(shù)據(jù)存儲(chǔ)技術(shù) 75
4.3.2 數(shù)據(jù)管理技術(shù) 76
4.3.3 編程模型 77
4.4 Hadoop平臺(tái) 78
4.4.1 Hadoop概述 78
4.4.2 Hadoop結(jié)構(gòu) 79
4.4.3 Hadoop分布式文件系統(tǒng)HDFS 80
4.4.4 Hadoop中的MapReduce 80
4.4.5 Hadoop中MapReduce的任務(wù)調(diào)度 82
4.5 Spark平臺(tái) 82
4.5.1 Spark簡(jiǎn)介 82
4.5.2 核心思想與編程模型 84
4.5.3 工作原理 85
4.5.4 Spark的優(yōu)勢(shì) 87
本章小結(jié) 87
思考題 88
第5章 大數(shù)據(jù)分析 89
5.1 大數(shù)據(jù)分析方法 89
5.1.1 布隆過濾器 89
5.1.2 散列法 91
5.1.3 索引法 93
5.1.4 字典樹 95
5.1.5 并行計(jì)算 96
5.2 大數(shù)據(jù)分析架構(gòu) 98
5.2.1 實(shí)時(shí)分析與離線分析 98
5.2.2 不同層次的分析 100
5.2.3 不同復(fù)雜度的分析 102
5.3 大數(shù)據(jù)分析應(yīng)用 103
5.3.1 R語(yǔ)言 103
5.3.2 Excel和SQL 103
5.3.3 RapidMiner 104
5.3.4 KNIME 105
5.3.5 Weka和Pentaho 105
本章小結(jié) 106
思考題 107
第6章 大數(shù)據(jù)挖掘 108
6.1 大數(shù)據(jù)挖掘算法 109
6.1.1 關(guān)聯(lián)規(guī)則 109
6.1.2 分類分析 114
6.1.3 聚類分析 119
6.2 大數(shù)據(jù)挖掘工具 123
6.2.1 RapidMiner 123
6.2.2 Weka 123
6.2.3 KNIME 124
6.2.4 Orange 124
6.2.5 R語(yǔ)言 125
6.3 大數(shù)據(jù)挖掘平臺(tái) 125
6.3.1 基于Hadoop的平臺(tái) 126
6.3.2 基于云計(jì)算的平臺(tái) 128
6.3.3 基于Spark的平臺(tái) 129
6.4 大數(shù)據(jù)挖掘應(yīng)用 131
6.4.1 社交媒體 131
6.4.2 醫(yī)學(xué) 132
6.4.3 教育 132
6.4.4 金融 133
本章小結(jié) 134
思考題 134
第7章 大數(shù)據(jù)下的機(jī)器學(xué)習(xí)算法 135
7.1 大數(shù)據(jù)特征選擇 135
7.1.1 大數(shù)據(jù)特征選擇的必要性 135
7.1.2 大數(shù)據(jù)特征選擇方法 136
7.2 大數(shù)據(jù)分類 140
7.2.1 決策樹分類 140
7.2.2 樸素貝葉斯分類 142
7.2.3 貝葉斯網(wǎng)絡(luò)分類 143
7.2.4 支持向量機(jī)分類 144
7.3 大數(shù)據(jù)聚類 145
7.3.1 K-means算法 146
7.3.2 DBSCAN算法 150
7.3.3 層次聚類算法 151
7.4 大數(shù)據(jù)關(guān)聯(lián)分析 153
7.4.1 有趣關(guān)系 154
7.4.2 Apriori算法 154
7.4.3 FP-growth算法 156
7.5 大數(shù)據(jù)并行算法 158
7.5.1 基于MapReduce的并行算法設(shè)計(jì) 158
7.5.2 超越MapReduce的并行算法設(shè)計(jì) 160
本章小結(jié) 162
思考題 162
第8章 大數(shù)據(jù)可視化 163
8.1 大數(shù)據(jù)可視化之美 163
8.1.1 數(shù)據(jù)可視化的基本概念 163
8.1.2 大數(shù)據(jù)可視化的表現(xiàn)形式 164
8.2 大數(shù)據(jù)可視化技術(shù) 165
8.2.1 基于圖形的可視化方法 166
8.2.2 基于平行坐標(biāo)法的可視化技術(shù) 168
8.2.3 其他數(shù)據(jù)可視化技術(shù) 169
8.3 大數(shù)據(jù)可視化工具 169
8.3.1 R語(yǔ)言在可視化中的應(yīng)用 170
8.3.2 D3在可視化中的應(yīng)用 171
8.3.3 Python在可視化中的應(yīng)用 172
8.4 大數(shù)據(jù)可視化案例 173
8.4.1 波士頓地鐵數(shù)據(jù)可視化 173
8.4.2 實(shí)時(shí)風(fēng)場(chǎng)可視化 175
8.4.3 GapMinder 176
8.4.4 死亡率與稅收 177
8.4.5 社交關(guān)系圖 177
8.5 大數(shù)據(jù)可視化的未來(lái) 178
8.5.1 數(shù)據(jù)可視化面臨的挑戰(zhàn) 178
8.5.2 數(shù)據(jù)可視化技術(shù)的發(fā)展方向 178
8.5.3 數(shù)據(jù)可視化未來(lái)的主要應(yīng)用 178
本章小結(jié) 179
思考題 179
第9章 社交大數(shù)據(jù) 180
9.1 社交大數(shù)據(jù) 180
9.1.1 社交數(shù)據(jù)分析讓社交網(wǎng)站更懂用戶 180
9.1.2 大數(shù)據(jù)和社交網(wǎng)絡(luò) 181
9.2 社交大數(shù)據(jù)在國(guó)內(nèi)社交網(wǎng)絡(luò)中的應(yīng)用 182
9.2.1 在騰訊大數(shù)據(jù)中的應(yīng)用 182
9.2.2 在微博大數(shù)據(jù)中的應(yīng)用 185
9.2.3 在淘寶大數(shù)據(jù)中的應(yīng)用 188
9.2.4 在滴滴大數(shù)據(jù)中的應(yīng)用 189
9.2.5 在百度大數(shù)據(jù)中的應(yīng)用 190
9.3 大數(shù)據(jù)與Facebook：人們情緒的分析 192
9.3.1 用大數(shù)據(jù)分析人們對(duì)品牌的情緒 192
9.3.2 關(guān)于人們?cè)贔acebook上懷舊情緒的分析 194
9.4 大數(shù)據(jù)和Twitter：實(shí)例分析 196
9.4.1 分析用戶消費(fèi)習(xí)慣 196
9.4.2 預(yù)測(cè)熱門股票走勢(shì) 199
思考題 202
第10章 交通大數(shù)據(jù) 203
10.1 交通數(shù)據(jù)分類及其相關(guān)分析 203
10.1.1 社會(huì)信號(hào)數(shù)據(jù) 203
10.1.2 移動(dòng)手機(jī)數(shù)據(jù) 205
10.1.3 刷卡數(shù)據(jù) 205
10.1.4 社交網(wǎng)絡(luò)數(shù)據(jù) 205
10.1.5 交通數(shù)據(jù)處理 206
10.2 交通情況監(jiān)測(cè) 207
10.2.1 交通事故數(shù)據(jù)集應(yīng)用 208
10.2.2 監(jiān)測(cè)交通情況 210
10.3 預(yù)測(cè)人類移動(dòng)行為 214
10.3.1 人類移動(dòng)性分析與概述 215
10.3.2 人類移動(dòng)性研究的數(shù)據(jù)基礎(chǔ)與方法 215
10.3.3 人類活動(dòng)模式與移動(dòng)行為預(yù)測(cè) 217
10.3.4 人類移動(dòng)性研究及預(yù)測(cè)的挑戰(zhàn)及展望 218
10.4 其他應(yīng)用 220
本章小結(jié) 225
思考題 225
第11章 醫(yī)療大數(shù)據(jù) 226
11.1 醫(yī)療大數(shù)據(jù)簡(jiǎn)介 226
11.1.1 醫(yī)療大數(shù)據(jù)的來(lái)源 226
11.1.2 醫(yī)療大數(shù)據(jù)特點(diǎn) 226
11.1.3 大數(shù)據(jù)對(duì)醫(yī)療的影響 226
11.2 基于大數(shù)據(jù)的臨床決策分析 228
11.2.1 基于大數(shù)據(jù)的臨床決策支持系統(tǒng)的架構(gòu) 228
11.2.2 基于大數(shù)據(jù)的臨床決策支持系統(tǒng)的功能應(yīng)用 228
11.2.3 大數(shù)據(jù)在臨床決策中的價(jià)值 229
11.2.4 促進(jìn)數(shù)據(jù)解鎖的示例 230
11.3 基于大數(shù)據(jù)的醫(yī)療數(shù)據(jù)系統(tǒng)分析 231
11.3.1 大數(shù)據(jù)在醫(yī)療信息化行業(yè)的應(yīng)用研究 231
11.3.2 醫(yī)療健康數(shù)據(jù)來(lái)源 232
11.3.3 醫(yī)療大數(shù)據(jù)體系結(jié)構(gòu) 232
11.4 基于大數(shù)據(jù)的遠(yuǎn)程患者監(jiān)控 235
11.4.1 遠(yuǎn)程醫(yī)療的應(yīng)用領(lǐng)域 235
11.4.2 大數(shù)據(jù)在遠(yuǎn)程醫(yī)療產(chǎn)業(yè)中的應(yīng)用 236
11.4.3 大數(shù)據(jù)推動(dòng)遠(yuǎn)程醫(yī)療發(fā)展存在的問題 237
11.4.4 運(yùn)用大數(shù)據(jù)推動(dòng)遠(yuǎn)程醫(yī)療發(fā)展的前景展望 237
本章小結(jié) 238
思考題 238
第12章 金融大數(shù)據(jù) 239
12.1 摩根大通信貸市場(chǎng)分析 241
12.1.1 摩根大通信貸市場(chǎng)介紹 241
12.1.2 金融科技助力摩根大通 243
12.1.3 金融大數(shù)據(jù)面臨的挑戰(zhàn) 244
12.2 瑞士銀行集合風(fēng)險(xiǎn)分析 244
12.2.1 集合風(fēng)險(xiǎn)分析 245
12.2.2 大數(shù)據(jù)分析信用風(fēng)險(xiǎn) 245
12.2.3 大數(shù)據(jù)對(duì)金融數(shù)據(jù)的處理 246
12.3 民生銀行新核心業(yè)務(wù)平臺(tái)分析 247
12.3.1 技術(shù)支持 248
12.3.2 新一代數(shù)據(jù)分析體系 248
12.3.3 大數(shù)據(jù)應(yīng)用場(chǎng)景 250
12.3.4 面臨的挑戰(zhàn) 251
12.4 阿里信貸金融模式分析 251
12.4.1 阿里巴巴大數(shù)據(jù)平臺(tái)支持 252
12.4.2 阿里信貸金融模式的優(yōu)勢(shì) 253
12.4.3 阿里信貸金融模式所面臨的風(fēng)險(xiǎn) 254
本章小結(jié) 256
思考題 256
第13章 大數(shù)據(jù)教育 257
13.1 大數(shù)據(jù)教育簡(jiǎn)介 257
13.2 微課教學(xué) 263
13.2.1 微課簡(jiǎn)述 263
13.2.2 大數(shù)據(jù)背景下的微課 264
13.2.3 微課在編程語(yǔ)言類教學(xué)模式的應(yīng)用 265
13.3 慕課教學(xué) 266
13.3.1 慕課簡(jiǎn)述 266
13.3.2 大數(shù)據(jù)背景下的慕課 267
13.3.3 慕課中的大數(shù)據(jù)應(yīng)用實(shí)例 269
13.4 云教育 270
13.4.1 云教育平臺(tái)簡(jiǎn)述 270
13.4.2 基于大數(shù)據(jù)的云教學(xué)環(huán)境 272
13.4.3 大數(shù)據(jù)背景下的智慧教育云的應(yīng)用 273
本章小結(jié) 275
思考題 275
參考文獻(xiàn) 276