第 1篇　大數(shù)據(jù)基礎(chǔ)



第 1章　大數(shù)據(jù)概述　2

1.1　大數(shù)據(jù)時(shí)代　2

1.1.1　第三次信息化浪潮　2

1.1.2　信息科技為大數(shù)據(jù)時(shí)代提供技術(shù)支撐　3

1.1.3　數(shù)據(jù)產(chǎn)生方式的變革促成大數(shù)據(jù)時(shí)代的到來　4

1.1.4　大數(shù)據(jù)的發(fā)展歷程　5

1.2　什么是大數(shù)據(jù)　7

1.2.1　數(shù)據(jù)量大　7

1.2.2　數(shù)據(jù)類型繁多　8

1.2.3　處理速度快　9

1.2.4　價(jià)值密度低　9

1.3　大數(shù)據(jù)的影響　10

1.3.1　大數(shù)據(jù)對(duì)科學(xué)研究的影響　10

1.3.2　大數(shù)據(jù)對(duì)思維方式的影響　11

1.3.3　大數(shù)據(jù)對(duì)社會(huì)發(fā)展的影響　12

1.3.4　大數(shù)據(jù)對(duì)就業(yè)市場(chǎng)的影響　13

1.3.5　大數(shù)據(jù)對(duì)人才培養(yǎng)的影響　13

1.4　大數(shù)據(jù)的應(yīng)用　14

1.4.1　大數(shù)據(jù)在各個(gè)領(lǐng)域的應(yīng)用　15

1.4.2　大數(shù)據(jù)應(yīng)用的3個(gè)層次　16

1.5　大數(shù)據(jù)關(guān)鍵技術(shù)　17

1.6　大數(shù)據(jù)計(jì)算模式　18

1.6.1　批處理計(jì)算　18

1.6.2　流計(jì)算　18

1.6.3　圖計(jì)算　19

1.6.4　查詢分析計(jì)算　19

1.7　大數(shù)據(jù)產(chǎn)業(yè)　19

1.8　大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)　21

1.8.1　云計(jì)算　21

1.8.2　物聯(lián)網(wǎng)　24

1.8.3　大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系　28

1.9　本章小結(jié)　29

1.10　習(xí)題　30

第 2章　大數(shù)據(jù)處理架構(gòu)Hadoop　31

2.1　Hadoop概述　31

2.1.1　Hadoop簡介　31

2.1.2　Hadoop的發(fā)展簡史　31

2.1.3　Hadoop的特性　32

2.1.4　Hadoop的應(yīng)用現(xiàn)狀　32

2.1.5　Hadoop的版本　33

2.2　Hadoop生態(tài)系統(tǒng)　33

2.2.1　HDFS　34

2.2.2　HBase　34

2.2.3　MapReduce　34

2.2.4　Hive　34

2.2.5　Pig　35

2.2.6　Mahout　35

2.2.7　ZooKeeper　35

2.2.8　Flume　35

2.2.9　Kafka　35

2.2.10　Ambari　35

2.3　Hadoop的安裝與使用　36

2.3.1　創(chuàng)建hadoop用戶　36

2.3.2　更新apt和安裝Vim編輯器　37

2.3.3　安裝SSH和配置SSH無密碼登錄　37

2.3.4　安裝Java環(huán)境　37

2.3.5　安裝單機(jī)Hadoop　38

2.3.6　Hadoop偽分布式安裝　39

2.4　本章小結(jié)　41

2.5　習(xí)題　42

實(shí)驗(yàn)1　熟悉常用的Linux操作和Hadoop操作　42



第 2篇　大數(shù)據(jù)存儲(chǔ)與管理



第3章　分布式文件系統(tǒng)HDFS　48

3.1　分布式文件系統(tǒng)　48

3.1.1　計(jì)算機(jī)集群的基本架構(gòu)　48

3.1.2　分布式文件系統(tǒng)的結(jié)構(gòu)　49

3.1.3　分布式文件系統(tǒng)的設(shè)計(jì)需求　50

3.2　HDFS簡介　50

3.3　HDFS的相關(guān)概念　51

3.3.1　數(shù)據(jù)塊　52

3.3.2　名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)　52

3.3.3　第二名稱節(jié)點(diǎn)　53

3.4　HDFS體系結(jié)構(gòu)　54

3.4.1　HDFS概述　54

3.4.2　HDFS命名空間管理　55

3.4.3　通信協(xié)議　56

3.4.4　客戶端　56

3.4.5　HDFS體系結(jié)構(gòu)的局限性　56

3.5　HDFS的存儲(chǔ)原理　56

3.5.1　數(shù)據(jù)的冗余存儲(chǔ)　56

3.5.2　數(shù)據(jù)存取策略　57

3.5.3　數(shù)據(jù)錯(cuò)誤與恢復(fù)　58

3.6　HDFS的數(shù)據(jù)讀寫過程　59

3.6.1　讀數(shù)據(jù)的過程　59

3.6.2　寫數(shù)據(jù)的過程　60

3.7　HDFS編程實(shí)踐　61

3.7.1　HDFS常用命令　61

3.7.2　HDFS的Web頁面　63

3.7.3　HDFS常用Java API及應(yīng)用實(shí)例　64

3.8　本章小結(jié)　67

3.9　習(xí)題　67

實(shí)驗(yàn)2　熟悉常用的HDFS操作　68

第4章　分布式數(shù)據(jù)庫HBase　70

4.1　HBase概述　70

4.1.1　從BigTable說起　70

4.1.2　HBase簡介　70

4.1.3　HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫的對(duì)比分析　71

4.2　HBase訪問接口　72

4.3　HBase數(shù)據(jù)模型　73

4.3.1　數(shù)據(jù)模型概述　73

4.3.2　數(shù)據(jù)模型的相關(guān)概念　73

4.3.3　數(shù)據(jù)坐標(biāo)　74

4.3.4　概念視圖　75

4.3.5　物理視圖　75

4.3.6　面向列的存儲(chǔ)　76

4.4　HBase的實(shí)現(xiàn)原理　78

4.4.1　HBase的功能組件　78

4.4.2　表和Region　79

4.4.3　Region的定位　79

4.5　HBase運(yùn)行機(jī)制　81

4.5.1　HBase的系統(tǒng)架構(gòu)　81

4.5.2　Region服務(wù)器的工作原理　83

4.5.3　Store的工作原理　84

4.5.4　HLog文件的工作原理　85

4.6　HBase編程實(shí)踐　85

4.6.1　HBase常用的Shell命令　86

4.6.2　HBase常用的Java API及應(yīng)用實(shí)例　88

4.7　本章小結(jié)　98

4.8　習(xí)題　99

實(shí)驗(yàn)3　熟悉常用的HBase操作　99

第5章　NoSQL數(shù)據(jù)庫　102

5.1　NoSQL數(shù)據(jù)庫簡介　102

5.2　NoSQL數(shù)據(jù)庫興起的原因　103

5.2.1　關(guān)系數(shù)據(jù)庫無法滿足Web 2.0的需求　103

5.2.2　關(guān)系數(shù)據(jù)庫的關(guān)鍵特性在Web 2.0時(shí)代成為雞肋　104

5.3　NoSQL數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫的簡單比較　105

5.4　NoSQL數(shù)據(jù)庫的四大類型　106

5.4.1　鍵值數(shù)據(jù)庫　107

5.4.2　列族數(shù)據(jù)庫　108

5.4.3　文檔數(shù)據(jù)庫　108

5.4.4　圖數(shù)據(jù)庫　109

5.5　NoSQL數(shù)據(jù)庫的三大基石　109

5.5.1　第 一大基石：CAP　109

5.5.2　第二大基石：BASE　111

5.5.3　第三大基石：最終一致性　113

5.6　從NoSQL數(shù)據(jù)庫到NewSQL數(shù)據(jù)庫　113

5.7　本章小結(jié)　115

5.8　習(xí)題　115

實(shí)驗(yàn)4　NoSQL數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫的操作比較　115

第6章　云數(shù)據(jù)庫　119

6.1　云數(shù)據(jù)庫概述　119

6.1.1　云計(jì)算是云數(shù)據(jù)庫興起的基礎(chǔ)　119

6.1.2　云數(shù)據(jù)庫的概念　120

6.1.3　云數(shù)據(jù)庫的特性　121

6.1.4　云數(shù)據(jù)庫是個(gè)性化數(shù)據(jù)存儲(chǔ)需求的理想選擇　123

6.1.5　云數(shù)據(jù)庫與其他數(shù)據(jù)庫的關(guān)系　123

6.2　云數(shù)據(jù)庫產(chǎn)品　124

6.2.1　主流云數(shù)據(jù)庫廠商簡介　124

6.2.2　亞馬遜的云數(shù)據(jù)庫產(chǎn)品　125

6.2.3　谷歌的云數(shù)據(jù)庫產(chǎn)品　125

6.2.4　微軟的云數(shù)據(jù)庫產(chǎn)品　125

6.2.5　其他云數(shù)據(jù)庫產(chǎn)品　126

6.3　云數(shù)據(jù)庫系統(tǒng)架構(gòu)　127

6.3.1　UMP系統(tǒng)概述　127

6.3.2　UMP系統(tǒng)架構(gòu)　127

6.3.3　UMP系統(tǒng)功能　130

6.4　本章小結(jié)　132

6.5　習(xí)題　132



第3篇　大數(shù)據(jù)處理與分析



第7章　MapReduce　134

7.1　MapReduce概述　134

7.1.1　分布式并行編程　134

7.1.2　MapReduce模型簡介　135

7.1.3　Map和Reduce函數(shù)　135

7.2　MapReduce的工作流程　136

7.2.1　MapReduce工作流程概述　136

7.2.2　MapReduce工作流程的各個(gè)執(zhí)行階段　137

7.2.3　Shuffle過程詳解　138

7.3　實(shí)例分析：WordCount　141

7.3.1　WordCount的程序任務(wù)　141

7.3.2　WordCount的設(shè)計(jì)思路　141

7.3.3　WordCount的具體執(zhí)行過程　142

7.3.4　一個(gè)WordCount執(zhí)行過程的實(shí)例　143

7.4　MapReduce的具體應(yīng)用　144

7.4.1　關(guān)系代數(shù)運(yùn)算　144

7.4.2　分組與聚合運(yùn)算　146

7.4.3　矩陣-向量乘法　146

7.4.4　矩陣乘法　146

7.5　MapReduce編程實(shí)踐　147

7.5.1　任務(wù)要求　147

7.5.2　編寫Map處理邏輯　148

7.5.3　編寫Reduce處理邏輯　149

7.5.4　編寫main函數(shù)　149

7.5.5　編譯打包代碼以及運(yùn)行程序　150

7.6　本章小結(jié)　153

7.7　習(xí)題　153

實(shí)驗(yàn)5　MapReduce初級(jí)編程實(shí)踐　154

第8章　Hadoop再探討　157

8.1　Hadoop的優(yōu)化　157

8.1.1　Hadoop的局限與不足　157

8.1.2　針對(duì)Hadoop的改進(jìn)與提升　158

8.2　HDFS 2.0的新特性　158

8.2.1　HDFS HA　158

8.2.2　HDFS聯(lián)邦　160

8.3　新一代資源調(diào)度管理框架YARN　161

8.3.1　MapReduce 1.0的缺陷　162

8.3.2　YARN設(shè)計(jì)思路　162

8.3.3　YARN體系結(jié)構(gòu)　163

8.3.4　YARN工作流程　165

8.3.5　YARN框架與MapReduce 1.0框架的對(duì)比分析　166

8.3.6　YARN的發(fā)展目標(biāo)　167

8.4　本章小結(jié)　168

8.5　習(xí)題　168

第9章　數(shù)據(jù)倉庫Hive　169

9.1　數(shù)據(jù)倉庫的概念　169

9.2　數(shù)據(jù)湖　171

9.2.1　數(shù)據(jù)湖的概念　171

9.2.2　數(shù)據(jù)湖與數(shù)據(jù)倉庫的區(qū)別　172

9.2.3　數(shù)據(jù)湖能解決的企業(yè)問題　173

9.3　湖倉一體　173

9.4　數(shù)據(jù)倉庫Hive概述　174

9.4.1　傳統(tǒng)數(shù)據(jù)倉庫面臨的挑戰(zhàn)　174

9.4.2　Hive簡介　175

9.4.3　Hive與Hadoop生態(tài)系統(tǒng)中其他組件的關(guān)系　175

9.4.4　Hive與傳統(tǒng)數(shù)據(jù)庫的對(duì)比分析　176

9.4.5　Hive在企業(yè)中的部署和應(yīng)用　176

9.5　Hive系統(tǒng)架構(gòu)　178

9.6　Hive工作原理　178

9.6.1　SQL語句轉(zhuǎn)換成MapReduce作業(yè)的基本原理　179

9.6.2　SQL查詢轉(zhuǎn)換成MapReduce作業(yè)的過程　180

9.7　Hive HA基本原理　181

9.8　Impala　182

9.8.1　Impala簡介　182

9.8.2　Impala的系統(tǒng)架構(gòu)　183

9.8.3　Impala查詢的執(zhí)行過程　183

9.8.4　Impala與Hive的比較　184

9.9　Hive編程實(shí)踐　185

9.9.1　Hive的數(shù)據(jù)類型　185

9.9.2　Hive的基本操作　186

9.9.3　Hive應(yīng)用實(shí)例：WordCount　189

9.9.4　Hive編程的優(yōu)勢(shì)　189

9.10　本章小結(jié)　190

9.11　習(xí)題　190

實(shí)驗(yàn)6　熟悉Hive的基本操作　191

第 10章　Spark　193

10.1　Spark概述　193

10.1.1　Spark簡介　193

10.1.2　Scala簡介　194

10.1.3　Spark與Hadoop的對(duì)比　194

10.2　Spark生態(tài)系統(tǒng)　196

10.3　Spark運(yùn)行架構(gòu)　198

10.3.1　基本概念　198

10.3.2　架構(gòu)設(shè)計(jì)　198

10.3.3　Spark運(yùn)行基本流程　199

10.3.4　RDD的設(shè)計(jì)與運(yùn)行原理　200

10.4　Spark的部署模式和應(yīng)用方式　209

10.4.1　Spark的部署模式　209

10.4.2　從Hadoop Storm架構(gòu)轉(zhuǎn)向Spark架構(gòu)　210

10.4.3　Hadoop和Spark的統(tǒng)一部署　211

10.5　Spark編程實(shí)踐　212

10.5.1　啟動(dòng)Spark Shell　212

10.5.2　RDD基本操作　212

10.5.3　Spark應(yīng)用程序　217

10.6　本章小結(jié)　221

10.7　習(xí)題　222

實(shí)驗(yàn)7　Spark初級(jí)編程實(shí)踐　222

第 11章　流計(jì)算　225

11.1　流計(jì)算概述　225

11.1.1　靜態(tài)數(shù)據(jù)和流數(shù)據(jù)　225

11.1.2　批量計(jì)算和實(shí)時(shí)計(jì)算　226

11.1.3　流計(jì)算的概念　226

11.1.4　流計(jì)算與Hadoop　227

11.1.5　流計(jì)算框架與平臺(tái)　227

11.2　流計(jì)算的處理流程　228

11.2.1　概述　228

11.2.2　數(shù)據(jù)實(shí)時(shí)采集　229

11.2.3　數(shù)據(jù)實(shí)時(shí)計(jì)算　229

11.2.4　實(shí)時(shí)查詢服務(wù)　229

11.3　流計(jì)算的應(yīng)用場(chǎng)景　230

11.3.1　應(yīng)用場(chǎng)景1：實(shí)時(shí)分析　230

11.3.2　應(yīng)用場(chǎng)景2：實(shí)時(shí)交通　231

11.4　流計(jì)算框架Storm　231

11.5　流計(jì)算框架Spark Streaming　232

11.6　流處理框架Structured Streaming　233

11.6.1　Structured Streaming簡介　233

11.6.2　Structured Streaming的關(guān)鍵思想　233

11.6.3　Structured Streaming的兩種處理模型　234

11.7　流計(jì)算框架Flink　235

11.8　本章小結(jié)　236

11.9　習(xí)題　236

第 12章　Flink　237

12.1　Flink簡介　237

12.2　為什么選擇Flink　237

12.2.1　傳統(tǒng)數(shù)據(jù)處理架構(gòu)　238

12.2.2　大數(shù)據(jù)Lambda架構(gòu)　238

12.2.3　流處理架構(gòu)　239

12.2.4　Flink是理想的流計(jì)算框架　240

12.2.5　Flink的優(yōu)勢(shì)　240

12.3　Flink典型應(yīng)用場(chǎng)景　241

12.3.1　事件驅(qū)動(dòng)型應(yīng)用　241

12.3.2　數(shù)據(jù)分析應(yīng)用　242

12.3.3　數(shù)據(jù)流水線應(yīng)用　243

12.4　Flink核心組件�！�244

12.5　Flink體系架構(gòu)　244

12.6　Flink編程模型　246

12.7　Flink編程實(shí)踐　246

12.7.1　安裝Flink　246

12.7.2　編程實(shí)現(xiàn)WordCount程序　248

12.8　本章小結(jié)　252

12.9　習(xí)題　252

實(shí)驗(yàn)8　Flink初級(jí)編程實(shí)踐　253

第 13章　圖計(jì)算　254

13.1　圖計(jì)算簡介　254

13.1.1　傳統(tǒng)圖計(jì)算解決方案的不足之處　254

13.1.2　通用圖計(jì)算軟件　255

13.2　Pregel簡介　256

13.3　Pregel圖計(jì)算模型　256

13.3.1　有向圖和頂點(diǎn)　256

13.3.2　頂點(diǎn)之間的消息傳遞　256

13.3.3　Pregel計(jì)算過程　257

13.3.4　Pregel計(jì)算過程的實(shí)例　258

13.4　Pregel的C API　260

13.4.1　消息傳遞機(jī)制　261

13.4.2　Combiner　261

13.4.3　Aggregator　262

13.4.4　拓?fù)涓淖儭?62

13.4.5　輸入和輸出　262

13.5　Pregel的體系結(jié)構(gòu)　263

13.5.1　Pregel的執(zhí)行過程　263

13.5.2　容錯(cuò)性　264

13.5.3　Worker　265

13.5.4　Master　265

13.5.5　Aggregator　266

13.6　Pregel的應(yīng)用實(shí)例　266

13.6.1　單源最短路徑問題　266

13.6.2　二分匹配問題　267

13.7　Pregel和MapReduce實(shí)現(xiàn)PageRank算法的對(duì)比　268

13.7.1　PageRank算法　269

13.7.2　PageRank算法在Pregel中的實(shí)現(xiàn)　269

13.7.3　PageRank算法在MapReduce中的實(shí)現(xiàn)　270

13.7.4　PageRank算法在Pregel 和MapReduce中實(shí)現(xiàn)方式的比較　272

13.8　本章小結(jié)　272

13.9　習(xí)題　273





第4篇　大數(shù)據(jù)應(yīng)用



第 14章　大數(shù)據(jù)應(yīng)用　276

14.1　大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用　276

14.2　大數(shù)據(jù)在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用　277

14.2.1　流行病預(yù)測(cè)　277

14.2.2　智慧醫(yī)療　278

14.2.3　生物信息學(xué)　279

14.3　大數(shù)據(jù)在物流領(lǐng)域的應(yīng)用　279

14.3.1　智能物流的概念　280

14.3.2　大數(shù)據(jù)是智能物流的關(guān)鍵　280

14.3.3　中國智能物流骨干網(wǎng)菜鳥　280

14.4　大數(shù)據(jù)在城市管理領(lǐng)域的應(yīng)用　281

14.4.1　智能交通　281

14.4.2　環(huán)保監(jiān)測(cè)　282

14.4.3　城市規(guī)劃　282

14.4.4　安防　283

14.5　大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用　283

14.5.1　高頻交易　284

14.5.2　市場(chǎng)情緒分析　284

14.5.3　信貸風(fēng)險(xiǎn)分析　284

14.5.4　大數(shù)據(jù)征信　285

14.6　大數(shù)據(jù)在汽車領(lǐng)域的應(yīng)用　286

14.7　大數(shù)據(jù)在零售領(lǐng)域的應(yīng)用　286

14.7.1　發(fā)現(xiàn)關(guān)聯(lián)購買行為　286

14.7.2　客戶群體細(xì)分　287

14.7.3　供應(yīng)鏈管理　288

14.8　大數(shù)據(jù)在餐飲領(lǐng)域的應(yīng)用　288

14.8.1　餐飲領(lǐng)域擁抱大數(shù)據(jù)　288

14.8.2　餐飲O2O　288

14.9　大數(shù)據(jù)在電信領(lǐng)域的應(yīng)用　289

14.10　大數(shù)據(jù)在能源領(lǐng)域的應(yīng)用　290

14.11　大數(shù)據(jù)在體育和娛樂領(lǐng)域的應(yīng)用　291

14.11.1　訓(xùn)練球隊(duì)　291

14.11.2　投拍影視作品　291

14.11.3　預(yù)測(cè)比賽結(jié)果　292

14.12　大數(shù)據(jù)在安全領(lǐng)域的應(yīng)用　292

14.12.1　棱鏡門事件　292

14.12.2　應(yīng)用大數(shù)據(jù)技術(shù)防御網(wǎng)絡(luò)攻擊　293

14.12.3　應(yīng)用大數(shù)據(jù)工具預(yù)防犯罪　293

14.13　大數(shù)據(jù)在日常生活中的應(yīng)用　294

14.14　本章小結(jié)　295

14.15　習(xí)題　296

參考文獻(xiàn)　297