中文字幕咪咪网,黑人强伦姧人妻日韩那庞大的,最新黄色视频在线播放

Spark?SQL是Spark用于處理結(jié)構(gòu)化數(shù)據(jù)的一個模塊。本書共8章內(nèi)容，由淺入深地講解Spark?SQL的基礎(chǔ)知識、安裝部署、編程基礎(chǔ)、編程進階、函數(shù)、性能調(diào)優(yōu)技巧以及編程實踐等知識。通過本書的學(xué)習(xí)，讀者能夠掌握Spark?SQL核心技術(shù)。本書每章安排了習(xí)題和總結(jié)，以便使讀者能更好地學(xué)習(xí)和更牢固地掌握Spark?SQL編程方法。此外，本書還提供了PPT教學(xué)課件、源代碼等配套資源，供使用本書的讀者下載。

本書可作為高等學(xué)校大數(shù)據(jù)、計算機、統(tǒng)計相關(guān)專業(yè)學(xué)生的大數(shù)據(jù)進階課程的教材，也可供相關(guān)技術(shù)人員學(xué)習(xí)參考。

第1章 Spark SQL基礎(chǔ)知識 1

1.1　Spark SQL背景　1

1.2　Spark SQL簡介　1

1.2.1　Spark SQL的特點　2

1.2.2　Spark SQL的用途　2

1.2.3　Spark SQL的使用場景　2

1.3　為什么要學(xué)習(xí)Spark SQL　3

1.4　Spark SQL的原理　3

1.4.1　傳統(tǒng)SQL的運行原理　3

1.4.2　Spark SQL的運行原理　4

1.4.3　Spark SQL的開發(fā)步驟　6

1.5　Spark SQL的運行模式　7

1.5.1　Local模式　7

1.5.2　Standalone模式　7

1.5.3　OnYarn模式　8

小結(jié)　11

習(xí)題　11

第2章　Spark SQL安裝部署　12

2.1　運行環(huán)境說明　12

2.1.1　操作系統(tǒng)說明　12

2.1.2　Java版本說明　12

2.1.3　Scala版本說明　12

2.1.4　操作系統(tǒng)客戶端工具說明　13

2.2　運行環(huán)境準(zhǔn)備　13

2.2.1　依賴下載　13

2.2.2　安裝Java　14

2.2.3　安裝Scala　14

2.3　部署Spark SQL　15

2.3.1　下載安裝包　15

2.3.2　單機部署　15

2.3.3　集群部署　16

2.3.4　運行環(huán)境參數(shù)　21

小結(jié)　23

習(xí)題　23

第3章　個Spark SQL應(yīng)用程序　24

3.1　搭建開發(fā)環(huán)境　24

3.1.1　下載開發(fā)工具　24

3.1.2　安裝IDEA　25

3.2　編寫Spark SQL應(yīng)用程序　26

3.2.1　Spark SQL應(yīng)用程序的編寫

步驟　27

3.2.2　編寫個Spark SQL應(yīng)用

程序　27

3.2.3　運行個Spark SQL應(yīng)用

程序　38

小結(jié)　44

習(xí)題　44

第4章　Spark SQL編程基礎(chǔ)　45

4.1　RDD概述　45

4.1.1　RDD的優(yōu)缺點　45

4.1.2　RDD模型介紹　46

4.2　深入剖析RDD　47

4.2.1　Spark相關(guān)專業(yè)術(shù)語定義　47

4.2.2　Spark Application的構(gòu)成　55

4.2.3　Spark運行的基本流程　55

4.2.4　Spark運行架構(gòu)的特點　56

4.2.5　Spark核心原理　58

4.3　創(chuàng)建RDD　62

4.4　RDD操作　65

4.4.1　RDD轉(zhuǎn)換操作　65

4.4.2　RDD控制操作　72

4.4.3　RDD行動操作　73

4.5　RDD持久化　76

4.5.1　持久化優(yōu)勢　77

4.5.2　持久化策略　77

4.6　RDD容錯機制　78

4.6.1　lineage機制　78

4.6.2　checkpoint機制　79

小結(jié)　81

習(xí)題　81

第5章　Spark SQL編程進階　82

5.1　概述　82

5.2　SparkSession　82

5.2.1　SparkSession介紹　82

5.2.2　創(chuàng)建SparkSession　82

5.2.3　SparkSession參數(shù)設(shè)置　85

5.2.4　SparkSession元信息讀取　85

5.3　DataFrame　85

5.3.1　深入理解DataFrame　86

5.3.2　DataFrame的優(yōu)缺點　86

5.3.3　DataFrame的演變過程　87

5.3.4　DataFrame的使用形式　89

5.3.5　創(chuàng)建DataFrame　89

5.3.6　DataFrame操作　102

5.3.7　DataFrame持久化　114

5.3.8　DataFrame實例　117

5.4　DataSet　120

5.4.1　深入理解DataSet　120

5.4.2　DataSet的優(yōu)點　120

5.4.3　創(chuàng)建DataSet　121

5.4.4　DataSet操作　121

5.4.5　DataSet持久化　122

5.5　數(shù)據(jù)抽象的共性與區(qū)別　122

5.5.1　3種數(shù)據(jù)抽象的共性　123

5.5.2　3種數(shù)據(jù)抽象的區(qū)別　123

5.6　數(shù)據(jù)抽象的相互轉(zhuǎn)換　123

5.6.1　將RDD轉(zhuǎn)換為DataFrame　124

5.6.2　將DataFrame轉(zhuǎn)換為

DataSet　124

5.6.3　將DataSet轉(zhuǎn)換為

DataFrame　124

小結(jié)　125

習(xí)題　125

第6章　Spark SQL函數(shù)　126

6.1　用戶定義函數(shù)　126

6.1.1　注冊UDF　126

6.1.2　使用UDF　126

6.1.3　UDF實例　127

6.2　用戶定義聚合函數(shù)　128

6.2.1　注冊UDAF　129

6.2.2　使用UDAF　129

6.2.3　UDAF實例　129

6.3　常用內(nèi)置函數(shù)　131

小結(jié)　131

習(xí)題　131

第7章　Spark SQL性能調(diào)優(yōu)　133

7.1　概述　133

7.1.1　木桶原理　133

7.1.2　阿姆達爾定律　134

7.2　并行度調(diào)優(yōu)　134

7.2.1　什么是并行度　134

7.2.2　為什么需要對并行度進行

調(diào)優(yōu)　134

7.2.3　如何合理設(shè)置并行度　135

7.3　內(nèi)存調(diào)優(yōu)　135

7.3.1　為什么需要對內(nèi)存進行

調(diào)優(yōu)　136

7.3.2　如何充分使用內(nèi)存　136

7.4　磁盤I/O調(diào)優(yōu)　137

7.4.1　為什么需要對磁盤I/O進行

調(diào)優(yōu)　137

7.4.2　如何充分使用磁盤I/O　138

7.5　網(wǎng)絡(luò)I/O調(diào)優(yōu)　139

7.5.1　為什么需要對網(wǎng)絡(luò)I/O進行

調(diào)優(yōu)　139

7.5.2　如何充分使用網(wǎng)絡(luò)I/O　139

小結(jié)　140

習(xí)題　140

第8章　Spark SQL編程實踐　141

8.1　Spark SQL實踐一學(xué)生考試

信息分析　141

8.2　Spark SQL實踐二生鮮電商

交易數(shù)據(jù)分析　142

8.3　Spark SQL實踐三四川省

新生嬰兒信息分析　144

小結(jié)　152

附錄　153

附錄1　常用內(nèi)置函數(shù)　153

附錄1.1　常用聚合函數(shù)　153

附錄1.2　常用排序函數(shù)　156

附錄1.3　常用字符串函數(shù)　157

附錄1.4　常用時間函數(shù)　162

附錄1.5　常用數(shù)學(xué)函數(shù)　167

附錄1.6　常用集合函數(shù)　170

附錄1.7　其他常用函數(shù)　172

附錄2　常用高階函數(shù)　173

附錄2.1　transform函數(shù)　173

附錄2.2　aggregate函數(shù)　174

附錄2.3　filter函數(shù)　174

附錄2.4　exists函數(shù)　175

附錄2.5　zip_with函數(shù)　175

附錄3　術(shù)語解釋　175

你還可能感興趣

我要評論