第1章 大數(shù)據(jù)與Hadoop平臺技術(shù) 1
1.1 大數(shù)據(jù)時(shí)代 1
1.2 大數(shù)據(jù)關(guān)鍵技術(shù) 2
1.3 大數(shù)據(jù)涉及的主要軟件 3
1.4 Hadoop平臺技術(shù)的生態(tài) 4
第2章 Ubuntu系統(tǒng)的安裝與使用 7
2.1 Linux系統(tǒng)簡介 7
2.2 Ubuntu系統(tǒng)安裝 8
2.2.1 下載虛擬機(jī)軟件VMware并安裝 8
2.2.2 在虛擬機(jī)中安裝Ubuntu系統(tǒng) 14
2.2.3 切換中英文輸入法 27
2.2.4 安裝VMware Tools 28
2.2.5 apt更新與更新源更換 30
2.2.6 安裝vim編輯器并使用 32
2.3 虛擬機(jī)聯(lián)網(wǎng)問題及其他 34
第3章 Linux基礎(chǔ)知識及相關(guān)軟件的基本使用 39
3.1 Linux基礎(chǔ)知識 39
3.1.1 Linux目錄結(jié)構(gòu) 39
3.1.2 Shell介紹 40
3.1.3 超級用戶——root用戶 41
3.1.4 sudo命令和su命令 41
3.1.5 創(chuàng)建與刪除普通用戶 42
3.1.6 目錄標(biāo)記規(guī)則 43
3.1.7 目錄權(quán)限 43
3.1.8 安裝SSH 44
3.2 Linux常用軟件與命令 45
3.2.1 修改主機(jī)名 45
3.2.2 目錄操作 45
3.2.3 查看文件內(nèi)容和清屏 46
3.2.4 文件操作 46
3.2.5 文件解壓 47
3.2.6 進(jìn)程與端口查看命令 48
3.2.7 系統(tǒng)管理命令 49
3.2.8 數(shù)據(jù)流重定向和管道的使用 50
3.2.9 其他使用技巧介紹 51
3.3 在Ubuntu中安裝Eclipse 51
3.3.1 通過軟件中心下載安裝Eclipse 51
3.3.2 在桌面創(chuàng)建Eclipse快捷方式 52
第4章 Hadoop的偽分布式安裝與使用 54
4.1 深入了解Hadoop 54
4.1.1 Hadoop發(fā)行版本介紹 54
4.1.2 Hadoop核心架構(gòu) 55
4.1.3 Hadoop的主要應(yīng)用場景 56
4.2 安裝Java環(huán)境 57
4.2.1 離線安裝 57
4.2.2 在線安裝 58
4.3 安裝Hadoop 59
4.3.1 下載Hadoop安裝文件并解壓 59
4.3.2 配置Hadoop環(huán)境變量 60
4.3.3 偽分布式模式配置 61
4.3.4 Hadoop無法正常啟動(dòng)和使用的解決方法 63
第5章 HDFS 65
5.1 HDFS基本知識 65
5.1.1 DFS簡介 65
5.1.2 HDFS 65
5.1.3 HDFS存儲數(shù)據(jù) 66
5.2 Shell命令與HDFS交互操作 67
5.2.1 Hadoop Shell命令方式 67
5.2.2 目錄操作 68
5.2.3 文件操作 69
5.2.4 利用Web界面管理HDFS 70
5.3 Java編程與HDFS實(shí)現(xiàn)交互 71
5.3.1 在Eclipse中創(chuàng)建HDFS交互Java項(xiàng)目 71
5.3.2 在Java項(xiàng)目中編寫Java應(yīng)用程序代碼 75
5.3.3 編譯運(yùn)行程序與打包 77
5.3.4 練習(xí)中使用的代碼文件 81
第6章 HBase偽分布部署與使用 85
6.1 HBase介紹 85
6.2 安裝HBase 86
6.3 偽分布HBase環(huán)境搭建 87
6.4 HBase Shell常用操作命令實(shí)踐 90
6.4.1 HBase表結(jié)構(gòu)舉例說明和常用的表操作命令 90
6.4.2 在HBase中創(chuàng)建表和刪除表 91
6.4.3 HBase數(shù)據(jù)庫基本操作 92
第7章 MapReduce原理與基礎(chǔ)編程 94
7.1 MapReduce介紹與基本原理 94
7.1.1 MapReduce在現(xiàn)實(shí)生活中的運(yùn)用 94
7.1.2 通過案例拆解MapReduce的工作過程 95
7.1.3 MapReduce工作流程概括 98
7.2 MapReduce編程思路 98
7.3 MapReduce編程實(shí)例1：WordCount 99
7.4 MapReduce編程實(shí)例2：計(jì)算學(xué)生的平均成績 109
第8章 數(shù)據(jù)倉庫Hive偽分布式部署與使用 113
8.1 Hive的特點(diǎn) 113
8.2 Hive偽分布式部署 114
8.2.1 安裝配置Hive 114
8.2.2 安裝配置MySQL，連接Hive元數(shù)據(jù)庫 115
8.3 MySQL數(shù)據(jù)庫操作 118
8.3.1 常用命令介紹 118
8.3.2 無法登錄MySQL Shell的解決方法 120
第9章 數(shù)據(jù)分析與Hive數(shù)據(jù)庫操作 121
9.1 Hive操作命令介紹 121
9.2 HQL中的Case命令用法介紹 122
9.3 電商網(wǎng)站日志數(shù)據(jù)分析與達(dá)成目標(biāo) 124
9.4 數(shù)據(jù)分析實(shí)現(xiàn) 126
9.4.1 將網(wǎng)站日志文件集加載到Hive中 126
9.4.2 統(tǒng)計(jì)分析網(wǎng)站日志數(shù)據(jù) 127
9.4.3 統(tǒng)計(jì)詞頻 131
第10章 Spark的安裝與基礎(chǔ)編程 133
10.1 Spark的安裝（Python版） 133
10.1.1 下載Spark安裝軟件 134
10.1.2 安裝與配置Spark 134
10.1.3 在PySpark中運(yùn)行代碼 135
10.1.4 Spark獨(dú)立應(yīng)用程序編程示例 136
10.2 Spark的一些基本概念 137
10.3 RDD編程操作 137
10.3.1 RDD操作的兩種類型 137
10.3.2 創(chuàng)建RDD 139
10.3.3 創(chuàng)建鍵值對RDD 142
10.4 從RDD到DataFrame 145
10.4.1 Spark SQL和DataFrame 145
10.4.2 創(chuàng)建樣例數(shù)據(jù)文件 146
10.4.3 讀取json和csv文件生成DataFrame 147
10.4.4 普通文本文件生成DataFrame 148
10.5 Spark綜合編程與Python可視化 151
10.5.1 Spark綜合編程 151
10.5.2 Python可視化呈現(xiàn) 154
第11章 Hadoop集群環(huán)境搭建 160
11.1 克隆Linux虛擬機(jī) 160
11.2 橋接模式與NAT模式 163
11.2.1 橋接模式 163
11.2.2 NAT模式 164
11.3 VMware Workstation橋接網(wǎng)絡(luò)配置 164
11.3.1 集群網(wǎng)絡(luò)配置實(shí)現(xiàn)的目標(biāo) 164
11.3.2 設(shè)置網(wǎng)絡(luò)橋接模式 165
11.3.3 驗(yàn)證 169
11.4 大數(shù)據(jù)集群環(huán)境配置與搭建 170
11.4.1 修改主機(jī)名，并將主機(jī)名與IP地址建立映射 170
11.4.2 集群SSH免密登錄 171
11.4.3 時(shí)間同步 173
第12章 Zookeeper與集群Hadoop安裝應(yīng)用 174
12.1 Zookeeper介紹 174
12.1.1 Zookeeper的作用 174
12.1.2 Zookeeper選舉機(jī)制 175
12.2 安裝Zookeeper 175
12.2.1 為安裝Zookeeper的目錄賦權(quán) 175
12.2.2 下載、解壓Zookeeper安裝包 175
12.2.3 修改Zookeeper配置文件zoo.cfg 176
12.2.4 創(chuàng)建zkdata和zkdatalog文件夾 177
12.2.5 創(chuàng)建文件myid 177
12.2.6 配置環(huán)境變量 177
12.2.7 遠(yuǎn)程復(fù)制分發(fā) 178
12.2.8 啟動(dòng)Zookeeper集群 179
12.2.9 Zookeeper啟動(dòng)錯(cuò)誤及解決方法 179
12.3 在集群上安裝Hadoop 180
12.4 在集群上安裝HBase 185
第13章 構(gòu)建集群數(shù)據(jù)倉庫 189
13.1 在slave2節(jié)點(diǎn)上安裝MySQL Server 189
13.2 在slave1節(jié)點(diǎn)上安裝Hive服務(wù)器 191
13.3 將master節(jié)點(diǎn)作為Hive客戶端 194
13.4 啟動(dòng)Hive 195
第14章 Hadoop從完全分布式到HA的安裝與使用 197
14.1 Hadoop HA 197
14.1.1 HDFS HA背景 197
14.1.2 HDFS HA架構(gòu) 197
14.2 安裝虛擬機(jī)系統(tǒng) 199
14.2.1 在VMware中創(chuàng)建虛擬機(jī) 199
14.2.2 安裝CentOS 7 206
14.2.3 設(shè)置網(wǎng)絡(luò)靜態(tài)IP地址 208
14.2.4 克隆3臺虛擬機(jī) 211
14.3 使用XShell 6登錄CentOS虛擬機(jī) 212
14.4 修改各節(jié)點(diǎn)主機(jī)名稱并配置SSH免密 215
14.4.1 修改各節(jié)點(diǎn)的虛擬機(jī)主機(jī)名 215
14.4.2 主機(jī)名與IP地址映射 215
14.4.3 SSH免密設(shè)置 216
14.5 安裝JDK 218
14.6 安裝并配置Zookeeper 219
14.6.1 安裝Zookeeper 220
14.6.2 啟動(dòng)和停止Zookeeper 222
14.7 安裝并配置為完全分布式Hadoop集群 223
14.7.1 上傳、解壓文件并配置環(huán)境變量 223
14.7.2 將Hadoop配置為完全分布式集群 224
14.8 部署配置Hadoop HA模式 227
14.8.1 編輯Hadoop HA配置文件 227
14.8.2 分發(fā)文件 230
14.8.3 第一次啟動(dòng)HA 231
14.8.4 常規(guī)啟動(dòng)HA 234
14.8.5 Hadoop HA部署完成之后的常規(guī)啟停順序 236
14.8.6 在HA集群上測試WordCount程序 236