本書是高等職業(yè)教育大數(shù)據(jù)技術(shù)與應用系列教材中的一冊,講解了大數(shù)據(jù)系統(tǒng)運行維護過程中的各個主要任務,包括大數(shù)據(jù)生態(tài)圈、Hadoop環(huán)境搭建與運維、Hive環(huán)境搭建與基本操作、HBase環(huán)境搭建與運維、Hadoop常用組件安裝等內(nèi)容。本書內(nèi)容詳盡充實,針對每個知識點都配有相應的實驗用于驗證和鞏固,在基礎理論知識上增加了運維大數(shù)據(jù)平臺實踐應用知識,重點介紹了大數(shù)據(jù)系統(tǒng)的運維實操技能,對于培養(yǎng)應用型大數(shù)據(jù)平臺運維人才有著很強的指導性。
龔大豐,男,1978年8月生,高級工程師,華中科技大學軟件工程專業(yè)碩士,現(xiàn)任溫州職業(yè)技術(shù)學院大數(shù)據(jù)技術(shù)與應用專業(yè)專任教師,系統(tǒng)分析師、信息系統(tǒng)項目管理師。
第1章 大數(shù)據(jù)生態(tài)圈 (1)
1.1 大數(shù)據(jù)的概念和價值 (1)
1.2 大數(shù)據(jù)的特點 (3)
1.3 大數(shù)據(jù)技術(shù)組成與生態(tài)圈 (6)
1.4 大數(shù)據(jù)的行業(yè)應用和未來發(fā)展 (9)
第2章 Hadoop環(huán)境搭建與運維 (15)
2.1 Hadoop概述 (15)
2.2 Hadoop單機模式和偽分布模式搭建 (16)
2.2.1 創(chuàng)建“hadoop”用戶 (17)
2.2.2 準備工作 (18)
2.2.3 安裝SSH、配置SSH無密碼登錄 (18)
2.2.4 安裝Java環(huán)境 (19)
2.2.5 安裝Hadoop 2 (20)
2.2.6 Hadoop單機配置 (21)
2.2.7 Hadoop偽分布式配置 (23)
2.2.8 運行Hadoop偽分布式實例 (26)
2.3 Hadoop集群模式搭建 (28)
2.3.1 創(chuàng)建Hadoop運行用戶 (28)
2.3.2 關閉防火墻 (28)
2.3.3 配置機器名和網(wǎng)絡 (29)
2.3.4 配置非root用戶免驗證登錄SSH (30)
2.3.5 安裝JDK (31)
2.3.6 安裝Hadoop (32)
2.3.7 格式化HDFS (34)
2.3.8 啟動Hadoop (35)
2.4 Hadoop HA模式介紹 (35)
2.4.1 Hadoop的HA機制 (35)
2.4.2 HA集群 (36)
2.5 Hadoop查看集群運行狀態(tài) (37)
2.6 網(wǎng)頁查看集群 (39)
2.7 Hadoop命令的使用 (40)
2.7.1 Hadoop常用命令 (40)
2.7.2 HDFS常用命令 (40)
2.8 WordCount示例程序的運行和日志查看 (44)
2.8.1 MapReduce的工作原理 (45)
2.8.2 MapReduce框架的作業(yè)運行流程 (45)
2.8.3 WordCount示例程序 (46)
2.9 實驗 (46)
2.9.1 【實驗1】CentOS系統(tǒng)安裝 (46)
2.9.2 【實驗2】Hadoop單機部署 (54)
2.9.3 【實驗3】Hadoop偽分布式部署 (65)
2.9.4 【實驗4】Hadoop完全分布式部署 (66)
2.9.5 【實驗5】Hadoop查看集群狀態(tài) (85)
2.9.6 【實驗6】Hadoop基礎命令的使用 (88)
2.9.7 【實驗7】Hadoop示例程序WordCount的執(zhí)行(Java) (91)
2.9.8 【實驗8】Hadoop示例程序WordCount的執(zhí)行(Python) (100)
2.9.9 【實驗9】Hadoop HA模式解析 (100)
第3章 Hive環(huán)境搭建與基本操作 (102)
3.1 Hive概述 (102)
3.2 基于HDFS和MySQL的Hive環(huán)境搭建 (105)
3.3 Hive Shell (115)
3.4 Hive SQL語句的使用 (119)
3.5 Hive函數(shù)的使用 (122)
3.6 Hive分區(qū)表和桶表的創(chuàng)建 (129)
3.7 實驗 (133)
3.7.1 【實驗10】Hive環(huán)境搭建 (133)
3.7.2 【實驗11】Hive SQL語句操作 (134)
3.7.3 【實驗12】Hive函數(shù)的使用 (135)
3.7.4 【實驗13】Hive分區(qū)表的創(chuàng)建 (136)
第4章 HBase環(huán)境搭建與運維 (138)
4.1 HBase概述 (138)
4.2 HBase單機模式和偽分布模式部署 (139)
4.3 HBase完全分布模式部署 (143)
4.4 HBase查看集群運行狀態(tài) (146)
4.5 HBase Shell的使用 (149)
4.6 實驗 (155)
4.6.1 【實驗14】HBase單機模式和偽分布模式部署 (155)
4.6.2 【實驗15】HBase分布式部署 (158)
4.6.3 【實驗16】HBase查看集群運行狀態(tài) (159)
4.6.4 【實驗17】HBase Shell命令的使用 (160)
第5章 Hadoop常用組件安裝 (164)
5.1 Hadoop常用組件概述 (164)
5.2 ZooKeeper環(huán)境部署 (175)
5.3 Kafka環(huán)境部署 (178)
5.4 Storm環(huán)境部署 (183)
5.4.1 單機環(huán)境部署 (183)
5.4.2 分布式環(huán)境部署 (185)
5.5 Flume環(huán)境部署 (187)
5.6 Spark環(huán)境部署 (189)
5.6.1 單機環(huán)境部署 (189)
5.6.2 分布式環(huán)境部署 (190)
5.7 實驗 (194)
5.7.1 【實驗18】ZooKeeper環(huán)境部署 (194)
5.7.2 【實驗19】Kafka環(huán)境部署 (196)
5.7.3 【實驗20】Storm環(huán)境部署 (200)
5.7.4 【實驗21】Flume環(huán)境部署 (203)
5.7.5 【實驗22】Spark環(huán)境部署 (204)