第 1章　Hadoop介紹　1 任務(wù)1.1　認(rèn)識(shí)Hadoop框架　1 1.1.1　什么是Hadoop　1 1.1.2　了解Hadoop的發(fā)展歷史　2 1.1.3　了解Hadoop的特點(diǎn)　4 任務(wù)1.2　了解Hadoop核心組件　4 1.2.1　了解分布式文件系統(tǒng)——HDFS　4 1.2.2　了解分布式計(jì)算框架——MapReduce　7 1.2.3　了解集群資源管理器——YARN　9 任務(wù)1.3　了解Hadoop生態(tài)系統(tǒng)　12 任務(wù)1.4　了解Hadoop應(yīng)用場景　14 小結(jié)　15 課后習(xí)題　15 第 2章　Hadoop集群的搭建及配置　17 任務(wù)2.1　安裝及配置虛擬機(jī)　18 2.1.1　創(chuàng)建Linux虛擬機(jī)　18 2.1.2　設(shè)置固定IP地址　26 2.1.3　遠(yuǎn)程連接虛擬機(jī)　29 2.1.4　配置本地YUM源及安裝常用軟件　31 任務(wù)2.2　搭建Hadoop完全分布式集群　35 2.2.1　在Linux下安裝Java　36 2.2.2　修改配置文件　37 2.2.3　克隆虛擬機(jī)　41 2.2.4　配置SSH免密碼登錄　44 2.2.5　配置時(shí)間同步服務(wù)　45 2.2.6　啟動(dòng)和關(guān)閉Hadoop集群　46 2.2.7　監(jiān)控Hadoop集群　47 小結(jié)　49 實(shí)訓(xùn)　50 實(shí)訓(xùn)1　修改master虛擬機(jī)的IP地址　50 實(shí)訓(xùn)2　編寫Shell腳本同步集群時(shí)間　50 課后習(xí)題　51 第3章　Hadoop基礎(chǔ)操作　53 任務(wù)3.1　認(rèn)識(shí)Hadoop安全模式　54 3.1.1　了解Hadoop安全模式　54 3.1.2　查看、解除和開啟Hadoop安全模式　55 任務(wù)3.2　查看Hadoop集群的基本信息　56 3.2.1　查詢集群的存儲(chǔ)系統(tǒng)信息　57 3.2.2　查詢集群的計(jì)算資源信息　60 任務(wù)3.3　上傳文件到HDFS目錄　62 3.3.1　了解HDFS　62 3.3.2　HDFS的基本操作　65 3.3.3　任務(wù)實(shí)現(xiàn)　68 任務(wù)3.4　運(yùn)行首個(gè)MapReduce任務(wù)　70 3.4.1　了解Hadoop官方的示例程序包　70 3.4.2　提交MapReduce任務(wù)給集群運(yùn)行　70 任務(wù)3.5　管理多個(gè)MapReduce任務(wù)　74 3.5.1　查詢MapReduce任務(wù)　74 3.5.2　中斷MapReduce任務(wù)　76 小結(jié)　78 實(shí)訓(xùn)　79 實(shí)訓(xùn)1　統(tǒng)計(jì)文件中所有單詞長度的標(biāo)準(zhǔn)差　79 實(shí)訓(xùn)2　查詢與中斷MapReduce任務(wù)　79 課后習(xí)題　80 第4章　MapReduce入門編程　82 任務(wù)4.1　在IntelliJ IDEA中搭建MapReduce開發(fā)環(huán)境　83 4.1.1　在Windows下安裝Java　83 4.1.2　下載與安裝IntelliJ IDEA　86 4.1.3　創(chuàng)建MapReduce工程　88 4.1.4　配置MapReduce環(huán)境　90 任務(wù)4.2　通過源碼初識(shí)MapReduce編程　92 4.2.1　了解MapReduce工作原理及核心組成　92 4.2.2　了解MapReduce實(shí)現(xiàn)詞頻統(tǒng)計(jì)的執(zhí)行流程　93 4.2.3　讀懂官方提供的WordCount源碼　94 任務(wù)4.3　統(tǒng)計(jì)網(wǎng)站每日的訪問次數(shù)　100 4.3.1　分析思路與處理邏輯　100 4.3.2　編寫核心模塊代碼　101 4.3.3　任務(wù)實(shí)現(xiàn)　102 任務(wù)4.4　將網(wǎng)站每日訪問次數(shù)根據(jù)訪問次數(shù)進(jìn)行升序排序　104 4.4.1　分析思路與處理邏輯　104 4.4.2　編寫核心模塊代碼　105 4.4.3　任務(wù)實(shí)現(xiàn)　106 小結(jié)　108 實(shí)訓(xùn)　109 實(shí)訓(xùn)1　使用MapReduce編程統(tǒng)計(jì)某超市1月商品被購買的次數(shù)　109 實(shí)訓(xùn)2　使用MapReduce編程統(tǒng)計(jì)各科目的平均成績　109 課后習(xí)題　110 第5章　MapReduce進(jìn)階編程　113 任務(wù)5.1　篩選日志文件并生成序列化文件　113 5.1.1　設(shè)置MapReduce輸入格式　114 5.1.2　設(shè)置MapReduce輸出格式　115 5.1.3　任務(wù)實(shí)現(xiàn)　116 任務(wù)5.2　使用Hadoop Java API讀取序列化文件　118 5.2.1　使用FileSystem API管理文件夾　118 5.2.2　使用FileSystem API操作文件　122 5.2.3　使用FileSystem API讀/寫數(shù)據(jù)　124 5.2.4　任務(wù)實(shí)現(xiàn)　126 任務(wù)5.3　優(yōu)化日志文件統(tǒng)計(jì)程序　128 5.3.1　自定義鍵值類型　128 5.3.2　初步探索Combiner　132 5.3.3　淺析Partitioner　134 5.3.4　自定義計(jì)數(shù)器　137 5.3.5　任務(wù)實(shí)現(xiàn)　139 任務(wù)5.4　在IntelliJ IDEA中打包并提交MapReduce程序　142 5.4.1　傳遞參數(shù)　142 5.4.2　使用Hadoop輔助類ToolRunner　144 5.4.3　自動(dòng)打包并提交MapReduce任務(wù)　145 5.4.4　任務(wù)實(shí)現(xiàn)　148 小結(jié)　150 實(shí)訓(xùn)　150 實(shí)訓(xùn)1　使用MapReduce編程統(tǒng)計(jì)各科目成績最高的學(xué)生　150 實(shí)訓(xùn)2　使用MapReduce編程篩選出指定出版年份的圖書　151 課后習(xí)題　152 第6章　Hive數(shù)據(jù)倉庫　155 任務(wù)6.1　認(rèn)識(shí)Hive數(shù)據(jù)倉庫　156 6.1.1　什么是Hive　156 6.1.2　了解Hive與傳統(tǒng)數(shù)據(jù)庫的對比　156 6.1.3　了解Hive系統(tǒng)架構(gòu)　158 6.1.4　了解Hive數(shù)據(jù)模型　159 6.1.5　了解Hive執(zhí)行流程　159 任務(wù)6.2　訪問Hive的3種方式　160 6.2.1　設(shè)置內(nèi)嵌模式　160 6.2.2　設(shè)置直連數(shù)據(jù)庫模式　162 6.2.3　設(shè)置遠(yuǎn)程模式　165 任務(wù)6.3　實(shí)現(xiàn)Hive表的創(chuàng)建與修改　167 6.3.1　了解Hive數(shù)據(jù)定義語言的基本語法　168 6.3.2　創(chuàng)建表基本操作　171 6.3.3　修改表基本操作　174 任務(wù)6.4　實(shí)現(xiàn)Hive表中數(shù)據(jù)的增刪查改　175 6.4.1　了解Hive數(shù)據(jù)操作語言的基本語法　175 6.4.2　向數(shù)據(jù)表中裝載文件　177 6.4.3　查詢數(shù)據(jù)　179 6.4.4　插入數(shù)據(jù)　182 6.4.5　刪除表中數(shù)據(jù)　183 任務(wù)6.5　掉話率Top20基站統(tǒng)計(jì)　184 6.5.1　分析基本思路　184 6.5.2　任務(wù)實(shí)現(xiàn)　184 小結(jié)　186 實(shí)訓(xùn)　186 實(shí)訓(xùn)1　查詢圖書館圖書的被借閱次數(shù)及讀者借閱圖書的次數(shù)　186 實(shí)訓(xùn)2　Hive實(shí)現(xiàn)表的連接及信息查詢處理　187 課后習(xí)題　188 第7章　HBase分布式數(shù)據(jù)庫　190 任務(wù)7.1　認(rèn)識(shí)HBase分布式數(shù)據(jù)庫　191 7.1.1　什么是HBase　191 7.1.2　了解HBase系統(tǒng)架構(gòu)　193 7.1.3　了解HBase數(shù)據(jù)模型　195 7.1.4　了解HBase讀/寫流程　196 任務(wù)7.2　安裝部署HBase集群　198 7.2.1　了解并安裝ZooKeeper　198 7.2.2　安裝及配置HBase集群　203 任務(wù)7.3　掌握HBase常用的Shell命令　206 7.3.1　修改與刪除表　208 7.3.2　查詢表數(shù)據(jù)　210 任務(wù)7.4　使用HBase Java API實(shí)現(xiàn)表設(shè)計(jì)　212 7.4.1　創(chuàng)建Java項(xiàng)目　213 7.4.2　實(shí)現(xiàn)表的創(chuàng)建　215 7.4.3　向表中插入數(shù)據(jù)　216 任務(wù)7.5　查詢分析通話記錄數(shù)據(jù)　217 7.5.1　設(shè)計(jì)表并分析查詢需求　217 7.5.2　任務(wù)實(shí)現(xiàn)　218 小結(jié)　225 實(shí)訓(xùn)　225 實(shí)訓(xùn)1　使用HBase Shell命令創(chuàng)建學(xué)生表并插入數(shù)據(jù)　225 實(shí)訓(xùn)2　使用HBase Java API對HBase數(shù)據(jù)庫的表進(jìn)行操作　226 課后習(xí)題　227 第8章　項(xiàng)目案例：電影網(wǎng)站用戶影評分析　228 任務(wù)8.1　了解數(shù)據(jù)字段并分析需求　228 8.1.1　了解數(shù)據(jù)字段　228 8.1.2　統(tǒng)計(jì)分析需求描述　230 任務(wù)8.2　多維度分析用戶影評　230 8.2.1　創(chuàng)建并配置工程項(xiàng)目　230 8.2.2　計(jì)算評分次數(shù)最多的10部電影及評分次數(shù)并分析　232 8.2.3　計(jì)算不同性別評分最高的10部電影及評分并分析　240 8.2.4　計(jì)算指定電影各年齡段的平均影評并分析　250 8.2.5　計(jì)算影評庫中各種類型電影中評分最高的5部電影并分析　252 小結(jié)　258 附錄A　Linux常用操作命令　259 附錄B　Hadoop集群組件的常用端口及其說明　263