項目1 基礎環(huán)境的搭建與配置 1
任務1.1 搭建虛擬機 2
1.1.1 安裝虛擬機軟件 2
1.1.2 安裝master節(jié)點虛擬機 4
1.1.3 配置master節(jié)點的網絡 7
1.1.4 克隆slave節(jié)點 10
任務1.2 配置連接工具 13
1.2.1 測試Windows操作系統(tǒng)連接虛擬機 14
1.2.2 使用Xshell工具 15
1.2.3 使用Xftp工具 18
任務1.3 配置Hadoop平臺基礎環(huán)境 20
1.3.1 設置服務器的主機名 20
1.3.2 關閉并禁用防火墻 21
1.3.3 修改主機IP地址映射文件 23
1.3.4 配置SSH免密登錄 24
1.3.5 設置集群時間同步 29
1.3.6 安裝Java環(huán)境 32
項目總結 35
項目2 Hadoop完全分布式的搭建與運行 36
任務2.1 搭建Hadoop完全分布式集群 37
任務2.2 運行Hadoop集群 46
2.2.1 格式化NameNode 46
2.2.2 啟動和關閉Hadoop集群 47
2.2.3 使用瀏覽器查看節(jié)點狀態(tài) 49
項目總結 50
項目3 Hadoop核心組件的應用案例 51
任務3.1 Hadoop Java API讀取序列化日志文件 51
3.1.1 配置開發(fā)環(huán)境 52
3.1.2 創(chuàng)建Maven工程 55
3.1.3 讀取序列化文件 57
任務3.2 預測M電影網站用戶性別 60
3.2.1 獲取數(shù)據 61
3.2.2 數(shù)據變換 62
3.2.3 數(shù)據清洗 77
3.2.4 劃分數(shù)據集 79
3.2.5 實現(xiàn)用戶性別聚類 83
項目總結 91
項目4 Hive組件的安裝、配置與應用 92
任務4.1 安裝與配置MySQL數(shù)據庫 93
4.1.1 安裝MySQL數(shù)據庫 93
4.1.2 配置MySQL數(shù)據庫 96
任務4.2 安裝與配置Hive組件 99
4.2.1 安裝Hive組件 99
4.2.2 配置Hive環(huán)境 101
4.2.3 初始化Hive數(shù)據庫 103
任務4.3 Hive Shell的基本操作 104
4.3.1 啟動Hive 105
4.3.2 操作Hive數(shù)據庫 105
4.3.3 操作Hive內部表 106
任務4.4 統(tǒng)計分析餐飲數(shù)據 110
4.4.1 數(shù)據說明 110
4.4.2 創(chuàng)建表并導入數(shù)據 111
4.4.3 統(tǒng)計分析任務實現(xiàn) 112
項目總結 117
項目5 ZooKeeper的安裝、配置與應用 118
任務5.1 分布式搭建部署與管理ZooKeeper 119
5.1.1 在master節(jié)點上安裝ZooKeeper組件 119
5.1.2 在master節(jié)點上配置ZooKeeper組件 121
5.1.3 在slave節(jié)點上安裝與配置ZooKeeper組件 122
5.1.4 管理ZooKeeper服務 123
任務5.2 監(jiān)控服務器上下線動態(tài) 124
5.2.1 創(chuàng)建Maven工程并連接ZooKeeper集群 125
5.2.2 任務實現(xiàn) 125
項目總結 128
項目6 HBase的安裝、配置與應用 129
任務6.1 安裝與配置HBase 130
6.1.1 在master節(jié)點上安裝HBase組件 130
6.1.2 在master節(jié)點上修改配置文件 132
6.1.3 在slave節(jié)點上安裝HBase組件 134
6.1.4 啟動HBase集群 134
任務6.2 HBase Shell的基本操作 136
6.2.1 應用HBase Shell 136
6.2.2 操作HBase表 138
6.2.3 操作HBase數(shù)據 139
任務6.3 設計手游信息的數(shù)據存儲 141
6.3.1 設計表結構 142
6.3.2 創(chuàng)建表結構 142
6.3.3 設計業(yè)務邏輯 147
項目總結 156
項目7 Sqoop組件的安裝、配置與應用 157
任務7.1 安裝與配置Sqoop組件 158
7.1.1 安裝Sqoop組件 158
7.1.2 修改Sqoop組件配置文件 160
7.1.3 測試Sqoop組件的安裝情況 161
任務7.2 Sqoop組件的導入與導出應用操作 162
7.2.1 準備MySQL數(shù)據庫數(shù)據 162
7.2.2 在Hive中準備表 163
7.2.3 將MySQL數(shù)據庫中的數(shù)據導入Hive 164
7.2.4 將MySQL數(shù)據庫中的數(shù)據導入HDFS 165
7.2.5 從Hive中導出數(shù)據至MySQL數(shù)據庫 168
任務7.3 查詢與傳輸用戶日志數(shù)據 170
7.3.1 查詢MySQL數(shù)據庫的用戶日志數(shù)據表中的記錄數(shù) 170
7.3.2 增量導入MySQL數(shù)據庫中的用戶日志數(shù)據至Hive 171
7.3.3 導出Hive中的瀏覽信息篩選結果至MySQL數(shù)據庫 172
項目總結 173
項目8 Flume組件的安裝、配置與應用 174
任務8.1 安裝與配置Flume組件 175
8.1.1 安裝Flume組件 175
8.1.2 配置Flume組件 177
8.1.3 創(chuàng)建代理配置文件 178
8.1.4 啟動Flume并傳輸數(shù)據 179
8.1.5 查看Flume傳輸?shù)奈募��?shù)據 179
任務8.2 廣告日志數(shù)據采集系統(tǒng) 180
8.2.1 采集系統(tǒng)日志數(shù)據 182
8.2.2 采集廣告曝光日志數(shù)據 183
項目總結 186
項目9 Kafka的安裝、配置與應用 187
任務9.1 安裝與配置Kafka 188
9.1.1 在master節(jié)點上安裝與配置Kafka組件 188
9.1.2 在slave節(jié)點上安裝Kafka組件 190
9.1.3 管理Kafka服務 191
9.1.4 演示Kafka分布式發(fā)布訂閱消息 192
任務9.2 實時傳輸廣告日志數(shù)據 194
9.2.1 創(chuàng)建腳本文件 194
9.2.2 創(chuàng)建Kafka主題 196
9.2.3 Flume采集日志 196
項目總結 198
項目10 Spark的安裝、配置與應用 199
任務10.1 安裝與配置Scala 200
10.1.1 在master節(jié)點上安裝Scala 200
10.1.2 在slave節(jié)點上安裝Scala 202
10.1.3 測試Scala的安裝情況 202
任務10.2 安裝與配置Spark組件 203
10.2.1 在master節(jié)點上安裝Spark組件 203
10.2.2 修改Spark配置文件 205
10.2.3 在slave節(jié)點上安裝Spark組件 206
10.2.4 運行Spark集群 206
任務10.3 應用舉例spark-shell 208
10.3.1 上傳數(shù)據文件 208
10.3.2 運行spark-shell單詞統(tǒng)計程序 209
任務10.4 聚類分析超市客戶 212
10.4.1 安裝Scala插件 212
10.4.2 配置Spark運行環(huán)境 214
10.4.3 探索數(shù)據與構建特征 217
10.4.4 保存數(shù)據至Hive 221
10.4.5 構建K-means聚類模型 221
項目總結 224
項目11 廣電大數(shù)據用戶畫像 225
任務11.1 說明與存儲數(shù)據 225
任務11.2 數(shù)據探索與數(shù)據預處理 231
11.2.1 總體概述 232
11.2.2 探索異常數(shù)據 234
11.2.3 探索主要業(yè)務數(shù)據 236
11.2.4 探索標簽閾值 239
11.2.5 數(shù)據預處理 245
任務11.3 構建SVM預測模型與用戶畫像 250
11.3.1 構建特征列和標簽列數(shù)據 250
11.3.2 構建SVM模型、評價模型效果并預測用戶是否挽留 253
11.3.3 構建用戶畫像 255
項目總結 261
附錄A 選用組件版本列表 262