第1章 數(shù)據(jù)倉庫概論 1
1.1 數(shù)據(jù)倉庫的概念與特點 1
1.2 數(shù)據(jù)倉庫的演進過程 2
1.3 數(shù)據(jù)倉庫技術(shù) 3
1.4 數(shù)據(jù)倉庫基本架構(gòu) 5
1.5 數(shù)據(jù)庫和數(shù)據(jù)倉庫的區(qū)別 8
1.6 學前導讀 9
1.6.1 學習的基礎要求 9
1.6.2 你將學到什么 9
1.7 本章總結(jié) 9
第2章 項目需求描述 11
2.1 前期調(diào)研 11
2.2 項目架構(gòu)分析 12
2.2.1 金融租賃行業(yè)簡介 12
2.2.2 金融租賃數(shù)據(jù)倉庫產(chǎn)品描述 12
2.2.3 系統(tǒng)功能結(jié)構(gòu) 13
2.2.4 系統(tǒng)流程圖 14
2.3 項目業(yè)務概述 14
2.3.1 數(shù)據(jù)采集模塊業(yè)務描述 14
2.3.2 數(shù)據(jù)倉庫需求業(yè)務描述 15
2.3.3 數(shù)據(jù)可視化業(yè)務描述 17
2.4 系統(tǒng)運行環(huán)境 18
2.4.1 硬件環(huán)境 18
2.4.2 軟件環(huán)境 19
2.5 本章總結(jié) 21
第3章 項目部署的環(huán)境準備 22
3.1 集群規(guī)劃與服務器配置 22
3.2 安裝JDK與Hadoop 22
3.2.1 準備虛擬機環(huán)境 22
3.2.2 安裝JDK 26
3.2.3 安裝Hadoop 27
3.2.4 Hadoop的分布式集群部署 28
3.3 本章總結(jié) 35
第4章 業(yè)務數(shù)據(jù)采集模塊 36
4.1 金融租賃業(yè)務概述 36
4.1.1 金融租賃業(yè)務流程 36
4.1.2 業(yè)務表結(jié)構(gòu) 40
4.2 數(shù)據(jù)同步 43
4.2.1 數(shù)據(jù)同步策略 43
4.2.2 數(shù)據(jù)同步工具選擇 45
4.3 環(huán)境準備 46
4.3.1 安裝DataX 46
4.3.2 安裝Maxwell 47
4.3.3 安裝ZooKeeper 52
4.3.4 安裝Kafka 54
4.3.5 安裝Flume 57
4.4 模擬業(yè)務數(shù)據(jù) 59
4.4.1 MySQL安裝 59
4.4.2 數(shù)據(jù)模擬 61
4.5 業(yè)務數(shù)據(jù)的采集 62
4.5.1 全量同步 62
4.5.2 增量同步 67
4.6 采集通道啟動和停止腳本 76
4.7 本章總結(jié) 77
第5章 數(shù)據(jù)倉庫搭建模塊 78
5.1 數(shù)據(jù)倉庫理論準備 78
5.1.1 數(shù)據(jù)建模概述 78
5.1.2 關(guān)系模型與范式理論 79
5.1.3 維度模型 82
5.1.4 維度建模理論之事實表 83
5.1.5 維度建模理論之維度表 86
5.1.6 星形模型、雪花模型與星座模型 89
5.2 數(shù)據(jù)倉庫建模實踐 91
5.2.1 名詞概念 91
5.2.2 為什么要分層 92
5.2.3 數(shù)據(jù)倉庫搭建流程 93
5.2.4 數(shù)據(jù)倉庫開發(fā)規(guī)范 97
5.3 數(shù)據(jù)倉庫搭建環(huán)境準備 101
5.3.1 Hive安裝 101
5.3.2 Hive on Spark配置 104
5.3.3 YARN容量調(diào)度器并發(fā)度問題 106
5.3.4 數(shù)據(jù)倉庫開發(fā)環(huán)境配置 106
5.3.5 模擬數(shù)據(jù)準備 109
5.3.6 復雜數(shù)據(jù)類型 111
5.4 數(shù)據(jù)倉庫搭建——ODS層 112
5.4.1 ODS層表格的創(chuàng)建 112
5.4.2 ODS層業(yè)務數(shù)據(jù)導入腳本 116
5.5 數(shù)據(jù)倉庫搭建——DIM層 117
5.5.1 部門維度表（全量） 117
5.5.2 員工維度表（全量） 119
5.5.3 行業(yè)維度表（全量） 120
5.5.4 DIM層每日數(shù)據(jù)裝載腳本 121
5.6 數(shù)據(jù)倉庫搭建——DWD層 121
5.6.1 審批域金融租賃全流程累積快照事實表 121
5.6.2 DWD層首日數(shù)據(jù)裝載腳本 133
5.6.3 DWD層每日數(shù)據(jù)裝載腳本 133
5.7 數(shù)據(jù)倉庫搭建——ADS層 133
5.7.1 待審/在審項目主題指標 133
5.7.2 已審項目主題指標 154
5.7.3 已審項目轉(zhuǎn)化主題指標 167
5.7.4 ADS層數(shù)據(jù)導入腳本 170
5.8 數(shù)據(jù)模型評估及優(yōu)化 170
5.9 本章總結(jié) 171
第6章 DolphinScheduler全流程調(diào)度 172
6.1 DolphinScheduler概述與安裝部署 172
6.1.1 DolphinScheduler概述 172
6.1.2 DolphinScheduler安裝部署 173
6.2 創(chuàng)建MySQL數(shù)據(jù)庫和表 179
6.3 DataX數(shù)據(jù)導出 188
6.4 全流程調(diào)度 192
6.4.1 數(shù)據(jù)準備 192
6.4.2 全流程調(diào)度配置 192
6.5 電子郵件報警 198
6.5.1 注冊郵箱 198
6.5.2 配置電子郵件報警 199
6.6 本章總結(jié) 202
第7章 數(shù)據(jù)可視化模塊 203
7.1 部署FineBI 203
7.1.1 安裝 203
7.1.2 初始化 205
7.2 數(shù)據(jù)源的配置 210
7.2.1 配置數(shù)據(jù)連接 210
7.2.2 配置數(shù)據(jù)源 213
7.3 制作圖表 215
7.3.1 制作堆積柱狀圖 215
7.3.2 制作餅狀圖 219
7.3.3 制作多系列柱狀圖 227
7.3.4 制作儀表板 229
7.4 本章總結(jié) 234