第1章 數(shù)據(jù)倉庫概論 1
1.1 數(shù)據(jù)倉庫的概念與特點 1
1.2 數(shù)據(jù)倉庫的演進(jìn)過程 2
1.3 數(shù)據(jù)倉庫技術(shù) 3
1.4 數(shù)據(jù)倉庫基本架構(gòu) 5
1.5 數(shù)據(jù)庫和數(shù)據(jù)倉庫的區(qū)別 8
1.6 學(xué)前導(dǎo)讀 9
1.6.1 學(xué)習(xí)的基礎(chǔ)要求 9
1.6.2 你將學(xué)到什么 9
1.7 本章總結(jié) 9
第2章 項目需求描述 11
2.1 前期調(diào)研 11
2.2 項目架構(gòu)分析 12
2.2.1 金融租賃行業(yè)簡介 12
2.2.2 金融租賃數(shù)據(jù)倉庫產(chǎn)品描述 12
2.2.3 系統(tǒng)功能結(jié)構(gòu) 13
2.2.4 系統(tǒng)流程圖 14
2.3 項目業(yè)務(wù)概述 14
2.3.1 數(shù)據(jù)采集模塊業(yè)務(wù)描述 14
2.3.2 數(shù)據(jù)倉庫需求業(yè)務(wù)描述 15
2.3.3 數(shù)據(jù)可視化業(yè)務(wù)描述 17
2.4 系統(tǒng)運行環(huán)境 18
2.4.1 硬件環(huán)境 18
2.4.2 軟件環(huán)境 19
2.5 本章總結(jié) 21
第3章 項目部署的環(huán)境準(zhǔn)備 22
3.1 集群規(guī)劃與服務(wù)器配置 22
3.2 安裝JDK與Hadoop 22
3.2.1 準(zhǔn)備虛擬機(jī)環(huán)境 22
3.2.2 安裝JDK 26
3.2.3 安裝Hadoop 27
3.2.4 Hadoop的分布式集群部署 28
3.3 本章總結(jié) 35
第4章 業(yè)務(wù)數(shù)據(jù)采集模塊 36
4.1 金融租賃業(yè)務(wù)概述 36
4.1.1 金融租賃業(yè)務(wù)流程 36
4.1.2 業(yè)務(wù)表結(jié)構(gòu) 40
4.2 數(shù)據(jù)同步 43
4.2.1 數(shù)據(jù)同步策略 43
4.2.2 數(shù)據(jù)同步工具選擇 45
4.3 環(huán)境準(zhǔn)備 46
4.3.1 安裝DataX 46
4.3.2 安裝Maxwell 47
4.3.3 安裝ZooKeeper 52
4.3.4 安裝Kafka 54
4.3.5 安裝Flume 57
4.4 模擬業(yè)務(wù)數(shù)據(jù) 59
4.4.1 MySQL安裝 59
4.4.2 數(shù)據(jù)模擬 61
4.5 業(yè)務(wù)數(shù)據(jù)的采集 62
4.5.1 全量同步 62
4.5.2 增量同步 67
4.6 采集通道啟動和停止腳本 76
4.7 本章總結(jié) 77
第5章 數(shù)據(jù)倉庫搭建模塊 78
5.1 數(shù)據(jù)倉庫理論準(zhǔn)備 78
5.1.1 數(shù)據(jù)建模概述 78
5.1.2 關(guān)系模型與范式理論 79
5.1.3 維度模型 82
5.1.4 維度建模理論之事實表 83
5.1.5 維度建模理論之維度表 86
5.1.6 星形模型、雪花模型與星座模型 89
5.2 數(shù)據(jù)倉庫建模實踐 91
5.2.1 名詞概念 91
5.2.2 為什么要分層 92
5.2.3 數(shù)據(jù)倉庫搭建流程 93
5.2.4 數(shù)據(jù)倉庫開發(fā)規(guī)范 97
5.3 數(shù)據(jù)倉庫搭建環(huán)境準(zhǔn)備 101
5.3.1 Hive安裝 101
5.3.2 Hive on Spark配置 104
5.3.3 YARN容量調(diào)度器并發(fā)度問題 106
5.3.4 數(shù)據(jù)倉庫開發(fā)環(huán)境配置 106
5.3.5 模擬數(shù)據(jù)準(zhǔn)備 109
5.3.6 復(fù)雜數(shù)據(jù)類型 111
5.4 數(shù)據(jù)倉庫搭建——ODS層 112
5.4.1 ODS層表格的創(chuàng)建 112
5.4.2 ODS層業(yè)務(wù)數(shù)據(jù)導(dǎo)入腳本 116
5.5 數(shù)據(jù)倉庫搭建——DIM層 117
5.5.1 部門維度表（全量） 117
5.5.2 員工維度表（全量） 119
5.5.3 行業(yè)維度表（全量） 120
5.5.4 DIM層每日數(shù)據(jù)裝載腳本 121
5.6 數(shù)據(jù)倉庫搭建——DWD層 121
5.6.1 審批域金融租賃全流程累積快照事實表 121
5.6.2 DWD層首日數(shù)據(jù)裝載腳本 133
5.6.3 DWD層每日數(shù)據(jù)裝載腳本 133
5.7 數(shù)據(jù)倉庫搭建——ADS層 133
5.7.1 待審/在審項目主題指標(biāo) 133
5.7.2 已審項目主題指標(biāo) 154
5.7.3 已審項目轉(zhuǎn)化主題指標(biāo) 167
5.7.4 ADS層數(shù)據(jù)導(dǎo)入腳本 170
5.8 數(shù)據(jù)模型評估及優(yōu)化 170
5.9 本章總結(jié) 171
第6章 DolphinScheduler全流程調(diào)度 172
6.1 DolphinScheduler概述與安裝部署 172
6.1.1 DolphinScheduler概述 172
6.1.2 DolphinScheduler安裝部署 173
6.2 創(chuàng)建MySQL數(shù)據(jù)庫和表 179
6.3 DataX數(shù)據(jù)導(dǎo)出 188
6.4 全流程調(diào)度 192
6.4.1 數(shù)據(jù)準(zhǔn)備 192
6.4.2 全流程調(diào)度配置 192
6.5 電子郵件報警 198
6.5.1 注冊郵箱 198
6.5.2 配置電子郵件報警 199
6.6 本章總結(jié) 202
第7章 數(shù)據(jù)可視化模塊 203
7.1 部署FineBI 203
7.1.1 安裝 203
7.1.2 初始化 205
7.2 數(shù)據(jù)源的配置 210
7.2.1 配置數(shù)據(jù)連接 210
7.2.2 配置數(shù)據(jù)源 213
7.3 制作圖表 215
7.3.1 制作堆積柱狀圖 215
7.3.2 制作餅狀圖 219
7.3.3 制作多系列柱狀圖 227
7.3.4 制作儀表板 229
7.4 本章總結(jié) 234