本書全面介紹了數(shù)據(jù)架構(gòu)與數(shù)據(jù)建模的相關(guān)知識,全書分為4篇,共16章。
第1~3章為數(shù)據(jù)架構(gòu)基礎(chǔ)篇,介紹了企業(yè)架構(gòu)、數(shù)據(jù)架構(gòu)及數(shù)據(jù)模型的基礎(chǔ)概念。第4~9章為數(shù)據(jù)模型設(shè)計(jì)篇,介紹了如何通過數(shù)據(jù)模型記分卡規(guī)范化數(shù)據(jù)模型設(shè)計(jì),以及經(jīng)典數(shù)據(jù)建模方法論,包括范式建模、維度建模、Data Vault建模、統(tǒng)一星型建模。第10~12章為數(shù)據(jù)模型落地篇,介紹了在企業(yè)中如何實(shí)現(xiàn)多人協(xié)作構(gòu)建模型、如何管控?cái)?shù)據(jù)模型、數(shù)據(jù)模型數(shù)據(jù)與數(shù)據(jù)標(biāo)準(zhǔn),以及元數(shù)據(jù)如何形成數(shù)據(jù)治理閉環(huán)。第13~16章為行業(yè)數(shù)據(jù)模型篇,分別介紹了證券、保險(xiǎn)、教育、航空業(yè)的數(shù)據(jù)架構(gòu)及數(shù)據(jù)模型。
本書既可以作為數(shù)據(jù)建模人員、數(shù)據(jù)開發(fā)人員的學(xué)習(xí)用書,也適合非IT專業(yè)但對數(shù)據(jù)有強(qiáng)烈興趣的業(yè)務(wù)人員使用,還可以作為高等院校計(jì)算機(jī)、數(shù)學(xué)及相關(guān)專業(yè)的師生用書和培訓(xùn)學(xué)校的教材。
(1)講解企業(yè)數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型基礎(chǔ)概念,以及經(jīng)典數(shù)據(jù)建模方法論。
(2)全面介紹數(shù)據(jù)模型從設(shè)計(jì)到落地及管控等方面的細(xì)節(jié)。
(3)提供證券、保險(xiǎn)、教育、航空業(yè)的數(shù)據(jù)架構(gòu)及數(shù)據(jù)模型的案例和實(shí)踐路徑,為政企數(shù)字化轉(zhuǎn)型提供參考。
感謝你翻開這本書。
2016年年底,我從一家知名外企辭職,離開了嘔心瀝血11年打造的數(shù)據(jù)建模鼻祖產(chǎn)品及其全球研發(fā)負(fù)責(zé)人的崗位,開啟了創(chuàng)業(yè)之旅。那時(shí)互聯(lián)網(wǎng)如日中天,數(shù)據(jù)領(lǐng)域才剛剛起步。我常常也會心懷疑慮,數(shù)字化轉(zhuǎn)型能走多遠(yuǎn)?未來還需要數(shù)據(jù)建模嗎?過去十幾年的經(jīng)驗(yàn)?zāi)茉跁r(shí)代大潮中經(jīng)受住考驗(yàn)嗎?
5年后的今天,答案顯而易見。數(shù)據(jù)應(yīng)用在各行業(yè)中百花齊放,精準(zhǔn)營銷、金融風(fēng)控、無人駕駛、智慧農(nóng)業(yè),可以說是無處不在。而數(shù)據(jù)模型、數(shù)據(jù)架構(gòu)也開始再次被人們所認(rèn)識和重視。數(shù)據(jù)中臺在被熱炒的大浪中退去,我們發(fā)現(xiàn)其終沉淀下來的不是各種光鮮或不知所云的新概念,而是人們對業(yè)務(wù)及數(shù)據(jù)的深刻理解,這些都沉淀在了數(shù)據(jù)模型中。
本書從數(shù)據(jù)架構(gòu)的基本概念入手,從業(yè)務(wù)系統(tǒng)的三范式模型到數(shù)據(jù)倉庫的維度模型、Data Vault模型,結(jié)合大量的行業(yè)實(shí)例及繪圖進(jìn)行展示,分析了數(shù)據(jù)模型的本質(zhì),并針對模型給出了詳細(xì)解讀。
本書適合正在建設(shè)數(shù)據(jù)中臺、數(shù)據(jù)倉庫及業(yè)務(wù)系統(tǒng)的業(yè)內(nèi)人士,以及覺得模型晦澀難懂、無所適從的初學(xué)者,也適合作為計(jì)算機(jī)相關(guān)專業(yè)的教材。本書能幫助你理解經(jīng)典的模型設(shè)計(jì),并讓你獲得足夠多的經(jīng)驗(yàn)和實(shí)踐技巧,以便更好地分析和解決問題。
更重要的是體會到數(shù)據(jù)模型之美!
王琤,Datablau數(shù)語科技創(chuàng)始人兼CEO。
具有近二十年數(shù)據(jù)管理經(jīng)驗(yàn),曾任CA ERwin全球研發(fā)負(fù)責(zé)人,曾服務(wù)過美國銀行(BOA)、SunTrust、AT&T、殼牌等世界500強(qiáng)企業(yè),參與過中國建設(shè)銀行、華為、南方電網(wǎng)、中國人壽、中信集團(tuán)等大型企事業(yè)單位的數(shù)據(jù)治理建設(shè)。現(xiàn)為國資委數(shù)據(jù)要素專家組成員,DAMA China數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型專家委員會牽頭人,信通院數(shù)據(jù)資產(chǎn)專家委員會成員,Open Group成員,復(fù)旦大學(xué)、北京航空航天大學(xué)客座講師,并有多項(xiàng)專利、論文發(fā)表于IEEE等機(jī)構(gòu)。
篇 數(shù)據(jù)架構(gòu)基礎(chǔ)篇
1 緣起 2
1.1 數(shù)據(jù)架構(gòu)與數(shù)據(jù)模型 2
1.2 數(shù)據(jù)建模簡史 5
2 企業(yè)架構(gòu) 9
2.1 企業(yè)架構(gòu)的構(gòu)成 9
2.2 企業(yè)架構(gòu)的框架 10
2.3 敏捷的企業(yè)架構(gòu)治理 12
2.4 企業(yè)架構(gòu)與數(shù)據(jù)治理 16
3 數(shù)據(jù)模型 17
3.1 概念模型 17
3.2 邏輯模型 21
3.3 物理模型 23
第二篇 數(shù)據(jù)模型設(shè)計(jì)篇
4 數(shù)據(jù)模型質(zhì)量 26
4.1 數(shù)據(jù)模型記分卡 26
4.2 數(shù)據(jù)模型規(guī)范 37
5 范式建模 40
5.1 范式與模型 40
5.2 范式 42
5.3 第二范式 42
5.4 函數(shù)依賴 44
5.5 碼 46
5.6 非主屬性 46
5.7 第三范式 49
5.8 鮑依斯-科得范式 50
5.9 范式建模工作方法和流程 50
6 數(shù)據(jù)倉庫 53
6.1 數(shù)據(jù)倉庫的演化過程 53
6.2 數(shù)據(jù)倉庫的概念 58
6.3 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 59
6.4 數(shù)據(jù)倉庫的工具與技術(shù) 60
6.5 企業(yè)級數(shù)據(jù)倉庫 61
6.6 企業(yè)級數(shù)據(jù)倉庫的解決方案 65
7 維度建模 69
7.1 維度建模的基本概念 69
7.2 維度建模的常見模式 76
7.3 維度建模的過程 78
7.4 維度建模的任務(wù)建議 81
7.5 數(shù)據(jù)倉庫總線結(jié)構(gòu) 84
8 Data Vault建模 89
8.1 Data Vault的起源 89
8.2 Data Vault建模方法 89
8.3 Data Vault適用場景 94
9 統(tǒng)一星型模型建模 96
9.1 統(tǒng)一星型模型簡介 96
9.2 數(shù)據(jù)倉庫與數(shù)據(jù)集市 97
9.3 數(shù)據(jù)集市的演變 102
9.4 集成數(shù)據(jù)集市的方法 106
9.5 向集成數(shù)據(jù)集市變革 108
9.6 統(tǒng)一星型模型 111
第三篇 數(shù)據(jù)模型落地篇
10 數(shù)據(jù)模型管控 120
10.1 背景介紹 120
10.2 數(shù)據(jù)模型管控的思路 122
10.3 組織架構(gòu) 124
10.4 數(shù)據(jù)模型管控實(shí)戰(zhàn)經(jīng)驗(yàn) 126
11 數(shù)據(jù)架構(gòu)與數(shù)據(jù)治理 136
11.1 企業(yè)架構(gòu)與數(shù)據(jù)架構(gòu) 136
11.2 數(shù)據(jù)架構(gòu)驅(qū)動的數(shù)據(jù)治理 138
11.3 從數(shù)據(jù)架構(gòu)到數(shù)據(jù) 139
11.4 元數(shù)據(jù) 141
11.5 元數(shù)據(jù)管理 142
11.6 數(shù)據(jù)模型與元數(shù)據(jù)的關(guān)系 143
11.7 數(shù)據(jù)模型與元數(shù)據(jù)的版本管理 144
11.8 數(shù)據(jù)模型與元數(shù)據(jù)的血緣分析 145
12 數(shù)據(jù)模型與數(shù)據(jù)標(biāo)準(zhǔn) 147
12.1 數(shù)據(jù)標(biāo)準(zhǔn) 147
12.2 數(shù)據(jù)模型與數(shù)據(jù)標(biāo)準(zhǔn)的關(guān)系 150
12.3 將數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)用于數(shù)據(jù)模型建設(shè) 150
12.4 從數(shù)據(jù)模型發(fā)現(xiàn)并生成新的數(shù)據(jù)標(biāo)準(zhǔn) 151
第四篇 行業(yè)數(shù)據(jù)模型篇
13 證券資管行業(yè)的數(shù)據(jù)架構(gòu)及模型 154
13.1 證券公司業(yè)務(wù)概覽 154
13.2 證券行業(yè)數(shù)據(jù)管控 156
13.3 證券公司數(shù)據(jù)模型 161
14 保險(xiǎn)行業(yè)的數(shù)據(jù)架構(gòu)及模型 165
14.1 保險(xiǎn)行業(yè)業(yè)務(wù)概述 165
14.2 保險(xiǎn)行業(yè)監(jiān)管數(shù)據(jù)標(biāo)準(zhǔn) 166
14.3 保險(xiǎn)行業(yè)數(shù)據(jù)模型 167
15 教育行業(yè)的數(shù)據(jù)架構(gòu)及模型 182
15.1 教育行業(yè)信息化發(fā)展及現(xiàn)狀 182
15.2 數(shù)據(jù)標(biāo)準(zhǔn)化管理平臺建設(shè)原則 183
15.3 數(shù)據(jù)標(biāo)準(zhǔn)化管理平臺建設(shè)目標(biāo) 184
15.4 教育行業(yè)數(shù)據(jù)架構(gòu)的統(tǒng)籌規(guī)劃 185
15.5 教育行業(yè)數(shù)據(jù)建模前期的數(shù)據(jù)準(zhǔn)備 187
15.6 教育行業(yè)的數(shù)據(jù)模型設(shè)計(jì) 189
15.7 教育行業(yè)的數(shù)據(jù)模型 190
16 航空公司的數(shù)據(jù)架構(gòu)及模型 197
16.1 航空公司業(yè)務(wù)與信息化 197
16.2 民用航空行業(yè)數(shù)據(jù)標(biāo)準(zhǔn) 200
16.3 航空公司數(shù)據(jù)架構(gòu) 200
16.4 航空公司數(shù)據(jù)模型 205
16.5 概念模型的組成 206
16.6 航班運(yùn)行領(lǐng)域數(shù)據(jù)模型 212
附錄A 證券期貨業(yè)已發(fā)布標(biāo)準(zhǔn) 214
附錄B 保險(xiǎn)行業(yè)轉(zhuǎn)型相關(guān)政策文件 218
附錄C 財(cái)產(chǎn)保險(xiǎn)業(yè)務(wù)及人身保險(xiǎn)業(yè)務(wù)要素?cái)?shù)據(jù)規(guī)范 220
附錄D 民用航空行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)簡介 222