本書對企業(yè)數據化建設的目標、內容及定位做了相對完整的論述,詳細地闡述了數據中臺的定義、內容及如何支撐企業(yè)數據化整體建設,同時也介紹了數據中臺在企業(yè)中的落地步驟、豐富的數據應用場景與實際效果。本書是企業(yè)數據化建設的實用參考書。 本書的內容完全基于筆者團隊的實踐經驗。筆者團隊曾經幫助十幾個行業(yè)頭部企業(yè)的數據中臺項目成功落地,這些項目驗證了本書中闡述的方法論體系的可行性。希望本書能夠對國內數據化工作者提供一定的幫助。
袋鼠云合伙人、高級副總裁;阿里云MVP;原用友集團應用集成業(yè)務部總經理、主數據管理專家及業(yè)務帶頭人。技術發(fā)燒友:擁有多項技術及算法專利,OsChina社區(qū)開源技術工具“丁丁主數據查重引擎”作者,曾獲用友技術創(chuàng)新大賽二等獎;方案專家、業(yè)務帶頭人:企業(yè)應用集成解決方案專家,企業(yè)主數據管理解決方案專家,企業(yè)數據中臺解決方案專家,“七天學會主數據”系列培訓視頻作者,曾因營銷業(yè)績出眾評選為十佳用友人交付達人:常年奔波在國內各大城市的項目現場,成功主導過中國葛洲壩集團、中國建筑總公司第五工程局,國藥集團、上海醫(yī)藥集團、碧桂園、萬科、茅臺集團、李寧、飛鶴乳業(yè)、全友家私、隆平高科等眾多國內大型知名企業(yè)的數據化相關項目。
1 信息認知和當前的信息化革命 / 1
1.1 信息工具的發(fā)展推動人類歷史進步 / 2
1.1.1 信息的世界 / 2
1.1.2 信息工具 / 2
1.2 信息工具的進步與歷史發(fā)展 / 5
1.3 當前的信息化革命 / 6
1.3.1 新的工具 / 6
1.3.2 新的特征 / 7
1.3.3 數據化——對數據的再應用 / 8
2 企業(yè)數據化 / 9
2.1 企業(yè)數據化認知 / 10
2.1.1 企業(yè)數據化的定義 / 10
2.1.2 數據分類 / 11
2.2 企業(yè)數據化與企業(yè)信息化及企業(yè)的關系 / 12
2.2.1 企業(yè)的本質 / 12
2.2.2 企業(yè)信息化 / 13
2.2.3 企業(yè)數據化 / 15
2.2.4 企業(yè)業(yè)務、企業(yè)信息化、企業(yè)數據化的關系 / 15
2.3 企業(yè)數據化建設的內容 / 18
2.3.1 企業(yè)數據化建設的一個核心目的 / 18
2.3.2 企業(yè)數據化建設的三個層次 / 22
2.3.3 企業(yè)數據化建設的五個部分 / 32
2.3.4 企業(yè)數據化建設的七種價值 / 37
2.4 企業(yè)數據化的現狀與問題 / 43
2.4.1 數據意識 / 43
2.4.2 數據資源 / 43
2.4.3 數據資產 / 44
2.4.4 數據應用 / 45
2.4.5 數據質量 / 46
2.4.6 數據運營 / 47
2.4.7 數據技術與產品 / 47
2.4.8 企業(yè)數據化建設路徑探索 / 48
3 數據中臺概述 / 49
3.1 數據中臺是什么 / 50
3.1.1 數據中臺應該告訴企業(yè)全面數據化是什么樣子的 / 50
3.1.2 數據中臺應該匯聚全域數據 / 51
3.1.3 數據中臺應該能夠檢驗數據治理的成果 / 53
3.1.4 數據中臺應該全面支持數據應用落地 / 54
3.1.5 數據中臺可以包含企業(yè)數據化組織規(guī)劃內容 / 55
3.2 數據中臺的價值與建設的必要性 / 55
3.2.1 數據中臺是數據化建設的基礎 / 55
3.2.2 數據中臺是企業(yè)數據化建設的引擎 / 56
3.2.3 數據中臺將各個部分的數據工作有機串聯 / 57
3.3 數據中臺建設五步法 / 58
3.3.1 數據中臺建設五步法概述 / 58
3.3.2 第一步:數據資源的盤點與規(guī)劃 / 59
3.3.3 第二步:數據應用規(guī)劃與設計 / 60
3.3.4 第三步:數據資產建設 / 60
3.3.5 第四步:數據應用的詳細設計與實現 / 62
3.3.6 第五步:數據化組織規(guī)劃 / 63
4 數據資源盤點與規(guī)劃 / 64
4.1 數據資源盤點 / 65
4.1.1 數據資源的分類 / 65
4.1.2 數據資源盤點流程 / 68
4.1.3 數據資源盤點的成果 / 70
4.2 數據資源規(guī)劃 / 73
4.2.1 實體行為數據資源 / 74
4.2.2 外部數據服務規(guī)劃 / 86
5 數據資產建設 / 90
5.1 數據資產建設概述 / 91
5.1.1 前期準備 / 91
5.1.2 數據資產建設方法論 / 92
5.1.3 數據資產建設的步驟 / 94
5.2 產品選型與技術方案設計 / 95
5.2.1 數據倉庫選型 / 95
5.2.2 融合現有數據化建設成果 / 96
5.3 數據模型設計規(guī)范 / 97
5.3.1 基本設計思路 / 97
5.3.2 主題域設計 / 99
5.3.3 數據模型開發(fā)規(guī)范 / 101
5.3.4 數據表的命名規(guī)范 / 102
5.3.5 數據表的設計策略 / 103
5.4 數據開發(fā)規(guī)范及數據開發(fā) / 104
5.4.1 數據開發(fā)規(guī)范 / 104
5.4.2 數據采集 / 110
5.4.3 數據開發(fā) / 115
6 數據應用規(guī)劃與建設 / 118
6.1 數據應用規(guī)劃 / 119
6.1.1 企業(yè)業(yè)務架構梳理 / 120
6.1.2 數據應用場景規(guī)劃 / 126
6.1.3 業(yè)務指標和實體標簽體系的構建與管理 / 131
6.1.4 數據應用落地路徑規(guī)劃 / 137
6.2 數據應用建設 / 138
7 數據應用之最佳實踐 / 142
7.1 房地產行業(yè)的數據應用方案 / 143
7.1.1 房地產行業(yè)的典型業(yè)務場景介紹 / 143
7.1.2 房地產行業(yè)的典型數據應用 / 146
7.2 鞋服行業(yè)的數據應用方案 / 154
7.2.1 鞋服行業(yè)的典型業(yè)務場景介紹 / 154
7.2.2 鞋服品牌商普遍的數據資源困局 / 156
7.2.3 圍繞“店貨匹配”構建數據應用藍圖 / 157
7.3 乳制品行業(yè)的數據應用方案 / 162
7.3.1 乳制品行業(yè)的典型業(yè)務場景介紹 / 162
7.3.2 以“消費者深度運營”為目標建設乳制品行業(yè)
數據應用 / 163
7.4 新零售營銷的數據應用方案 / 166
7.4.1 新零售泛行業(yè)理解 / 166
7.4.2 新零售的典型數據應用 / 167
7.5 人力資源領域的數據應用方案 / 170
7.5.1 人力資源領域類業(yè)務場景 / 170
7.5.2 高潛力人員評估 / 172
7.5.3 人員離職預測 / 173
8 數據化組織規(guī)劃 / 175
8.1 數據化組織規(guī)劃的必要性 / 176
8.2 數據化組織的定位與職責 / 177
8.3 數據化組織的工作內容與邊界 / 179
8.4 數據化組織的崗位設置 / 181
8.5 數據化組織的人數配置、預算資金與考核建議 / 182
9 數據中臺與數據質量 / 184
9.1 數據質量的常見問題 / 185
9.2 數據模型規(guī)范提升數據質量 / 189
9.2.1 數據的定義 / 190
9.2.2 數據的分類 / 192
9.2.3 數據的顆粒度 / 194
9.2.4 數據的編碼 / 196
9.3 數據管理提升數據質量 / 198
9.3.1 數據管理組織 / 199
9.3.2 數據管理流程 / 200
9.4 數據共享提升數據質量 / 201
9.4.1 業(yè)務數據如何傳遞 / 201
9.4.2 基礎數據如何保持一致性 / 202
9.4.3 如何通過技術手段監(jiān)督多版本數據的一致性 / 203
9.5 清洗歷史數據提升數據質量 / 204
9.5.1 數據清洗的目的和策略 / 204
9.5.2 數據清洗的范圍和組織 / 205
9.5.3 數據清洗工具 / 206
9.6 主數據管理提升基礎數據質量 / 207
9.6.1 人員主數據管理 / 207
9.6.2 賬戶主數據管理 / 210
9.6.3 組織主數據管理 / 212
9.6.4 客商主數據管理 / 215
9.6.5 顧客主數據管理 / 219
9.6.6 產品主數據管理 / 223
9.6.7 項目主數據管理 / 227
9.6.8 資產主數據管理 / 231
9.6.9 物料主數據管理 / 233
10 數據中臺建設 / 235
10.1 數據中臺建設的特點 / 236
10.2 數據中臺建設的策略選擇 / 237
10.3 數據中臺建設的整體流程 / 239
10.4 數據中臺的建設風險及應對方法 / 245
10.4.1 數據中臺的定位問題 / 245
10.4.2 數據中臺的管理博弈 / 245
10.4.3 數據中臺的業(yè)務價值方向選擇 / 247
11 數據中臺的軟件支撐 / 248
11.1 平臺的整體架構 / 250
11.2 計算引擎 / 252
11.2.1 大數據離線計算引擎 / 253
11.2.2 大數據實時計算引擎 / 254
11.3 離線/流計算開發(fā)套件 / 256
11.3.1 數據同步模塊 / 257
11.3.2 數據開發(fā)平臺 / 259
11.3.3 運維中心 / 262
11.3.4 發(fā)布管理 / 264
11.4 實時計算開發(fā)套件 / 265
11.4.1 FlinkStreamSQL / 265
11.4.2 數據開發(fā) / 268
11.4.3 數據運維 / 270
11.4.4 實時采集 / 272
11.5 數據資產管理套件 / 275
11.5.1 數據地圖 / 275
11.5.2 數據模型規(guī)范管理 / 277
11.6 數據質量管理套件 / 277
11.7 數據科學平臺 / 279
11.7.1 算法數據資源管理 / 280
11.7.2 可視化實驗開發(fā) / 281
11.7.3 算法模型離線訓練 / 281
11.7.4 模型在線部署和調用 / 282
11.8 分析引擎 / 282
11.9 數據API引擎 / 283
11.9.1 數據API引擎的常用數據源 / 285
11.9.2 API發(fā)布 / 285
11.9.3 API管理與授權 / 285
11.9.4 API申請與調用 / 286
11.9.5 API測試 / 287
11.9.6 API安全 / 287
11.10 標簽引擎 / 288
11.10.1 實體管理 / 289
11.10.2 標簽中心 / 290
11.10.3 群組分析 / 291
11.10.4 標簽數據服務 / 291
11.11 數據應用規(guī)劃工具 / 292
11.11.1 業(yè)務架構梳理工具 / 293
11.11.2 數據應用規(guī)劃工具 / 293
11.11.3 指標與標簽體系管理工具 / 293
11.11.4 數據資源盤點工具 / 294
11.11.5 數據應用規(guī)劃看板 / 294