大數(shù)據(jù)治理是傳統(tǒng)信息治理的延續(xù)和擴(kuò)展，其涉及的內(nèi)容非常廣泛。大數(shù)據(jù)治理確保以正確的方式對(duì)數(shù)據(jù)和信息進(jìn)行管理，為大數(shù)據(jù)的有效應(yīng)用保駕護(hù)航，使得數(shù)據(jù)成為一個(gè)有機(jī)整體而不是各自為政。大數(shù)據(jù)治理所需的技術(shù)支撐需要涵蓋大數(shù)據(jù)管理、存儲(chǔ)、質(zhì)量、共享與開放、安全與隱私保護(hù)等多個(gè)方面。本書首先對(duì)大數(shù)據(jù)治理的背景和基本概念進(jìn)行簡(jiǎn)要介紹，嘗試為讀者提供對(duì)大數(shù)據(jù)治理的基礎(chǔ)認(rèn)識(shí)；然后從政策、管理和技術(shù)等多個(gè)方面對(duì)大數(shù)據(jù)治理相關(guān)的概念和方法加以介紹，對(duì)數(shù)據(jù)架構(gòu)管理、元數(shù)據(jù)管理、主數(shù)據(jù)管理、大數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)的標(biāo)準(zhǔn)化、數(shù)據(jù)資產(chǎn)化、數(shù)據(jù)安全與隱私保護(hù)等進(jìn)行深入探討，以期為讀者提供一個(gè)比較全面的大數(shù)據(jù)治理的場(chǎng)景。本書適合作為高等院校“數(shù)據(jù)科學(xué)與大數(shù)據(jù)”專業(yè)的本科生、研究生的教材，也可供大數(shù)據(jù)領(lǐng)域的從業(yè)人員閱讀，還可為對(duì)大數(shù)據(jù)治理感興趣的廣大讀者提供參考。
王宏志 哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授、博士生導(dǎo)師，英才學(xué)院副院長(zhǎng)，美國加州大學(xué)歐文分校博士后,微軟亞洲研究院鑄星計(jì)劃訪問學(xué)者，青年龍江學(xué)者。其研究方向?yàn)榇髷?shù)據(jù)管理與分析、數(shù)據(jù)庫系統(tǒng)、工業(yè)大數(shù)據(jù)等。在VLDB, SIGMOD等國內(nèi)外重要會(huì)議和期刊發(fā)表學(xué)術(shù)論文200余篇，出版學(xué)術(shù)專著三本,其論文被SCI收錄80余次，他引1800余次，授權(quán)發(fā)明專利22項(xiàng)。獲得微軟學(xué)者、中國優(yōu)秀數(shù)據(jù)庫工程師、IBM博士英才等稱號(hào)，獲得黑龍江省自然科學(xué)一等獎(jiǎng)和教育部高等學(xué)�？萍歼M(jìn)步一等獎(jiǎng)各一項(xiàng)，獲黑龍江省青年科技獎(jiǎng)、寶鋼優(yōu)秀教師獎(jiǎng)、CSC-IBM獎(jiǎng)教金。先后主持國家自然科學(xué)基金重點(diǎn)項(xiàng)目、國家支撐計(jì)劃課題、國家博士后特別資助等10余個(gè)項(xiàng)目。其主講的MOOC課程“大數(shù)據(jù)算法”獲批第一批全國精品在線開放課程。中國計(jì)算機(jī)學(xué)會(huì)杰出會(huì)員，中國計(jì)算機(jī)學(xué)會(huì)哈爾濱分部主席、ACM SIGMOD中國秘書長(zhǎng)、教育部高等學(xué)校計(jì)算機(jī)類專業(yè)教學(xué)指導(dǎo)委員會(huì)計(jì)算機(jī)系統(tǒng)專家委員會(huì)委員、中國數(shù)據(jù)庫專業(yè)委員會(huì)常務(wù)委員、黑龍江省數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)委員會(huì)副主任委員、中國大數(shù)據(jù)專家委員會(huì)委員、哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部校友會(huì)秘書長(zhǎng)、ACM數(shù)據(jù)科學(xué)學(xué)科標(biāo)準(zhǔn)編寫組專家、黑龍江省“頭雁團(tuán)隊(duì)”成員。
第1 章 大數(shù)據(jù)治理的背景和基本概念………………………………………………… 1
1. 1 大數(shù)據(jù)治理的定義………………………………………………………… 2
1. 2 大數(shù)據(jù)治理的應(yīng)用………………………………………………………… 3
1. 2. 1 大數(shù)據(jù)治理的任務(wù)…………………………………………………… 3
1. 2. 2 數(shù)據(jù)治理與數(shù)據(jù)管理的區(qū)別…………………………………………… 4
1. 2. 3 大數(shù)據(jù)治理的典型案例……………………………………………… 4
1. 3 大數(shù)據(jù)治理的挑戰(zhàn)………………………………………………………… 7
1. 3. 1 大數(shù)據(jù)的發(fā)展和現(xiàn)狀………………………………………………… 7
1. 3. 2 當(dāng)下面臨的挑戰(zhàn)……………………………………………………… 8
1. 4 本書的主要內(nèi)容…………………………………………………………… 9
第2 章 數(shù)據(jù)架構(gòu)管理……………………………………………………………… 11
2. 1 數(shù)據(jù)架構(gòu)概述…………………………………………………………… 12
2. 2 IBM 數(shù)據(jù)架構(gòu)參考模型………………………………………………… 13
2. 2. 1 邏輯層……………………………………………………………… 14
2. 2. 2 垂直層……………………………………………………………… 16
2. 3 企業(yè)數(shù)據(jù)架構(gòu)參考模型………………………………………………… 17
2. 4 CESI 大數(shù)據(jù)參考架構(gòu)模型……………………………………………… 18
2. 5 大數(shù)據(jù)技術(shù)參考架構(gòu)…………………………………………………… 19
2. 6 數(shù)據(jù)湖(Data Lake) …………………………………………………… 20
2. 7 面向大數(shù)據(jù)的數(shù)據(jù)架構(gòu)實(shí)現(xiàn)…………………………………………… 21
2. 7. 1 Hadoop ……………………………………………………………… 21
2. 7. 2 Storm ……………………………………………………………… 23
2. 7. 3 Spark ……………………………………………………………… 24
2. 7. 4 三種架構(gòu)的比較分析………………………………………………… 25
2. 8 數(shù)據(jù)架構(gòu)設(shè)計(jì)原則……………………………………………………… 25
第3 章 元數(shù)據(jù)管理………………………………………………………………… 27
3. 1 元數(shù)據(jù)概述……………………………………………………………… 28
3. 1. 1 定義………………………………………………………………… 28
3. 1. 2 組織方式…………………………………………………………… 29
3. 1. 3 作用和意義………………………………………………………… 31
3. 2 業(yè)務(wù)元數(shù)據(jù)……………………………………………………………… 32
3. 2. 1 意義………………………………………………………………… 32
3. 2. 2 概念………………………………………………………………… 33
3. 2. 3 實(shí)踐要點(diǎn)…………………………………………………………… 34
3. 3 技術(shù)元數(shù)據(jù)……………………………………………………………… 34
3. 3. 1 意義………………………………………………………………… 34
3. 3. 2 概念………………………………………………………………… 35
3. 3. 3 實(shí)踐要點(diǎn)…………………………………………………………… 36
3. 4 元數(shù)據(jù)管理……………………………………………………………… 36
3. 4. 1 元數(shù)據(jù)管理方案…………………………………………………… 37
3. 4. 2 元數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范………………………………………………… 39
3. 4. 3 元數(shù)據(jù)管理的成熟度………………………………………………… 40
第4 章 主數(shù)據(jù)管理………………………………………………………………… 42
4. 1 概述……………………………………………………………………… 43
4. 1. 1 主數(shù)據(jù)的概念……………………………………………………… 43
4. 1. 2 主數(shù)據(jù)的類型……………………………………………………… 44
4. 1. 3 主數(shù)據(jù)管理的基本思路……………………………………………… 44
4. 2 主數(shù)據(jù)管理系統(tǒng)………………………………………………………… 45
4. 2. 1 主數(shù)據(jù)管理的架構(gòu)設(shè)計(jì)……………………………………………… 46
4. 2. 2 主數(shù)據(jù)管理的核心功能……………………………………………… 50
4. 2. 3 主數(shù)據(jù)管理的實(shí)現(xiàn)風(fēng)格……………………………………………… 50
4. 3 主數(shù)據(jù)管理的成熟度…………………………………………………… 52
第5 章 大數(shù)據(jù)集成………………………………………………………………… 56
5. 1 數(shù)據(jù)集成的基本概念…………………………………………………… 57
5. 1. 1 數(shù)據(jù)集成的定義…………………………………………………… 57
5. 1. 2 數(shù)據(jù)集成的分類…………………………………………………… 58
5. 1. 3 數(shù)據(jù)集成的難點(diǎn)…………………………………………………… 59
5. 2 傳統(tǒng)數(shù)據(jù)集成…………………………………………………………… 60
5. 2. 1 聯(lián)邦數(shù)據(jù)庫系統(tǒng)…………………………………………………… 61
5. 2. 2 中間件集成………………………………………………………… 62
5. 2. 3 數(shù)據(jù)倉庫…………………………………………………………… 63
5. 3 傳統(tǒng)數(shù)據(jù)集成的關(guān)鍵技術(shù)……………………………………………… 65
5. 3. 1 模式匹配…………………………………………………………… 65
5. 3. 2 數(shù)據(jù)映射…………………………………………………………… 66
5. 4 跨界數(shù)據(jù)集成…………………………………………………………… 67
5. 4. 1 基于階段的集成…………………………………………………… 67
5. 4. 2 基于特征的集成…………………………………………………… 68
5. 4. 3 基于語義的集成…………………………………………………… 68
第6 章 數(shù)據(jù)質(zhì)量管理……………………………………………………………… 71
6. 1 概述……………………………………………………………………… 72
6. 1. 1 數(shù)據(jù)質(zhì)量定義……………………………………………………… 72
6. 1. 2 數(shù)據(jù)質(zhì)量問題……………………………………………………… 74
6. 2 缺失值填充……………………………………………………………… 76
6. 2. 1 什么是缺失值……………………………………………………… 76
6. 2. 2 缺失值處理方法…………………………………………………… 77
6. 2. 3 缺失值處理例析…………………………………………………… 79
6. 3 實(shí)體識(shí)別與真值發(fā)現(xiàn)…………………………………………………… 81
6. 3. 1 什么是實(shí)體識(shí)別…………………………………………………… 81
6. 3. 2 基于規(guī)則的實(shí)體識(shí)別方法…………………………………………… 81
6. 3. 3 什么是真值發(fā)現(xiàn)…………………………………………………… 84
6. 3. 4 真值發(fā)現(xiàn)方法……………………………………………………… 85
6. 5 錯(cuò)誤檢測(cè)與修復(fù)………………………………………………………… 85
6. 5. 1 格式內(nèi)容清洗……………………………………………………… 85
6. 5. 2 邏輯錯(cuò)誤清洗……………………………………………………… 86
6. 5. 3 非需求數(shù)據(jù)清洗…………………………………………………… 87
6. 6 面向大數(shù)據(jù)的數(shù)據(jù)清洗………………………………………………… 87
6. 6. 1 大數(shù)據(jù)清洗的探索………………………………………………… 87
6. 6. 2 時(shí)間序列錯(cuò)誤清洗………………………………………………… 88
6. 6. 3 基于眾包的數(shù)據(jù)清洗………………………………………………… 90
第7 章 數(shù)據(jù)標(biāo)準(zhǔn)化………………………………………………………………… 92
7. 1 數(shù)據(jù)標(biāo)準(zhǔn)化概述………………………………………………………… 93
7. 1. 1 數(shù)據(jù)標(biāo)準(zhǔn)…………………………………………………………… 93
7. 1. 2 數(shù)據(jù)標(biāo)準(zhǔn)管理……………………………………………………… 94
7. 1. 3 企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化…………………………………………………… 95
7. 2 數(shù)據(jù)標(biāo)準(zhǔn)化例析………………………………………………………… 95
7. 2. 1 工業(yè)大數(shù)據(jù)………………………………………………………… 95
7. 2. 2 信息技術(shù)元數(shù)據(jù)注冊(cè)系統(tǒng)…………………………………………… 97
第8 章 數(shù)據(jù)資產(chǎn)化………………………………………………………………… 98
8. 1 數(shù)據(jù)資產(chǎn)管理概述……………………………………………………… 99
8. 1. 1 數(shù)據(jù)資產(chǎn)…………………………………………………………… 99
8. 1. 2 數(shù)據(jù)資產(chǎn)管理……………………………………………………… 100
8. 2 數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)與評(píng)估…………………………………………………… 101
8. 2. 1 數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)……………………………………………………… 101
8. 2. 2 數(shù)據(jù)資產(chǎn)評(píng)估……………………………………………………… 102
8. 3 數(shù)據(jù)交易與數(shù)據(jù)定價(jià)…………………………………………………… 103
8. 3. 1 數(shù)據(jù)交易………………………………………………………… 103
8. 3. 2 數(shù)據(jù)定價(jià)………………………………………………………… 106
8. 4 拓展: 大數(shù)據(jù)拍賣模型………………………………………………… 107
8. 4. 1 問題背景………………………………………………………… 107
8. 4. 2 基本拍賣模型……………………………………………………… 107
8. 4. 3 擴(kuò)展的Vickrey 拍賣模型…………………………………………… 108
8. 4. 4 擴(kuò)展的序貫拍賣模型……………………………………………… 111
第9 章 數(shù)據(jù)安全與隱私保護(hù)………………………………………………… 114
9. 1 概述……………………………………………………………………… 115
9. 1. 1 基本概念………………………………………………………… 115
9. 1. 2 數(shù)據(jù)安全與數(shù)據(jù)管理生命周期……………………………………… 116
9. 2 數(shù)據(jù)安全存儲(chǔ)、傳輸與訪問…………………………………………… 117
9. 2. 1 加密存儲(chǔ)和傳輸…………………………………………………… 117
9. 2. 2 訪問控制………………………………………………………… 120
9. 3 數(shù)據(jù)安全檢索與處理…………………………………………………… 121
9. 3. 1 安全檢索………………………………………………………… 121
9. 3. 2 安全處理………………………………………………………… 124
9. 4 隱私保護(hù)………………………………………………………………… 125
9. 4. 1 基本概念………………………………………………………… 125
9. 4. 2 數(shù)據(jù)脫敏………………………………………………………… 127
9. 4. 3 k-匿名…………………………………………………………… 128
9. 2. 4 差分隱私………………………………………………………… 130
書單推薦
