前 言
2020年年初,寫下本書扉頁的時候,我們正處在一個特殊的歷史背景下——新冠疫情在全球開始流行;而2023年年初,本書寫作與編輯工作基本結(jié)束的時候,我們已經(jīng)基本擺脫了新冠疫情的束縛。令人欣慰的是,我國GDP總量在2020年首次突破100萬億元,達到全年2.2%的經(jīng)濟增速。光鮮的GDP數(shù)據(jù)背后依靠的是數(shù)字經(jīng)濟(尤其在遠程辦公和數(shù)字抗疫方面)的高速發(fā)展。
大數(shù)據(jù)、區(qū)塊鏈、人工智能、云計算、物聯(lián)網(wǎng)等新一代信息技術(shù)正對人類社會的發(fā)展起著越來越重要的作用。從網(wǎng)絡(luò)熱搜也能看出這些新興技術(shù)的關(guān)注度:我們在谷歌上搜索“大數(shù)據(jù)”,大概可以得到8.62億條結(jié)果;搜索“區(qū)塊鏈”時,大概可以得到652萬條結(jié)果;搜索“數(shù)據(jù)共享”時,大概可以得到333萬條結(jié)果。
可以說,數(shù)據(jù)承載和記錄了人類社會從萌芽到信息爆炸時代的文明印記,從結(jié)繩記事時期到當前的大數(shù)據(jù)時代,都離不開數(shù)據(jù)的身影。數(shù)據(jù)在維基百科中被描述為“關(guān)于一個或多個人或物體的一組定性或定量變量”,人們在提到包羅萬象的數(shù)據(jù)時,為了充分體現(xiàn)其5V特性,即Volume(容量)、Velocity(速率)、Variety(多樣性)、Value(價值)、Veracity(真實性),往往會默認為“大數(shù)據(jù)”(Big Data)。
而區(qū)塊鏈具備一個傳奇故事的所有要素:神龍見首不見尾的作者,開創(chuàng)性的應(yīng)用,一石激起千層浪的社會反響。我們不知道,當神秘的作者中本聰敲下第一行區(qū)塊鏈代碼時,他是否能夠想象自己的代碼創(chuàng)造出了新奇的、充滿活力的新時代。現(xiàn)在提到區(qū)塊鏈,人們已逐步從虛擬貨幣轉(zhuǎn)化為關(guān)注技術(shù)本身。未來,區(qū)塊鏈締造的價值將與數(shù)據(jù)共生。2023年2月份,中共中央、國務(wù)院印發(fā)的《數(shù)字中國建設(shè)整體布局規(guī)劃》指出,建設(shè)數(shù)字中國是數(shù)字時代推進中國式現(xiàn)代化的重要引擎,是構(gòu)筑國家競爭新優(yōu)勢的有力支撐。加快數(shù)字中國建設(shè),對全面建設(shè)社會主義現(xiàn)代化國家、全面推進中華民族偉大復(fù)興具有重要意義和深遠影響。要強化數(shù)字中國關(guān)鍵能力,一是構(gòu)筑自立自強的數(shù)字技術(shù)創(chuàng)新體系,二是筑牢可信可控的數(shù)字安全屏障。區(qū)塊鏈與數(shù)據(jù)共享技術(shù),都是強化數(shù)字中國關(guān)鍵能力的有力支撐。
市面上區(qū)塊鏈相關(guān)書籍已經(jīng)很多,有科普性質(zhì)的,也有開發(fā)性質(zhì)的。本書的作者團隊有幸負責或參與研發(fā)了幾個與區(qū)塊鏈和隱私計算相關(guān)的數(shù)據(jù)共享系統(tǒng),也在聯(lián)邦學(xué)習(xí)、知識圖譜等領(lǐng)域進行了深入研究,這為本書的創(chuàng)作提供了很好的素材和知識、經(jīng)驗方面的積累。與其他區(qū)塊鏈書籍相比,本書既有區(qū)塊鏈與數(shù)據(jù)共享方面的理論介紹,也有實驗方法、應(yīng)用系統(tǒng)架構(gòu)和實踐方面的經(jīng)驗分享,在強調(diào)理論的同時注重實踐和應(yīng)用。
本書的第1、2章為概述,主要介紹數(shù)據(jù)和數(shù)據(jù)共享的相關(guān)背景;第3、4章側(cè)重基礎(chǔ)理論,分別介紹與數(shù)據(jù)共享相關(guān)的區(qū)塊鏈和隱私保護技術(shù);第5章側(cè)重工程實現(xiàn),剖析了數(shù)據(jù)共享平臺SOLAR的架構(gòu)設(shè)計與關(guān)鍵代碼;第6~9章側(cè)重行業(yè)應(yīng)用實踐,分別介紹通用意義的數(shù)據(jù)交易平臺、醫(yī)療數(shù)據(jù)共享,并拓展到知識與數(shù)據(jù)共建共享,分析其架構(gòu)設(shè)計以及區(qū)塊鏈和隱私計算技術(shù)的應(yīng)用;第10章對未來的應(yīng)用進行展望。
本書在撰寫過程中,除了署名的閭海榮、鐘軍、鄭靈、李艷,參與編寫人員還包括周容辰、許瑞坤、石順中、沈運恒、陶焜等,也得到了非常多師長、同事和朋友的幫助。感謝清華大學(xué)數(shù)基生命創(chuàng)新群體首席科學(xué)家張學(xué)工教授,給我寬松的研究環(huán)境、學(xué)術(shù)指導(dǎo),并在多個醫(yī)工交叉方向國家重點研發(fā)計劃項目中應(yīng)用了我們的研究成果,也感謝清華大學(xué)江瑞教授在學(xué)術(shù)研究方面持續(xù)的幫助和支持;感謝深時數(shù)字地球國際大科學(xué)計劃的首席科學(xué)家王成善院士和周成虎院士的指導(dǎo),以及孫旭東、諸云強、杜震洪、羅斌等博士的支持,本書在知識與數(shù)據(jù)共建共享章節(jié)中參考了團隊的部分設(shè)計成果;感謝翼方健數(shù)的羅震博士、霍尼科的唐建鋒博士和福建省大數(shù)據(jù)集團的徐曉清女士,授權(quán)我引用其設(shè)計案例;感謝福州數(shù)據(jù)技術(shù)研究院的陳陽紅、李藝暉等,以及清華大學(xué)的研究生王天亨、王豐等,協(xié)助我進行了大量校稿和圖片設(shè)計工作;感謝福州數(shù)據(jù)技術(shù)研究院的服務(wù)團隊,給我提供了良好的寫作環(huán)境;感謝本書的編輯章海濤先生,在我一再拖稿的情況下,對我保持了足夠的耐心,并給予了鼓勵;最后,由衷地感謝我的父母,以及我的妻子和女兒,他們對我毫無保留的支持,讓我得以從工業(yè)界回到學(xué)術(shù)界,做自己喜歡的工作。
本書的撰寫得到了國家自然科學(xué)基金會“原創(chuàng)探索計劃”項目NSFC42050101、國家重點研發(fā)計劃“生物與信息融合”項目2022YFF1202403、國家自然科學(xué)基金會“生物信息學(xué)創(chuàng)新群體”項目NSFC61721003,以及福建省引才“百人計劃”項目的支持,在此一并表示感謝。
需要說明的是,本書是一本面向工程應(yīng)用實踐教學(xué)的教科書或參考讀物,書中對區(qū)塊鏈技術(shù)和隱私保護技術(shù)的核心理論進行了介紹,對技術(shù)細節(jié)并未大篇幅展開介紹,需要對這兩部分深入了解的同學(xué),可以閱讀相關(guān)專業(yè)書籍或相關(guān)論文。此外,本書寫作過程中參詳了大量的團隊和項目組內(nèi)部溝通交流材料,我們進行了溯源以追蹤到原始材料的出處,盡可能詳細羅列了參考文獻并標注了引用,但仍有可能有遺漏或錯誤之處,歡迎各位讀者提出建議、反饋和指正。
作 者
2023年3月
目錄
第1章引論1
1.1數(shù)據(jù)的前世今生1
1.1.1樸素的記錄時代1
1.1.2數(shù)字經(jīng)濟時代2
1.1.3數(shù)字孿生時代3
1.2共享是怎么發(fā)展的4
1.2.1共享——古老的美德4
1.2.2數(shù)據(jù)孤島7
1.2.3共享經(jīng)濟8
1.3當數(shù)據(jù)成為生產(chǎn)要素10
1.4數(shù)據(jù)遇上共享,我們能做什么12
本章小結(jié)13
習(xí)題113
參考文獻13
第2章數(shù)據(jù)共享的現(xiàn)狀15
2.1政策因素15
2.1.1支持政策15
2.1.2約束政策17
2.2困難和挑戰(zhàn)18
2.2.1數(shù)據(jù)權(quán)問題18
2.2.2隱私保護問題21
2.2.3價值流動閉環(huán)問題23
本章小結(jié)26
習(xí)題227
參考文獻27
第3章區(qū)塊鏈與數(shù)據(jù)共享技術(shù)29
3.1區(qū)塊鏈背景介紹29
3.1.1區(qū)塊鏈的概念29
3.1.2區(qū)塊鏈的發(fā)展歷程32
3.1.3區(qū)塊鏈抽象模型34
3.1.4區(qū)塊鏈分類39
3.2區(qū)塊鏈的技術(shù)架構(gòu)43
3.2.1數(shù)據(jù)層43
3.2.2網(wǎng)絡(luò)層48
3.2.3共識層50
3.2.4激勵層54
3.2.5合約層55
3.2.6應(yīng)用層56
3.3區(qū)塊鏈技術(shù)的拓展57
3.3.1應(yīng)用拓展57
3.3.2性能拓展58
3.3.3跨鏈兼容62
3.4區(qū)塊鏈的經(jīng)典框架63
3.4.1以太坊63
3.4.2HyperledgerFabric66
3.4.3EOS73
3.4.4IOTA74
3.4.5Filecoin75
3.4.6BAFFLE78
3.5基于區(qū)塊鏈的數(shù)據(jù)共享技術(shù)78
3.5.1區(qū)塊鏈自身難適應(yīng)數(shù)據(jù)共享場景79
3.5.2區(qū)塊鏈實現(xiàn)數(shù)據(jù)共享安全性優(yōu)化79
本章小結(jié)80
習(xí)題380
參考文獻81
第4章隱私保護與數(shù)據(jù)共享技術(shù)83
4.1隱私保護簡介83
4.1.1隱私概念和數(shù)據(jù)匿名84
4.1.2隱私衡量方法86
4.1.3隱私保護的關(guān)鍵技術(shù)88
4.1.4數(shù)據(jù)發(fā)布隱私保護89
4.1.5數(shù)據(jù)存儲隱私保護90
4.1.6數(shù)據(jù)分析隱私保護93
4.1.7比特幣和區(qū)塊鏈的隱私保護94
4.2零知識證明100
4.2.1零知識證明的基本原理100
4.2.2交互式零知識證明102
4.2.3非交互式零知識證明103
4.3同態(tài)計算105
4.3.1同態(tài)加密的定義、安全性和簡單實例105
4.3.2同態(tài)加密的主要類型106
4.4安全多方計算108
4.4.1安全多方計算的基本概念和數(shù)學(xué)模型108
4.4.2安全多方計算的應(yīng)用場景與案例介紹110
4.4.3混淆電路110
4.4.4不經(jīng)意傳輸112
4.4.5秘密共享113
4.5聯(lián)邦學(xué)習(xí)114
4.5.1聯(lián)邦學(xué)習(xí)概述115
4.5.2聯(lián)邦學(xué)習(xí)的擴展和性能提升116
4.5.3聯(lián)邦學(xué)習(xí)的應(yīng)用119
4.5.4聯(lián)邦學(xué)習(xí)中的隱私保護解決方案119
4.5.5基于差分隱私的隱私保護120
4.5.6基于安全多方計算的隱私保護121
4.6隱私保護的其他技術(shù)122
4.6.1基于屬性加密122
4.6.2可搜索加密124
4.6.3代理重加密125
本章小結(jié)128
習(xí)題4129
參考文獻129
第5章數(shù)據(jù)共享系統(tǒng)解析與實現(xiàn)133
5.1數(shù)據(jù)共享簡介133
5.1.1數(shù)據(jù)及數(shù)據(jù)產(chǎn)品定義133
5.1.2傳統(tǒng)數(shù)據(jù)共享模式134
5.1.3數(shù)據(jù)共享趨勢與問題135
5.2可信數(shù)據(jù)共享135
5.2.1可信數(shù)據(jù)共享模式136
5.2.2數(shù)據(jù)共享技術(shù)實現(xiàn)方案136
5.3SOLAR數(shù)據(jù)共享平臺設(shè)計139
5.3.1SOLAR平臺的功能140
5.3.2SOLAR平臺的架構(gòu)141
5.3.3SOLAR平臺的技術(shù)選型143
5.3.4SOLAR平臺的遠程調(diào)用145
5.3.5中心端功能設(shè)計146
5.3.6邊緣端功能設(shè)計149
5.4數(shù)據(jù)共享應(yīng)用系統(tǒng)開發(fā)151
5.4.1區(qū)塊鏈智能管理模塊152
5.4.2聯(lián)邦學(xué)習(xí)模塊159
5.4.3邊緣計算模塊165
5.4.4業(yè)務(wù)邏輯管理模塊169
本章小結(jié)177
習(xí)題5177
參考文獻177
第6章數(shù)據(jù)交易平臺178
6.1交易平臺發(fā)展現(xiàn)狀178
6.1.1國際數(shù)據(jù)交易平臺179
6.1.2政府主導(dǎo)的國內(nèi)數(shù)據(jù)交易平臺180
6.1.3企業(yè)主導(dǎo)的國內(nèi)數(shù)據(jù)交易平臺185
6.2數(shù)據(jù)交易平臺的挑戰(zhàn)188
6.2.1數(shù)據(jù)產(chǎn)品交易特點188
6.2.2交易平臺設(shè)計的挑戰(zhàn)189
6.3數(shù)據(jù)分類分級方法192
6.3.1分類原則192
6.3.2分類方法193
6.3.3分級原則194
6.3.4分級方法194
6.3.5數(shù)據(jù)資源共享和開放要求196
6.3.6動態(tài)分類分級197
6.3.7數(shù)據(jù)資產(chǎn)交易產(chǎn)品類型197
6.4數(shù)據(jù)定價策略及實例198
6.4.1數(shù)據(jù)定價策略198
6.4.2數(shù)據(jù)定價模型198
6.4.3數(shù)據(jù)價值指數(shù)200
6.4.4數(shù)據(jù)定價方法優(yōu)化201
6.4.5數(shù)據(jù)定價實踐案例202
6.5交易平臺架構(gòu)設(shè)計203
6.5.1設(shè)計思路203
6.5.2模式變革205
6.5.3功能架構(gòu)207
6.5.4業(yè)務(wù)架構(gòu)209
6.5.5技術(shù)架構(gòu)210
6.5.6數(shù)據(jù)架構(gòu)211
6.5.7安全架構(gòu)212
6.6挑戰(zhàn)的應(yīng)對措施213
6.6.1確權(quán)及合規(guī)性挑戰(zhàn)應(yīng)對:基于數(shù)據(jù)公證的合規(guī)認證體系213
6.6.2安全性挑戰(zhàn)應(yīng)對:三流分離的業(yè)務(wù)模式213
6.6.3價值不確定性挑戰(zhàn)應(yīng)對:數(shù)據(jù)試驗融合215
6.6.4安全監(jiān)管挑戰(zhàn)應(yīng)對:子母訂單審核機制216
6.6.5價值評估挑戰(zhàn)應(yīng)對:多維度輔助定價216
6.6.6隱私保護挑戰(zhàn)應(yīng)對:隱私計算與統(tǒng)一隱私計算217
6.6.7安全監(jiān)管挑戰(zhàn)應(yīng)對:全流程鏈上存證監(jiān)管218
本章小結(jié)219
習(xí)題6219
參考文獻219
第7章醫(yī)療數(shù)據(jù)共享221
7.1醫(yī)療數(shù)據(jù)的特點與相關(guān)概念221
7.1.1醫(yī)療數(shù)據(jù)221
7.1.2通用數(shù)據(jù)模型223
7.1.3標準化術(shù)語集225
7.1.4隊列227
7.1.5從數(shù)據(jù)到證據(jù)230
7.1.6證據(jù)與數(shù)據(jù)質(zhì)量231
7.2醫(yī)療數(shù)據(jù)共享的現(xiàn)狀及挑戰(zhàn)232
7.2.1醫(yī)院內(nèi)部數(shù)據(jù)共享現(xiàn)狀232
7.2.2多中心數(shù)據(jù)協(xié)同現(xiàn)狀234
7.2.3醫(yī)療數(shù)據(jù)共享協(xié)作挑戰(zhàn)234
7.3醫(yī)療數(shù)據(jù)共享平臺的架構(gòu)設(shè)計235
7.3.1業(yè)務(wù)架構(gòu)235
7.3.2業(yè)務(wù)流程分析235
7.3.3數(shù)據(jù)流設(shè)計236
7.3.4智能化設(shè)計236
7.4醫(yī)療數(shù)據(jù)共享平臺的技術(shù)支撐239
7.4.1動態(tài)數(shù)據(jù)架構(gòu)應(yīng)用239
7.4.2隱私安全計算應(yīng)用240
7.4.3區(qū)塊鏈技術(shù)應(yīng)用241
7.4.4多中心靈活部署241
7.4.5全流程數(shù)據(jù)管理技術(shù)242
7.4.6激勵機制應(yīng)用243
本章小結(jié)243
習(xí)題7244
參考文獻244
第8章知識與數(shù)據(jù)共建共享245
8.1科研范式變革245
8.2知識圖譜聯(lián)邦構(gòu)建算法248
8.2.1知識圖譜248
8.2.2聯(lián)邦學(xué)習(xí)補充介紹249
8.2.3聯(lián)邦聯(lián)合抽取模型251
8.3知識共建共享平臺258
8.3.1知識共建共享平臺總體設(shè)計258
8.3.2知識圖譜共建共享機制263
8.3.3區(qū)塊鏈及隱私計算技術(shù)應(yīng)用265
8.4數(shù)據(jù)共建共享系統(tǒng)265
本章小結(jié)267
習(xí)題8267
參考文獻268
第9章其他行業(yè)應(yīng)用案例269
9.1供應(yīng)鏈應(yīng)用269
9.1.1場景和需求269
9.1.2區(qū)塊鏈多方協(xié)調(diào)270
9.2版權(quán)溯源與原創(chuàng)性保護應(yīng)用272
9.2.1場景和需求272
9.2.2區(qū)塊鏈迅捷存證273
9.3房屋租賃應(yīng)用277
9.4云存儲應(yīng)用279
9.5區(qū)塊鏈分布式共享應(yīng)用279
本章小結(jié)280
習(xí)題9280
參考文獻280
第10章展望282