如何在保證本地訓(xùn)練數(shù)據(jù)不公開的前提下,實現(xiàn)多個數(shù)據(jù)擁有者協(xié)同訓(xùn)練一個共享的機(jī)器學(xué)習(xí)模型?傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要將所有的數(shù)據(jù)集中到一個地方(例如,數(shù)據(jù)中心),然后進(jìn)行機(jī)器學(xué)習(xí)模型的訓(xùn)練。但這種基于集中數(shù)據(jù)的做法無疑會嚴(yán)重侵害用戶隱私和數(shù)據(jù)安全。如今,世界上越來越多的人開始強(qiáng)烈要求科技公司必須根據(jù)用戶隱私法律法規(guī)妥善地處理用戶的數(shù)據(jù),歐盟的《通用數(shù)據(jù)保護(hù)條例》是一個很好的例子。在本書中,我們將描述聯(lián)邦學(xué)習(xí)(亦稱聯(lián)邦機(jī)器學(xué)習(xí))如何將分布式機(jī)器學(xué)習(xí)、密碼學(xué)、基于金融規(guī)則的激勵機(jī)制和博弈論結(jié)合起來,以解決分散數(shù)據(jù)的使用問題。我們會介紹不同種類的面向隱私保護(hù)的機(jī)器學(xué)習(xí)解決方案以及技術(shù)背景,并描述一些典型的實際問題解決案例。我們還會進(jìn)一步論述聯(lián)邦學(xué)習(xí)將成為下一代機(jī)器學(xué)習(xí)的基礎(chǔ),可以滿足技術(shù)和社會需求并促進(jìn)面向安全的人工智能的開發(fā)和應(yīng)用。
楊強(qiáng)教授是微眾銀行的首席人工智能官(CAIO)和香港科技大學(xué)(HKUST)計算機(jī)科學(xué)與工程系講席教授。他是香港科技大學(xué)計算機(jī)科學(xué)與工程系的前任系主任,并曾擔(dān)任大數(shù)據(jù)研究院的創(chuàng)始主任(2015-2018年)。他的研究興趣包括人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘,特別是遷移學(xué)習(xí)、自動規(guī)劃、聯(lián)邦學(xué)習(xí)和基于案例的推理。他是多個國際協(xié)會的會員,包括ACM、AAAI、IEEE、IAPR 和AAAS。他于1982 年獲得北京大學(xué)天體物理學(xué)學(xué)士學(xué)位,分別于1987 年和1989 年獲得馬里蘭大學(xué)帕克分校計算機(jī)科學(xué)系碩士學(xué)位和博士學(xué)位。他曾在在滑鐵盧大學(xué)(1989-1995年)和西蒙弗雷澤大學(xué)(1995-2001 年)擔(dān)任教授。他是ACM TIST 和IEEE TBD 的創(chuàng)始主編。他是人工智能國際聯(lián)合會議(IJCAI)的理事長(2017-2019 年)和人工智能發(fā)展協(xié)會(AAAI)的執(zhí)行委員會成員(2016-2020年)。楊強(qiáng)教授曾獲多個獎項,包括2004/2005 ACM KDDCUP 冠軍、ACMSIGKDD 卓越服務(wù)獎(2017)、AAAI 創(chuàng)新人工智能應(yīng)用獎(2016)和吳文俊人工智能杰出貢獻(xiàn)獎(2019)。他是華為諾亞方舟實驗室的創(chuàng)始主任(2012-2014 年)和第四范式(AI 平臺公司)的共同創(chuàng)始人。他是《IntelligentPlanning》(Springer)、《Crafting Your Research Future》(Morgan Claypool)與《Constraint-based Design Recovery for Software Engineering》(Springer)等著作的作者。
楊強(qiáng)楊強(qiáng)教授是微眾銀行的首席人工智能官(CAIO)和香港科技大學(xué)(HKUST)計算機(jī)科學(xué)與工程系講席教授。他是香港科技大學(xué)計算機(jī)科學(xué)與工程系的前任系主任,并曾擔(dān)任大數(shù)據(jù)研究院的創(chuàng)始主任(2015-2018 年)。他的研究興趣包括人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘,特別是遷移學(xué)習(xí)、自動規(guī)劃、聯(lián)邦學(xué)習(xí)和基于案例的推理。他是多個國際協(xié)會的會士(Fellow),包括ACM、AAAI、IEEE、IAPR 和AAAS。他于1982 年獲得北京大學(xué)天體物理學(xué)學(xué)士學(xué)位,分別于1987年和1989 年獲得馬里蘭大學(xué)帕克分校計算機(jī)科學(xué)系碩士學(xué)位和博士學(xué)位。他曾在在滑鐵盧大學(xué)(1989-1995 年)和西蒙弗雷澤大學(xué)(1995-2001 年)擔(dān)任教授。他是ACM TIST 和IEEE TBD 的創(chuàng)始主編。他是國際人工智能聯(lián)合會議(IJCAI)的理事長(2017-2019 年)和人工智能發(fā)展協(xié)會(AAAI)的執(zhí)行委員會成員(2016-2020 年)。楊強(qiáng)教授曾獲多個獎項,包括2004/2005 ACM KDDCUP 冠軍、ACM SIGKDD 卓越服務(wù)獎(2017)、AAAI 創(chuàng)新人工智能應(yīng)用獎(2018, 2020)和吳文俊人工智能杰出貢獻(xiàn)獎(2019)。他是華為諾亞方舟實驗室的創(chuàng)始主任(2012-2014 年)和第四范式(AI 平臺公司)的共同創(chuàng)始人。他是Intelligent Planning (Springer)、Crafting Your Research Future (Morgan & Claypool)、Transfer Learning (Cambridge University Press)與Constraint-based Design Recovery for Software Engineering (Springer)等著作的作者。劉洋劉洋是微眾銀行AI 項目組的高級研究員。她的研究興趣包括機(jī)器學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)、多智能體系統(tǒng)、統(tǒng)計力學(xué),以及這些技術(shù)的產(chǎn)業(yè)應(yīng)用。她于2012 年獲得普林斯頓大學(xué)博士學(xué)位,2007 年獲得清華大學(xué)學(xué)士學(xué)位。她擁有多項國際發(fā)明專利,研究成果曾發(fā)表于Nature、IJCAI 和ACM TIST 等科研刊物和會議上。她曾獲AAAI 人工智能創(chuàng)新應(yīng)用獎、IJCAI 創(chuàng)新應(yīng)用獎等多個獎項,并擔(dān)任IJCAI 高級程序委員會委員,NeurIPS 等多個人工智能會議研討會聯(lián)合主席,以及IEEE Intelligent Systems 期刊客座編委等。程勇程勇是微眾銀行AI 項目組的高級研究員。他曾任華為技術(shù)有限公司(深圳)高級工程師和德國貝爾實驗室高級研究員,也曾在華為-香港科技大學(xué)創(chuàng)新實驗室擔(dān)任研究員。他的研究興趣和專長主要包括聯(lián)邦學(xué)習(xí)、深度學(xué)習(xí)、計算機(jī)視覺和OCR、數(shù)學(xué)優(yōu)化理論和算法、分布式和網(wǎng)絡(luò)計算以及混合整數(shù)規(guī)劃。他發(fā)表期刊和會議論文20 余篇。他于2006 年、2010 年、2013 年分別在浙江大學(xué)、香港科技大學(xué)、德國達(dá)姆施塔特工業(yè)大學(xué)獲工學(xué)學(xué)士學(xué)位(一等榮譽(yù))、碩士學(xué)位和博士學(xué)位。他于2014 年獲達(dá)姆施塔特工業(yè)大學(xué)最佳博士論文獎,于2006 年獲浙江大學(xué)最佳學(xué)士論文獎。他在ICASSP’15 會議上做了關(guān)于“混合整數(shù)規(guī)劃”的教程。他是IJCAI’19 和NIPS’19 等國際會議的程序委員會委員。康焱康焱是微眾銀行AI 項目組的高級研究員。他的工作重點(diǎn)是面向隱私保護(hù)的機(jī)器學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)技術(shù)的研究和實現(xiàn)。他在馬里蘭大學(xué)巴爾的摩分校獲計算機(jī)碩士和博士學(xué)位。他的博士論文研究的是以機(jī)器學(xué)習(xí)和語義網(wǎng)絡(luò)進(jìn)行異構(gòu)數(shù)據(jù)集成,并獲得了博士論文獎學(xué)金。在就讀研究生期間,他參與了與美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)和美國國家科學(xué)基金會(NSF)合作的多個項目,設(shè)計和開發(fā)語義網(wǎng)絡(luò)集成系統(tǒng)。他在商業(yè)軟件項目方面也有著豐富的經(jīng)驗。他曾在美國Stardog Union 公司和美國塞納公司工作了四年多的時間,從事系統(tǒng)設(shè)計和實現(xiàn)方面的工作。陳天健陳天健是微眾銀行AI 項目組的副總經(jīng)理。他現(xiàn)在負(fù)責(zé)構(gòu)建基于聯(lián)邦學(xué)習(xí)技術(shù)的銀行智能生態(tài)系統(tǒng)。在加入微眾銀行之前,他是百度金融的首席架構(gòu)師,同時也是百度的首席架構(gòu)師。他擁有超過12 年的大規(guī)模分布式系統(tǒng)設(shè)計經(jīng)驗,并在Web 搜索引擎、對等網(wǎng)絡(luò)存儲、基因組學(xué)、推薦系統(tǒng)、數(shù)字銀行和機(jī)器學(xué)習(xí)等多個應(yīng)用領(lǐng)域中實現(xiàn)了技術(shù)創(chuàng)新。他現(xiàn)居于中國深圳,與其他工作伙伴一起建設(shè)和推廣聯(lián)邦A(yù)I 生態(tài)系統(tǒng)和相關(guān)的開源項目FATE。于涵于涵現(xiàn)任職新加坡南洋理工大學(xué)(NTU)計算機(jī)科學(xué)與工程學(xué)院助理教授、微眾銀行特聘顧問。在2015—2018 年期間,他在南洋理工大學(xué)擔(dān)任李光耀博士后研究員(LKY PDF)。在加入南洋理工大學(xué)之前,他曾在新加坡惠普公司擔(dān)任嵌入式軟件工程師。他于2014 年獲南洋理工大學(xué)計算機(jī)科學(xué)博士學(xué)位。他的研究重點(diǎn)是在線凸優(yōu)化、人工智能倫理、聯(lián)邦學(xué)習(xí)及其在眾包等復(fù)雜協(xié)作系統(tǒng)中的應(yīng)用。他在國際學(xué)術(shù)會議和期刊上發(fā)表研究論文120 余篇,獲得了多項科研獎項。
序言Ⅲ
前言Ⅳ
作者簡介Ⅷ
第1 章 引言/1
1.1 人工智能面臨的挑戰(zhàn)/2
1.2 聯(lián)邦學(xué)習(xí)概述/4
1.2.1 聯(lián)邦學(xué)習(xí)的定義/5
1.2.2 聯(lián)邦學(xué)習(xí)的分類/8
1.3 聯(lián)邦學(xué)習(xí)的發(fā)展/11
1.3.1 聯(lián)邦學(xué)習(xí)的研究/11
1.3.2 開源平臺/13
1.3.3 聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)化進(jìn)展/14
1.3.4 聯(lián)邦人工智能生態(tài)系統(tǒng)/15
第2 章 隱私、安全及機(jī)器學(xué)習(xí)/17
2.1 面向隱私保護(hù)的機(jī)器學(xué)習(xí)/18
2.2 面向隱私保護(hù)的機(jī)器學(xué)習(xí)與安全機(jī)器學(xué)習(xí)/18
2.3 威脅與安全模型/19
2.3.1 隱私威脅模型/19
2.3.2 攻擊者和安全模型/21
2.4 隱私保護(hù)技術(shù)/22
2.4.1 安全多方計算/22
2.4.2 同態(tài)加密/27
2.4.3 差分隱私/30
第3 章 分布式機(jī)器學(xué)習(xí)/35
3.1 分布式機(jī)器學(xué)習(xí)介紹/36
3.1.1 分布式機(jī)器學(xué)習(xí)的定義/36
3.1.2 分布式機(jī)器學(xué)習(xí)平臺/37
3.2 面向擴(kuò)展性的DML /39
3.2.1 大規(guī)模機(jī)器學(xué)習(xí)/39
3.2.2 面向擴(kuò)展性的DML 方法/40
3.3 面向隱私保護(hù)的DML /43
3.3.1 隱私保護(hù)決策樹/43
3.3.2 隱私保護(hù)方法/45
3.3.3 面向隱私保護(hù)的DML 方案/45
3.4 面向隱私保護(hù)的梯度下降方法/48
3.4.1 樸素聯(lián)邦學(xué)習(xí)/49
3.4.2 隱私保護(hù)方法/49
3.5 挑戰(zhàn)與展望/51
第4 章 橫向聯(lián)邦學(xué)習(xí)/53
4.1 橫向聯(lián)邦學(xué)習(xí)的定義/54
4.2 橫向聯(lián)邦學(xué)習(xí)架構(gòu)/55
4.2.1 客戶-服務(wù)器架構(gòu)/55
4.2.2 對等網(wǎng)絡(luò)架構(gòu)/58
4.2.3 全局模型評估/59
4.3 聯(lián)邦平均算法介紹/60
4.3.1 聯(lián)邦優(yōu)化/60
4.3.2 聯(lián)邦平均算法/63
4.3.3 安全的聯(lián)邦平均算法/65
4.4 聯(lián)邦平均算法的改進(jìn)/68
4.4.1 通信效率提升/68
4.4.2 參與方選擇/69
4.5 相關(guān)工作/69
4.6 挑戰(zhàn)與展望/71
第5 章 縱向聯(lián)邦學(xué)習(xí)/73
5.1 縱向聯(lián)邦學(xué)習(xí)的定義/74
5.2 縱向聯(lián)邦學(xué)習(xí)的架構(gòu)/75
5.3 縱向聯(lián)邦學(xué)習(xí)算法/77
5.3.1 安全聯(lián)邦線性回歸/77
5.3.2 安全聯(lián)邦提升樹/80
5.4 挑戰(zhàn)與展望/85
第6 章 聯(lián)邦遷移學(xué)習(xí)/87
6.1 異構(gòu)聯(lián)邦學(xué)習(xí)/88
6.2 聯(lián)邦遷移學(xué)習(xí)的分類與定義/88
6.3 聯(lián)邦遷移學(xué)習(xí)框架/90
6.3.1 加法同態(tài)加密/93
6.3.2 聯(lián)邦遷移學(xué)習(xí)的訓(xùn)練過程/94
6.3.3 聯(lián)邦遷移學(xué)習(xí)的預(yù)測過程/95
6.3.4 安全性分析/95
6.3.5 基于秘密共享的聯(lián)邦遷移學(xué)習(xí)/96
6.4 挑戰(zhàn)與展望/97
第7 章 聯(lián)邦學(xué)習(xí)激勵機(jī)制/99
7.1 貢獻(xiàn)的收益/100
7.1.1 收益分享博弈/100
7.1.2 反向拍賣/102
7.2 注重公平的收益分享框架/103
7.2.1 建模貢獻(xiàn)/103
7.2.2 建模代價/104
7.2.3 建模期望損失/105
7.2.4 建模時間期望損失/105
7.2.5 策略協(xié)調(diào)/106
7.2.6 計算收益評估比重/108
7.3 挑戰(zhàn)與展望/109
第8 章 聯(lián)邦學(xué)習(xí)與計算機(jī)視覺、自然語言處理及推薦系統(tǒng)/111
8.1 聯(lián)邦學(xué)習(xí)與計算機(jī)視覺/112
8.1.1 聯(lián)邦計算機(jī)視覺/112
8.1.2 業(yè)內(nèi)研究進(jìn)展/114
8.1.3 挑戰(zhàn)與展望/115
8.2 聯(lián)邦學(xué)習(xí)與自然語言處理/116
8.2.1 聯(lián)邦自然語言處理/116
8.2.2 業(yè)界研究進(jìn)展/118
8.2.3 挑戰(zhàn)與展望/118
8.3 聯(lián)邦學(xué)習(xí)與推薦系統(tǒng)/119
8.3.1 推薦模型/120
8.3.2 聯(lián)邦推薦系統(tǒng)/121
8.3.3 業(yè)界研究進(jìn)展/123
8.3.4 挑戰(zhàn)與展望/123
第9 章 聯(lián)邦強(qiáng)化學(xué)習(xí)/125
9.1 強(qiáng)化學(xué)習(xí)介紹/126
9.1.1 策略/127
9.1.2 獎勵/127
9.1.3 價值函數(shù)/127
9.1.4 環(huán)境模型/127
9.1.5 強(qiáng)化學(xué)習(xí)應(yīng)用舉例/127
9.2 強(qiáng)化學(xué)習(xí)算法/128
9.3 分布式強(qiáng)化學(xué)習(xí)/130
9.3.1 異步分布式強(qiáng)化學(xué)習(xí)/130
9.3.2 同步分布式強(qiáng)化學(xué)習(xí)/131
9.4 聯(lián)邦強(qiáng)化學(xué)習(xí)/131
9.4.1 聯(lián)邦強(qiáng)化學(xué)習(xí)背景/131
9.4.2 橫向聯(lián)邦強(qiáng)化學(xué)習(xí)/132
9.4.3 縱向聯(lián)邦強(qiáng)化學(xué)習(xí)/134
9.5 挑戰(zhàn)與展望/136
第10 章 應(yīng)用前景/139
10.1 金融/140
10.2 醫(yī)療/141
10.3 教育/142
10.4 城市計算和智慧城市/144
10.5 邊緣計算和物聯(lián)網(wǎng)/146
10.6 區(qū)塊鏈/147
10.7 第五代移動網(wǎng)路/148
第11 章 總結(jié)與展望/149
附錄A 數(shù)據(jù)保護(hù)法律和法規(guī)/151
A.1 歐盟的數(shù)據(jù)保護(hù)法規(guī)/152
A.1.1 GDPR 中的術(shù)語/153
A.1.2 GDPR 重點(diǎn)條款/154
A.1.3 GDPR 的影響/156
A.2 美國的數(shù)據(jù)保護(hù)法規(guī)/157
A.3 中國的數(shù)據(jù)保護(hù)法規(guī)/158
參考文獻(xiàn)/161