跨數(shù)據(jù)中心機器學(xué)習(xí)：賦能多云智能數(shù)算融合
定 價：88 元
叢書名：人工智能前沿理論與技術(shù)應(yīng)用叢書
- 作者：虞紅芳 等
- 出版時間：2023/1/1
- ISBN：9787121448256
- 出 版 社：電子工業(yè)出版社
- 中圖法分類：TP181
- 頁碼：264
- 紙張：
- 版次：01
- 開本：16開
本書基于作者多年的研究成果，詳細介紹了跨數(shù)據(jù)中心機器學(xué)習(xí)的訓(xùn)練系統(tǒng)設(shè)計和通信優(yōu)化技術(shù)。本書面向多數(shù)據(jù)中心間的分布式機器學(xué)習(xí)系統(tǒng)，針對多數(shù)據(jù)中心間有限的傳輸帶寬、動態(tài)異構(gòu)資源，以及異構(gòu)數(shù)據(jù)分布三重挑戰(zhàn)，自底向上討論梯度傳輸協(xié)議、流量傳送調(diào)度、高效通信架構(gòu)、壓縮傳輸機制、同步優(yōu)化算法、異構(gòu)數(shù)據(jù)優(yōu)化算法六個層次的優(yōu)化技術(shù)，旨在提升分布式機器學(xué)習(xí)系統(tǒng)的訓(xùn)練效率和模型性能，突破跨數(shù)據(jù)中心機器學(xué)習(xí)的通信瓶頸和數(shù)據(jù)壁壘，實現(xiàn)多數(shù)據(jù)中心算力和數(shù)據(jù)資源的高效整合。本書可作為跨數(shù)據(jù)中心機器學(xué)習(xí)的參考資料，供人工智能及分布式計算領(lǐng)域的科研和工程人員閱讀。
虞紅芳，博士，電子科技大學(xué)教授、博士生導(dǎo)師、副院長。已承擔(dān)國家級課題30余項，企業(yè)合作項目20余項，獲省部級科技獎2項、華為優(yōu)秀科研項目獎2次。在國內(nèi)外知名期刊和會議發(fā)表學(xué)術(shù)論文200余篇，H指數(shù)37；出版學(xué)術(shù)專著4部，授權(quán)發(fā)明專利80余項。研究興趣包括網(wǎng)絡(luò)虛擬化、下一代網(wǎng)絡(luò)、云/邊緣計算、分布式系統(tǒng)、網(wǎng)絡(luò)安全等。李宗航，博士，電子科技大學(xué)英才實驗學(xué)院導(dǎo)師，曾訪學(xué)牛津大學(xué)和南洋理工大學(xué)。發(fā)表學(xué)術(shù)論文20篇；入選電子科技大學(xué)領(lǐng)軍人才計劃；獲通信學(xué)會未來之光獎、牛津最具影響力項目獎和浦口經(jīng)開英才獎等多項榮譽；主研國家級課題等8項，獲未來網(wǎng)絡(luò)領(lǐng)先創(chuàng)新科技成果獎。研究興趣包括分布式人工智能、智算網(wǎng)一體化和聯(lián)邦學(xué)習(xí)。孫罡，博士，電子科技大學(xué)教授，博士生導(dǎo)師。長期致力于網(wǎng)絡(luò)虛擬化、云計算、物聯(lián)網(wǎng)與分布式系統(tǒng)等領(lǐng)域的相關(guān)研究。在國內(nèi)外各知名期刊發(fā)表SCI/EI檢索論文100余篇，出版學(xué)術(shù)專著3部，已授權(quán)美國發(fā)明專利3項、中國發(fā)明專利70余項。羅龍，博士，電子科技大學(xué)副教授。長期從事網(wǎng)絡(luò)算法、分布式系統(tǒng)等相關(guān)研究。在國內(nèi)外知名期刊和會議上發(fā)表學(xué)術(shù)論文30篇；授權(quán)發(fā)明專利7項；入選第八屆中國科協(xié)青年人才托舉工程；主持/主研國家自然科學(xué)基金、國家重點研發(fā)計劃等項目。
第1章 跨數(shù)據(jù)中心機器學(xué)習(xí)概述 1
1.1 分布式機器學(xué)習(xí) 5
1.1.1 基本概念 5
1.1.2 國內(nèi)外發(fā)展現(xiàn)狀 7
1.1.3 并行模式 10
1.1.4 通信范式 21
1.1.5 通信優(yōu)化技術(shù) 32
1.2 跨數(shù)據(jù)中心分布式機器學(xué)習(xí) 39
1.2.1 產(chǎn)業(yè)發(fā)展背景及需求 39
1.2.2 基本架構(gòu) 41
1.2.3 面臨的關(guān)鍵挑戰(zhàn) 43
1.3 本書的章節(jié)結(jié)構(gòu) 46
本章參考文獻 47
第2章 高效通信架構(gòu) 58
2.1 分層參數(shù)服務(wù)器通信架構(gòu) 59
2.1.1 架構(gòu)設(shè)計方案 59
2.1.2 運行流程與通信模型 61
2.1.3 主要操作原語 64
2.2 部署模式與適用場景 65
2.3 實驗與性能評估 67
2.4 本章小結(jié) 70
本章參考文獻 70
第3章 同步優(yōu)化算法 72
3.1 系統(tǒng)模型與基礎(chǔ)同步優(yōu)化算法 73
3.1.1 系統(tǒng)模型 73
3.1.2 全同步通信算法 73
3.1.3 實驗與性能評估 76
3.2 面向受限域間通信資源的同步算法 78
3.2.1 研究現(xiàn)狀 79
3.2.2 內(nèi)同步累積的低頻同步通信算法 80
3.2.3 實驗與性能評估 83
3.3 面向異構(gòu)計算與通信資源的同步算法 84
3.3.1 研究現(xiàn)狀 85
3.3.2 延遲補償?shù)幕旌贤剿惴?88
3.3.3 迭代次數(shù)自適應(yīng)的同步算法 91
3.3.4 實驗與性能評估 109
3.4 本章小結(jié) 119
本章參考文獻 120
第4章 壓縮傳輸機制 123
4.1 稀疏化與量化基本概念 124
4.2 雙向梯度稀疏化技術(shù) 127
4.2.1 梯度稀疏化技術(shù) 127
4.2.2 稀疏同步技術(shù) 128
4.2.3 冗余梯度修正技術(shù) 129
4.3 混合精度傳輸技術(shù) 132
4.4 實驗與性能評估 133
4.5 本章小結(jié) 139
本章參考文獻 139
第5章 梯度傳輸協(xié)議 142
5.1 研究動機 143
5.2 協(xié)議設(shè)計及其挑戰(zhàn) 145
5.3 近似梯度分類算法 146
5.3.1 算法設(shè)計 146
5.3.2 分類閾值動態(tài)衰減技術(shù) 149
5.4 差異化梯度傳輸協(xié)議的設(shè)計 149
5.4.1 基于優(yōu)先級的差異化傳輸 150
5.4.2 差異化接收方法 151
5.5 實現(xiàn)和部署 152
5.5.1 DGT通信中間件的功能實現(xiàn) 152
5.5.2 DGT通信中間件的跨數(shù)據(jù)中心部署 154
5.6 實驗與性能評估 155
5.7 本章小結(jié) 165
本章參考文獻 165
第6章 流量傳送調(diào)度 168
6.1 基于動態(tài)通信調(diào)度的通信覆蓋機制 170
6.1.1 研究動機 170
6.1.2 問題建模 173
6.1.3 通信覆蓋機制設(shè)計 175
6.1.4 實現(xiàn)和部署 183
6.1.5 實驗與性能評估 185
6.2 光廣域網(wǎng)中的在線流量調(diào)度 192
6.2.1 研究動機 194
6.2.2 任務(wù)內(nèi)調(diào)度 195
6.2.3 任務(wù)間調(diào)度 199
6.2.4 算法性能分析 203
6.2.5 仿真結(jié)果與分析 205
6.3 本章小結(jié) 211
本章參考文獻 211
第7章 異構(gòu)數(shù)據(jù)優(yōu)化算法 214
7.1 研究現(xiàn)狀 216
7.2 系統(tǒng)模型 220
7.3 聯(lián)邦組同步算法設(shè)計與實現(xiàn) 221
7.3.1 算法設(shè)計動機 221
7.3.2 算法設(shè)計與實現(xiàn) 223
7.4 組節(jié)點選擇算法設(shè)計與實現(xiàn) 226
7.4.1 問題建模與分析 226
7.4.2 算法設(shè)計與實現(xiàn) 228
7.5 算法的收斂性與效率分析 231
7.5.1 算法收斂性分析 232
7.5.2 算法效率分析 233
7.6 實驗與性能評估 235
7.7 本章小結(jié) 245
本章參考文獻 245
第8章 總結(jié)與展望 249
附錄A 縮略語對照表 250
書單推薦
