第1章 跨數(shù)據(jù)中心機(jī)器學(xué)習(xí)概述 1
1.1 分布式機(jī)器學(xué)習(xí) 5
1.1.1 基本概念 5
1.1.2 國(guó)內(nèi)外發(fā)展現(xiàn)狀 7
1.1.3 并行模式 10
1.1.4 通信范式 21
1.1.5 通信優(yōu)化技術(shù) 32
1.2 跨數(shù)據(jù)中心分布式機(jī)器學(xué)習(xí) 39
1.2.1 產(chǎn)業(yè)發(fā)展背景及需求 39
1.2.2 基本架構(gòu) 41
1.2.3 面臨的關(guān)鍵挑戰(zhàn) 43
1.3 本書的章節(jié)結(jié)構(gòu) 46
本章參考文獻(xiàn) 47
第2章 高效通信架構(gòu) 58
2.1 分層參數(shù)服務(wù)器通信架構(gòu) 59
2.1.1 架構(gòu)設(shè)計(jì)方案 59
2.1.2 運(yùn)行流程與通信模型 61
2.1.3 主要操作原語(yǔ) 64
2.2 部署模式與適用場(chǎng)景 65
2.3 實(shí)驗(yàn)與性能評(píng)估 67
2.4 本章小結(jié) 70
本章參考文獻(xiàn) 70
第3章 同步優(yōu)化算法 72
3.1 系統(tǒng)模型與基礎(chǔ)同步優(yōu)化算法 73
3.1.1 系統(tǒng)模型 73
3.1.2 全同步通信算法 73
3.1.3 實(shí)驗(yàn)與性能評(píng)估 76
3.2 面向受限域間通信資源的同步算法 78
3.2.1 研究現(xiàn)狀 79
3.2.2 內(nèi)同步累積的低頻同步通信算法 80
3.2.3 實(shí)驗(yàn)與性能評(píng)估 83
3.3 面向異構(gòu)計(jì)算與通信資源的同步算法 84
3.3.1 研究現(xiàn)狀 85
3.3.2 延遲補(bǔ)償?shù)幕旌贤�步算�?88
3.3.3 迭代次數(shù)自適應(yīng)的同步算法 91
3.3.4 實(shí)驗(yàn)與性能評(píng)估 109
3.4 本章小結(jié) 119
本章參考文獻(xiàn) 120
第4章 壓縮傳輸機(jī)制 123
4.1 稀疏化與量化基本概念 124
4.2 雙向梯度稀疏化技術(shù) 127
4.2.1 梯度稀疏化技術(shù) 127
4.2.2 稀疏同步技術(shù) 128
4.2.3 冗余梯度修正技術(shù) 129
4.3 混合精度傳輸技術(shù) 132
4.4 實(shí)驗(yàn)與性能評(píng)估 133
4.5 本章小結(jié) 139
本章參考文獻(xiàn) 139
第5章 梯度傳輸協(xié)議 142
5.1 研究動(dòng)機(jī) 143
5.2 協(xié)議設(shè)計(jì)及其挑戰(zhàn) 145
5.3 近似梯度分類算法 146
5.3.1 算法設(shè)計(jì) 146
5.3.2 分類閾值動(dòng)態(tài)衰減技術(shù) 149
5.4 差異化梯度傳輸協(xié)議的設(shè)計(jì) 149
5.4.1 基于優(yōu)先級(jí)的差異化傳輸 150
5.4.2 差異化接收方法 151
5.5 實(shí)現(xiàn)和部署 152
5.5.1 DGT通信中間件的功能實(shí)現(xiàn) 152
5.5.2 DGT通信中間件的跨數(shù)據(jù)中心部署 154
5.6 實(shí)驗(yàn)與性能評(píng)估 155
5.7 本章小結(jié) 165
本章參考文獻(xiàn) 165
第6章 流量傳送調(diào)度 168
6.1 基于動(dòng)態(tài)通信調(diào)度的通信覆蓋機(jī)制 170
6.1.1 研究動(dòng)機(jī) 170
6.1.2 問題建模 173
6.1.3 通信覆蓋機(jī)制設(shè)計(jì) 175
6.1.4 實(shí)現(xiàn)和部署 183
6.1.5 實(shí)驗(yàn)與性能評(píng)估 185
6.2 光廣域網(wǎng)中的在線流量調(diào)度 192
6.2.1 研究動(dòng)機(jī) 194
6.2.2 任務(wù)內(nèi)調(diào)度 195
6.2.3 任務(wù)間調(diào)度 199
6.2.4 算法性能分析 203
6.2.5 仿真結(jié)果與分析 205
6.3 本章小結(jié) 211
本章參考文獻(xiàn) 211
第7章 異構(gòu)數(shù)據(jù)優(yōu)化算法 214
7.1 研究現(xiàn)狀 216
7.2 系統(tǒng)模型 220
7.3 聯(lián)邦組同步算法設(shè)計(jì)與實(shí)現(xiàn) 221
7.3.1 算法設(shè)計(jì)動(dòng)機(jī) 221
7.3.2 算法設(shè)計(jì)與實(shí)現(xiàn) 223
7.4 組節(jié)點(diǎn)選擇算法設(shè)計(jì)與實(shí)現(xiàn) 226
7.4.1 問題建模與分析 226
7.4.2 算法設(shè)計(jì)與實(shí)現(xiàn) 228
7.5 算法的收斂性與效率分析 231
7.5.1 算法收斂性分析 232
7.5.2 算法效率分析 233
7.6 實(shí)驗(yàn)與性能評(píng)估 235
7.7 本章小結(jié) 245
本章參考文獻(xiàn) 245
第8章 總結(jié)與展望 249
附錄A 縮略語(yǔ)對(duì)照表 250