凸優(yōu)化:算法與復(fù)雜性(專門為計(jì)算機(jī)科學(xué)家打造)
定 價(jià):59 元
叢書(shū)名:華章數(shù)學(xué)譯叢
- 作者:[美]塞巴斯蒂安·布貝克(Sébastien Bubeck
- 出版時(shí)間:2021/6/1
- ISBN:9787111683513
- 出 版 社:機(jī)械工業(yè)出版社
- 中圖法分類:O174.13
- 頁(yè)碼:136
- 紙張:
- 版次:
- 開(kāi)本:16開(kāi)
本書(shū)介紹了凸優(yōu)化中的主要復(fù)雜性定理及其相應(yīng)的算法。從黑箱優(yōu)化的基本理論出發(fā),內(nèi)容材料是朝著結(jié)構(gòu)優(yōu)化和隨機(jī)優(yōu)化的新進(jìn)展。我們對(duì)黑箱優(yōu)化的介紹,深受Nesterov的開(kāi)創(chuàng)性著作和Nemirovski講稿的影響,包括對(duì)切割平面方法的分析,以及(加速)梯度下降方案。我們還特別關(guān)注非歐幾里德的情況(相關(guān)算法包括Frank Wolfe、鏡像下降和對(duì)偶平均法),并討論它們?cè)跈C(jī)器中的相關(guān)性學(xué)習(xí)。我們慢慢的介紹了FISTA(優(yōu)化一個(gè)光滑項(xiàng)和一個(gè)簡(jiǎn)單的非光滑項(xiàng)的和)、鞍點(diǎn)鏡像代理(Nemirovski平滑替代Nesterov的光滑)和一個(gè)對(duì)內(nèi)點(diǎn)方法的簡(jiǎn)明描述。在隨機(jī)優(yōu)化中,我們討論了隨機(jī)梯度下降、小批量、隨機(jī)坐標(biāo)下降和次線性算法。我們還簡(jiǎn)單地討論了組合問(wèn)題的凸松弛和隨機(jī)性對(duì)取整(四舍五入)解的使用,以及基于隨機(jī)游動(dòng)的方法。
譯者序
致謝
第1章緒論1
11機(jī)器學(xué)習(xí)中的若干凸優(yōu)化問(wèn)題1
12凸性的基本性質(zhì)3
13凸性的作用5
14黑箱模型7
15結(jié)構(gòu)性優(yōu)化8
16結(jié)果的概述和免責(zé)聲明9
第2章有限維的凸優(yōu)化12
21重心法12
22橢球法14
23Vaidya割平面法18
231體積障礙19
232Vaidya算法20
233Vaidya方法分析20
234限制條件和體積障礙22
24共軛梯度26
第3章維度無(wú)關(guān)的凸優(yōu)化30
31Lipschitz函數(shù)的投影次梯度下降31
32光滑函數(shù)的梯度下降33
33條件梯度下降39
34強(qiáng)凸性43
341 強(qiáng)凸函數(shù)和Lipschitz函數(shù)44
342強(qiáng)凸光滑函數(shù)45
35下限47
36幾何下降52
361熱身賽:梯度下降的幾何學(xué)替代方案53
362加速度55
363幾何下降法56
37Nesterov加速梯度下降58
371光滑強(qiáng)凸情況58
372光滑的情況62
第4章非歐氏空間幾乎維度無(wú)關(guān)的凸優(yōu)化65
41鏡像映射66
42鏡像下降67
43鏡像下降的標(biāo)準(zhǔn)設(shè)置70
44惰性鏡像下降72
45鏡像代理74
46關(guān)于MD、DA和MP的向量場(chǎng)觀點(diǎn)76
第5章超越黑箱模型78
51光滑項(xiàng)與簡(jiǎn)單非光滑項(xiàng)之和78
52非光滑函數(shù)的光滑鞍點(diǎn)表示80
521鞍點(diǎn)計(jì)算81
522鞍點(diǎn)鏡像下降82
523鞍點(diǎn)鏡像代理83
524應(yīng)用84
53內(nèi)點(diǎn)法87
531障礙法87
532牛頓法的傳統(tǒng)分析88
533自和諧函數(shù)90
534ν自和諧障礙92
535路徑跟蹤方案95
536線性規(guī)劃和半定規(guī)劃的內(nèi)點(diǎn)法96
第6章凸優(yōu)化與隨機(jī)性98
61非光滑隨機(jī)優(yōu)化99
62光滑隨機(jī)優(yōu)化與小批量SGD100
63光滑函數(shù)與強(qiáng)凸函數(shù)的和103
64隨機(jī)坐標(biāo)下降107
641坐標(biāo)平滑優(yōu)化的RCD算法108
642用于光滑和強(qiáng)凸優(yōu)化的RCD110
65鞍點(diǎn)的隨機(jī)加速112
66凸松弛與隨機(jī)取整113
67基于隨機(jī)游動(dòng)的方法117
參考文獻(xiàn)120