本書探索理論計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)這兩個(gè)領(lǐng)域能夠互相借鑒的知識(shí),以此把它們關(guān)聯(lián)起來。本書介紹機(jī)器學(xué)習(xí)中的重要模型和主要問題,并以一種容易理解的方式介紹該領(lǐng)域的前沿研究成果以及現(xiàn)代算法工具,包括矩量法、張量分解法和凸規(guī)劃松弛法。本書共8章,內(nèi)容涵蓋非負(fù)矩陣分解、主題模型、張量分解、稀疏恢復(fù)、稀疏編碼、高斯混合模型和矩陣補(bǔ)全等。本書適合理論計(jì)算機(jī)科學(xué)家、機(jī)器學(xué)習(xí)研究人員以及相關(guān)專業(yè)的學(xué)生閱讀和學(xué)習(xí)。
適讀人群 :理論計(jì)算機(jī)科學(xué)家、機(jī)器學(xué)習(xí)研究人員以及相關(guān)專業(yè)的學(xué)生 本書基于麻省理工學(xué)院在2013年秋季、2015年春季和2017年秋季開設(shè)的“Algorithmic Aspects of Machine Learning”課程編寫,探索理論計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)這兩個(gè)領(lǐng)域能夠互相借鑒的知識(shí),以此把它們關(guān)聯(lián)起來。向理論計(jì)算機(jī)科學(xué)家介紹機(jī)器學(xué)習(xí)中的重要模型和主要問題,并以一種可訪問的形式向機(jī)器學(xué)習(xí)研究人員介紹前沿研究成果以及現(xiàn)代算法工具,包括矩量法、張量分解法和凸規(guī)劃松弛法。
譯者序
Algorithmic Aspects of Machine Learning
隨著人工智能在近十年的不斷興起,以及計(jì)算科學(xué)技術(shù)的發(fā)展進(jìn)步,學(xué)術(shù)界/工業(yè)界對(duì)機(jī)器學(xué)習(xí)算法的研究逐漸深入,很多實(shí)際應(yīng)用問題得以解決。機(jī)器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科,涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。機(jī)器學(xué)習(xí)是人工智能的核心,主要研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為,以獲取新的知識(shí)或技能,重新組織已有的知識(shí)結(jié)構(gòu)使之不斷完善。
雖然機(jī)器學(xué)習(xí)的覆蓋范圍比較廣,但本書主要集中在處理矩陣數(shù)據(jù)的矩陣運(yùn)算算法方面,專業(yè)性比較強(qiáng)。相對(duì)于以往專注于機(jī)器學(xué)習(xí)理論以及機(jī)器學(xué)習(xí)算法實(shí)踐方面的書籍,本書應(yīng)該介于這兩者之間,目的是使讀者針對(duì)算法“知其然且知其所以然”。本書可以作為相關(guān)專業(yè)本科高年級(jí)學(xué)生或研究生的教材。
非常感謝本書作者的信任和機(jī)械工業(yè)出版社的委托,本書的翻譯是由我和蘇州大學(xué)的趙朋朋老師合作完成的。我們兩個(gè)人的研究方向都是機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘,包括遷移學(xué)習(xí)、推薦系統(tǒng)等。還有一些研究生也參與了本書的翻譯工作,他們是(排名不分先后):郭慶宇、沈丹瑤、齊志遠(yuǎn)、羅安靖、趙靜。出版社的編輯在排版和校對(duì)方面給予了我們極大的幫助。感謝他們?yōu)楸緯某霭娓冻龅呐Γ?/p>
由于時(shí)間倉(cāng)促以及一些翻譯習(xí)慣上的差異,本書難免存在瑕疵,在此謹(jǐn)致歉意。若有發(fā)現(xiàn),請(qǐng)及時(shí)反饋給我或出版社以進(jìn)行修正,本人將不勝感激。
莊福振
2021年1月
前言
Algorithmic Aspects of Machine Learning
本書基于麻省理工學(xué)院在2013年秋季、2015年春季和2017年秋季開設(shè)的“Algorithmic Aspects of Machine Learning”課程。感謝學(xué)習(xí)本課程并使之成為一次美妙體驗(yàn)的所有學(xué)生。
安柯·莫特拉(Ankur Moitra)
麻省理工學(xué)院洛克威爾國(guó)際數(shù)學(xué)系副教授。他是麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)的首席研究員,也是計(jì)算理論小組、機(jī)器學(xué)習(xí)和統(tǒng)計(jì)中心的核心成員。他的工作目標(biāo)是通過開發(fā)在行為推理方面具有可證明的保證和基礎(chǔ)的算法,來在理論計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)之間架起一座橋梁。他是帕克德獎(jiǎng)學(xué)金、斯隆獎(jiǎng)學(xué)金、美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)終身成就獎(jiǎng)、NSF計(jì)算與創(chuàng)新獎(jiǎng)學(xué)金和赫茲獎(jiǎng)學(xué)金的獲得者。
◆ 譯者簡(jiǎn)介 ◆
莊福振 北京航空航天大學(xué)研究員、博士生導(dǎo)師,于2011年7月在中國(guó)科學(xué)院研究生院獲得博士學(xué)位。主要從事機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘,包括遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí)、推薦系統(tǒng)以及大數(shù)據(jù)挖掘應(yīng)用等方面的研究,相關(guān)成果已經(jīng)在本領(lǐng)域頂級(jí)、重要國(guó)際期刊和國(guó)際會(huì)議上發(fā)表/錄用論文100余篇。遷移學(xué)習(xí)的工作曾獲得SDM2010和CIKM2010的最佳論文提名,2013年獲得中國(guó)人工智能學(xué)會(huì)優(yōu)秀博士學(xué)位論文獎(jiǎng)。入選2015年微軟亞洲研究院青年教師“鑄星計(jì)劃”,2017年入選中國(guó)科學(xué)院青年創(chuàng)新促進(jìn)會(huì)。
趙朋朋 蘇州大學(xué)教授,博士生導(dǎo)師,蘇州工業(yè)園區(qū)科技領(lǐng)軍人才, CCF 高級(jí)會(huì)員,CCF人工智能與模式識(shí)別專委會(huì)委員,CCF大數(shù)據(jù)專家委員會(huì)通訊委員。近年來,主持國(guó)家自然科學(xué)基金項(xiàng)目2項(xiàng)、省市級(jí)項(xiàng)目5項(xiàng),獲蘇州市科技進(jìn)步獎(jiǎng) 2項(xiàng);參加國(guó)家自然科學(xué)基金項(xiàng)目、教育部重點(diǎn)項(xiàng)目、江蘇省重大科技支撐與自主創(chuàng)新項(xiàng)目等6項(xiàng);主持多項(xiàng)企業(yè)/國(guó)防橫向項(xiàng)目研發(fā),包括推薦引擎、流式數(shù)據(jù)處理、大數(shù)據(jù)分析等。在相關(guān)學(xué)術(shù)會(huì)議和期刊上發(fā)表論文100余篇,其中包括50余篇TKDE、AAAI、IJCAI、WWW、ACM MM、ICDM等CCF-A/B類論文,被SCI、EI索引收錄100余篇;申請(qǐng)國(guó)家發(fā)明專利30余項(xiàng),其中20余項(xiàng)已獲授權(quán)。擔(dān)任AAAI、IJCAI、CIKM、DASFAA、PAKDD等權(quán)威國(guó)際會(huì)議程序委員會(huì)委員。主要研究興趣包括推薦系統(tǒng)、數(shù)據(jù)挖掘、深度學(xué)習(xí)、大數(shù)據(jù)分析等。
譯者序
前言
第1章引言
第2章非負(fù)矩陣分解
21介紹
22代數(shù)算法
23穩(wěn)定性和可分離性
24主題模型
25練習(xí)
第3章張量分解:算法
31旋轉(zhuǎn)問題
32張量入門
33Jennrich算法
34矩陣攝動(dòng)界
35練習(xí)
第4章張量分解:應(yīng)用
41進(jìn)化樹和隱馬爾可夫模型
42社區(qū)發(fā)現(xiàn)
43擴(kuò)展到混合模型
44獨(dú)立成分分析
45練習(xí)
第5章稀疏恢復(fù)
51介紹
52非相干性和不確定性原理
53追蹤算法
54Prony方法
55壓縮感知
56練習(xí)
第6章稀疏編碼
61介紹
62不完備情況
63梯度下降
64過完備情況
65練習(xí)
第7章高斯混合模型
71介紹
72基于聚類的算法
73密度估計(jì)的討論
74無聚類算法
75單變量算法
76代數(shù)幾何視圖
77練習(xí)
第8章矩陣補(bǔ)全
81介紹
82核范數(shù)
83量子高爾夫
參考文獻(xiàn)
索引