譯者序

學(xué)者貴知其當(dāng)然與所以然，若偶能然，不得謂為學(xué)。 這是中國(guó)民主革命先驅(qū)孫中山警誡自己并勉勵(lì)后人的學(xué)問之道。
我們正處于數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)蓬勃發(fā)展的時(shí)代，快速增長(zhǎng)的海量數(shù)據(jù)給我們提供了源源不斷的數(shù)字資源，日新月異的機(jī)器學(xué)習(xí)技術(shù)讓我們能從中提取有用的價(jià)值，似乎人人都能分享時(shí)代發(fā)展的成果，又似乎很少有人能說清楚這背后的技術(shù)奧秘。在教學(xué)實(shí)踐中，我們看到很多高校爭(zhēng)先恐后地開設(shè)數(shù)據(jù)科學(xué)與人工智能專業(yè)，也發(fā)現(xiàn)很多學(xué)生自愿放棄傳統(tǒng)優(yōu)勢(shì)專業(yè)，轉(zhuǎn)攻數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)和人工智能等新興學(xué)科。
了解機(jī)器學(xué)習(xí)的讀者，一定聽說過被無數(shù)人奉為經(jīng)典，又很難啃的西瓜書《機(jī)器學(xué)習(xí)》。西瓜書的作者周志華曾經(jīng)指出，研究的目的是發(fā)現(xiàn)新知識(shí)、發(fā)明新技術(shù)，而研發(fā)則是利用已有的知識(shí)和技術(shù)進(jìn)行研制、開發(fā)。由于Python、Scikit�睱earn等相關(guān)軟件的易用性，簡(jiǎn)單調(diào)用現(xiàn)成的機(jī)器學(xué)習(xí)算法確實(shí)能夠解決一些問題，此謂知其然；而要真正把研究做深做精，寫出有深度、有價(jià)值的好文章，一定要理解實(shí)際問題或機(jī)器學(xué)習(xí)算法背后的數(shù)學(xué)和統(tǒng)計(jì)知識(shí)，此謂知其所以然。
當(dāng)你不滿足于簡(jiǎn)單應(yīng)用現(xiàn)成的工具和方法，當(dāng)你在迷信機(jī)器學(xué)習(xí)方法是黑盒的假設(shè)，當(dāng)你想真正理解數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的算法思想時(shí)，本書就是為你精心準(zhǔn)備，讓你知其然也知其所以然的理想選擇。本書系統(tǒng)地介紹了統(tǒng)計(jì)監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、回歸、分類、決策樹和集成學(xué)習(xí)以及當(dāng)前最流行的深度學(xué)習(xí)等內(nèi)容，其中交叉熵方法、蒙特卡羅方法等很多內(nèi)容本身就是作者的原創(chuàng)成果，由作者自己介紹最合適。
本書的每一個(gè)定理都有嚴(yán)謹(jǐn)?shù)淖C明，主要算法都通過偽代碼描述了輸入、輸出及詳細(xì)過程，全書配套簡(jiǎn)潔實(shí)用的Python代碼，代碼可以通過本書的GitHub主頁下載使用。本書每一章都有豐富的配套習(xí)題，能夠滿足你進(jìn)一步提升自我的需要，部分章節(jié)還給出了擴(kuò)展閱讀資料。另外，本書附錄部分系統(tǒng)地介紹了線性代數(shù)、泛函分析、多元微分、優(yōu)化問題和概率統(tǒng)計(jì)等數(shù)學(xué)基礎(chǔ)知識(shí)。本書可以作為高等院校數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)和人工智能等學(xué)科高年級(jí)本科生或研究生的教材，也可以作為機(jī)器學(xué)習(xí)領(lǐng)域相關(guān)從業(yè)人員的參考書和工具書。
本書第3章和附錄C由解放軍信息工程大學(xué)劉楠副教授翻譯，其余章節(jié)由河南工業(yè)大學(xué)人工智能與大數(shù)據(jù)學(xué)院于俊偉副教授翻譯。本書翻譯工作得到2021年度河南省重點(diǎn)研發(fā)與推廣專項(xiàng)（科技攻關(guān)）（212102210152）、河南工業(yè)大學(xué)第二批青年骨干教師培育計(jì)劃項(xiàng)目的資助。感謝機(jī)械工業(yè)出版社讓我翻譯這本優(yōu)秀的作品。感恩為河南水災(zāi)、全國(guó)疫情無私奉獻(xiàn)的所有人，是他們讓我在困境中仍能安靜地完成本書的翻譯工作。由于譯者水平有限，錯(cuò)誤和疏漏在所難免，歡迎廣大專家和讀者提出寶貴意見。
于俊偉
2021年8月



前言

在當(dāng)前自動(dòng)化、云計(jì)算、算法、人工智能和大數(shù)據(jù)的世界中，很少有主題像數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)如此相關(guān)。它們的流行不僅在于它們對(duì)現(xiàn)實(shí)生活問題的適用性，還在于它們天然地融合了許多不同的學(xué)科，包括數(shù)學(xué)、統(tǒng)計(jì)、計(jì)算機(jī)科學(xué)與工程和金融。
對(duì)于開始學(xué)習(xí)這些主題的人來說，大量的計(jì)算方法和數(shù)學(xué)思想可能會(huì)讓你不知所措。有些人可能只滿足于學(xué)習(xí)如何將現(xiàn)成的算法應(yīng)用于實(shí)際情況。但是，如果黑盒算法的假設(shè)被違背了，我們還能相信其結(jié)果嗎？該如何調(diào)整算法？要真正理解數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)，重要的是理解其背后的數(shù)學(xué)和統(tǒng)計(jì)知識(shí)，以及由此產(chǎn)生的算法。
本書的目的是提供易于理解，但內(nèi)容全面的數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)清單。它面向任何有志于更好地理解數(shù)學(xué)和統(tǒng)計(jì)學(xué)知識(shí)的人，這些知識(shí)是數(shù)據(jù)科學(xué)中豐富多樣的思想和機(jī)器學(xué)習(xí)算法的基礎(chǔ)。我們認(rèn)為，雖然計(jì)算機(jī)語言更迭不息，但潛在的關(guān)鍵思想和算法將永遠(yuǎn)存在，并將成為未來發(fā)展的基礎(chǔ)。
在開始介紹本書主題之前，我們想說幾句撰寫本書的哲學(xué)。這本書源于澳大利亞昆士蘭大學(xué)和新南威爾士大學(xué)的數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)課程。教授這些課程時(shí)，我們注意到學(xué)生們不僅渴望學(xué)習(xí)如何應(yīng)用算法，而且還渴望了解這些算法的工作原理。然而，許多現(xiàn)有的教科書要么背景知識(shí)(如測(cè)度論和泛函分析)太多，要么背景知識(shí)太少(大多都是黑箱算法)，經(jīng)常脫節(jié)和相互矛盾的網(wǎng)絡(luò)資源又會(huì)造成信息過載，這使學(xué)生們更難逐步建立自己的知識(shí)體系。因此，我們想寫一本關(guān)于數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的書，將相關(guān)內(nèi)容像故事一樣串起來，并在附錄中給出重要的故事背景。故事由淺入深，逐漸發(fā)展起來。附錄包含了所有必要的背景知識(shí)，例如線性代數(shù)與泛函分析(附錄A)、多元微分與優(yōu)化問題(附錄B)以及概率與統(tǒng)計(jì)(附錄C)。此外，為了讓抽象的思想變得生動(dòng)，我們相信讓讀者看到理論直接轉(zhuǎn)化為算法的實(shí)際實(shí)現(xiàn)過程是很重要的。經(jīng)過深思熟慮，我們選擇Python作為編程語言。Python是免費(fèi)提供的，并已被許多數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)從業(yè)者選作編程語言。它有許多好用的數(shù)據(jù)操作包(通常從R語言移植而來)，其設(shè)計(jì)讓編程更容易。附錄D對(duì)Python進(jìn)行了詳細(xì)介紹。
為了使本書篇幅合理，我們必須對(duì)主題做出選擇。重要思想和各種概念之間的聯(lián)系通過加粗字體來突出顯示。關(guān)鍵定義和定理通過加框來突出顯示。我們盡可能地提供了定理的證明。最后，我們非常重視數(shù)學(xué)符號(hào)。通常情況下，一旦用一致和簡(jiǎn)潔的符號(hào)系統(tǒng)表示，看似困難的想法會(huì)突然變得顯而易見。我們使用不同的字體來區(qū)分不同類型的對(duì)象。向量、矩陣用黑斜體字母表示，如x和X，并通過大寫和小寫字母來區(qū)分隨機(jī)向量和它們的值，例如X表示隨機(jī)向量，x表示隨機(jī)向量的值或結(jié)果。集合通常用書法體字母G、H來表示。概率和期望的符號(hào)分別是P和E。概率分布由無襯線字體表示，如Bin和Gamma，普遍使用的正態(tài)分布和均勻分布符號(hào)和除外。數(shù)學(xué)符號(hào)中匯總了最重要的符號(hào)和縮寫。
數(shù)據(jù)科學(xué)為理解和處理數(shù)據(jù)提供了必要的語言和技術(shù)。它涉及數(shù)字?jǐn)?shù)據(jù)的設(shè)計(jì)、收集、分析和解釋，目的是提取模式和其他有用信息。機(jī)器學(xué)習(xí)與數(shù)據(jù)科學(xué)密切相關(guān)，它研究從數(shù)據(jù)中學(xué)習(xí)的算法和計(jì)算機(jī)資源的設(shè)計(jì)。本書內(nèi)容的組織大致遵循數(shù)據(jù)科學(xué)項(xiàng)目研究的典型步驟：收集數(shù)據(jù)以獲得要研究問題的相關(guān)信息；數(shù)據(jù)清洗、匯總和可視化；數(shù)據(jù)建模和分析；將模型的決策轉(zhuǎn)化為關(guān)于研究問題的決策和預(yù)測(cè)。由于本書面向數(shù)學(xué)和統(tǒng)計(jì)學(xué)，因此重點(diǎn)將放在建模和分析上。
第1章首先介紹如何使用Python中的數(shù)據(jù)操作包pandas來讀取、構(gòu)造、匯總和可視化數(shù)據(jù)。雖然本章涵蓋的內(nèi)容不涉及數(shù)學(xué)知識(shí)，但它是數(shù)據(jù)科學(xué)的一個(gè)明顯的切入點(diǎn)：更好地理解可用數(shù)據(jù)的性質(zhì)。第2章介紹統(tǒng)計(jì)學(xué)習(xí)的主要內(nèi)容。我們區(qū)分了監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)技術(shù)，討論了如何評(píng)估(無)監(jiān)督學(xué)習(xí)方法的預(yù)測(cè)性能。統(tǒng)計(jì)學(xué)習(xí)的重要部分是數(shù)據(jù)建模，我們介紹了數(shù)據(jù)科學(xué)中各種有用的模型，包括正態(tài)線性模型、多元正態(tài)模型和貝葉斯模型。機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)中的許多算法都使用了蒙特卡羅方法，因此第3章介紹蒙特卡羅方法。蒙特卡羅方法可用于模擬、估計(jì)和優(yōu)化。第4章介紹無監(jiān)督學(xué)習(xí)，討論諸如密度估計(jì)、聚類和主成分分析等方法。第5章介紹監(jiān)督學(xué)習(xí)，解釋許多回歸模型背后的思想。在這一章，我們還描述了如何使用Python的statsmodels包來定義和分析線性模型。第6章在第5章的基礎(chǔ)上提出了核方法和正則化的強(qiáng)大概念，利用再生核希爾伯特空間理論，使得第5章的基本思想得以巧妙地展開。第7章介紹分類任務(wù)，這種任務(wù)也屬于監(jiān)督學(xué)習(xí)框架，因此這章考慮各種分類方法，包括貝葉斯分類、線性判別分析和二次判別分析、K近鄰和支持向量機(jī)。第8章探討利用樹結(jié)構(gòu)進(jìn)行回歸和分類的通用方法。第9章探索神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的工作原理，證明這些學(xué)習(xí)算法具有簡(jiǎn)單的數(shù)學(xué)解釋。每章的結(jié)尾都提供了大量的練習(xí)。



每一章的Python代碼和數(shù)據(jù)集可以從GitHub網(wǎng)站https://github�眂om/DSML�瞓ook下載。


致謝
第1章和第5章的一些Python代碼改編自文獻(xiàn)\[73\]。感謝Benoit Liquet提供這些代碼，也感謝Lauren Jones將R代碼轉(zhuǎn)換成Python代碼。
感謝所有通過評(píng)論、反饋和建議為本書做出貢獻(xiàn)的人，他們是Qibin Duan、Luke Taylor、Rémi Mouzayek、Harry Goodman、Bryce Stansfield、Ryan Tongs、Dillon Steyl、Bill Rudd、Nan Ye、Christian Hirsch、Chris van der Heide、Sarat Moka、Aapeli Vuorinen、Joshua Ross、Giang Nguyen以及匿名的評(píng)論者。David Grubbs作為本書的編輯，他的專業(yè)精神和對(duì)細(xì)節(jié)的關(guān)注值得特別稱贊。
本書在澳大利亞數(shù)學(xué)科學(xué)研究所2019年暑期班進(jìn)行了測(cè)試，80多名優(yōu)秀的高年級(jí)本科生(優(yōu)等生)在Zdravko I�盉otev講授的機(jī)器學(xué)習(xí)的數(shù)學(xué)方法課程中使用了本書。感謝他們提供寶貴的反饋意見。
特別感謝Robert Salomone、Liam Berry、Robin Carrick和Sam Daley，他們針對(duì)全書內(nèi)容給出了非常詳細(xì)的評(píng)論意見，并編寫、改進(jìn)了我們的Python代碼。他們的熱情、洞察力和善意的幫助是無價(jià)的。
當(dāng)然，如果沒有家人的愛心支持、耐心陪伴和鼓勵(lì)，這些工作是不可能完成的，我們由衷地感謝他們。
本書得到了澳大利亞研究委員會(huì)數(shù)學(xué)與統(tǒng)計(jì)前沿卓越中心的資助，資助編號(hào)為CE140100049。
Dirk P�盞roese、Zdravko I�盉otev、
Thomas Taimre和Radislav Vaisman
布里斯班、悉尼