曾幾何時，我還是一名研究生，仿佛在茫茫大海中漂泊，船上沒有舵手，研究方向不盡如人意，前途未卜。后來，我偶然看到了一篇題為支持向量機：是炒作還是福音？的文章。彼時是21世紀初，支持向量機(Support Vector Machine，SVM)無疑是當時最重要的機器學(xué)習(xí)技術(shù)。
在這篇文章中，作者(其中一位后來成為我的博士生導(dǎo)師)采用了一種相當簡化的方法來解釋SVM這一相當復(fù)雜的主題，將直覺和幾何與理論、應(yīng)用交織在一起。這篇文章給我留下了深刻印象，一下子激發(fā)了我對機器學(xué)習(xí)的熱情，并使我對了解這些方法在實現(xiàn)中的工作原理產(chǎn)生了強烈的迷戀。事實上，本書第1章的標題就是向那篇文章致敬，因為它對我的人生產(chǎn)生了十分深刻的影響。
與當時的SVM一樣，集成方法如今也被廣泛認為是最重要的機器學(xué)習(xí)技術(shù)。但很多人沒有意識到的是，在過去幾十年里，一些集成方法一直被認為是最先進的：20世紀90年代的Bagging法，21世紀最初的隨機森林和提升法，21世紀10年代的梯度提升法，以及21世紀20年代的XGBoost。最佳機器學(xué)習(xí)模型在不斷變化，集成方法似乎確實值得炒作。
在過去10年中，我有幸花費了大量時間訓(xùn)練各種類型的集成模型，將它們應(yīng)用于工業(yè)領(lǐng)域，并撰寫了相關(guān)的學(xué)術(shù)研究論文。在本書中，我盡可能多地展示了這些集成方法：一些是你肯定聽說過的，還有一些你應(yīng)該真正了解的新方法。
本書絕不僅是一本按部就班、代碼剪貼的教程(雖然你也可以這樣使用它)。網(wǎng)絡(luò)上有很多這樣的優(yōu)秀教程，可以讓你立即開始處理數(shù)據(jù)集。相反，我在介紹每一種新方法時，都會采用一種身臨其境的方式，這種方式的靈感來源于我讀過的第一篇機器學(xué)習(xí)論文，在我擔任研究生講師期間，我在大學(xué)課堂上對這篇論文進行了改進。
我始終認為，要深入理解一個技術(shù)主題，就必須將其剝離、拆解，并嘗試重新結(jié)合。在本書中，我也采用了同樣的做法：將拆解集成方法，并重新創(chuàng)建它們。將對它們進行調(diào)整，看看它們是如何變化的。這樣，就能看到它們的真正魅力！
希望本書能揭開這些技術(shù)和算法細節(jié)的神秘面紗，讓你進入集成思維模式，無論是為你的課程項目、Kaggle競賽還是用于生產(chǎn)應(yīng)用。
現(xiàn)在是學(xué)習(xí)集成方法的最佳時機。本書涵蓋的模型可分為三大類：
■ 基礎(chǔ)集成方法經(jīng)典的、人們耳熟能詳?shù)姆椒�，包括歷史悠久的集成技術(shù)，如Bagging法、隨機森林和AdaBoost等。
■ 最先進的集成方法現(xiàn)代集成時代經(jīng)過實踐驗證的強大方法，構(gòu)成了許多實際生產(chǎn)中的預(yù)測、推薦和搜索系統(tǒng)的核心。
■ 新興的集成方法剛剛問世的最新方法，用于應(yīng)對新需求和新興優(yōu)先事項，如可解釋性(explainability)和解釋性(interpretability)。
每章都將采用三管齊下的方法，介紹不同的集成技術(shù)。首先，你將一步步地直觀了解每種集成方法的原理。其次，你將自己實現(xiàn)每種集成方法的基本版本，以充分理解算法的核心和關(guān)鍵。最后，你將學(xué)習(xí)如何實際應(yīng)用魯棒的集成庫和工具。
大多數(shù)章節(jié)還提供了來自現(xiàn)實世界數(shù)據(jù)的案例研究，這些數(shù)據(jù)來自手寫數(shù)字預(yù)測、推薦系統(tǒng)、情感分析、需求預(yù)測等應(yīng)用領(lǐng)域。這些案例適當?shù)亟鉀Q了幾個實際應(yīng)用中的問題，包括預(yù)處理和特征工程、超參數(shù)選擇、高效訓(xùn)練技術(shù)和有效的模型評估。
讀者對象
本書面向廣泛的讀者群體：
■ 對使用集成方法在實際應(yīng)用中獲得最佳數(shù)據(jù)感興趣的數(shù)據(jù)科學(xué)家。
■ 正在構(gòu)建、評估和部署基于集成方法的生產(chǎn)就緒型應(yīng)用程序和流程的MLOps和DataOps工程師。
■ 希望將本書作為學(xué)習(xí)資料或補充教科書的數(shù)據(jù)科學(xué)和機器學(xué)習(xí)專業(yè)的學(xué)生。
■ Kaggler和數(shù)據(jù)科學(xué)愛好者，可將本書作為學(xué)習(xí)集成方法無盡建模可能性的切入點。
本書不是機器學(xué)習(xí)和數(shù)據(jù)科學(xué)的入門讀物。本書假定你已經(jīng)掌握了一些機器學(xué)習(xí)的基礎(chǔ)知識，并且至少使用過一種基本的學(xué)習(xí)技術(shù)(如決策樹)。
此外，本書還假定你掌握Python的基礎(chǔ)知識。本書中的示例、可視化和章節(jié)案例研究均使用Python和Jupyter Notebook。了解其他常用的Python軟件包，如NumPy(用于數(shù)學(xué)計算)、pandas(用于數(shù)據(jù)處理)和Matplotlib(用于可視化)，也是有用的，但并非必要。實際上，你可通過示例和案例研究來學(xué)習(xí)如何使用這些包。
本書結(jié)構(gòu)
本書分3個部分，共9章。第Ⅰ部分是集成方法的簡單介紹，第Ⅱ部分介紹并解釋幾種基本的集成方法，第Ⅲ部分涵蓋高級主題。
第Ⅰ部分集成學(xué)習(xí)基礎(chǔ)知識介紹集成方法以及為什么要學(xué)習(xí)集成方法。該部分還包含本書其余部分所涉及的集成方法的路線圖。
■ 第1章討論集成方法和基本集成術(shù)語，介紹擬合度與復(fù)雜性的權(quán)衡(或更正式的說法是偏差-方差權(quán)衡)。你將在該章構(gòu)建第一個集成模型。
第Ⅱ部分基本集成方法涵蓋幾個重要的集成方法系列，其中許多被認為是基本集成方法，并廣泛應(yīng)用于實際中。在該部分的每一章中，你將學(xué)習(xí)如何從零開始實現(xiàn)不同的集成方法，了解它們的工作原理，并將它們應(yīng)用于實際問題中。
■ 第2章開始介紹并行集成方法，確切地說，是同質(zhì)并行集成。涵蓋的集成方法包括Bagging法、隨機森林(random forest)、Pasting、隨機子空間(random subspace)、random patch法和極度隨機樹(Extra Tree)。
■ 第3章繼續(xù)介紹更多并行集成方法，但本章的重點是異質(zhì)并行集成方法。涵蓋的集成方法包括通過多數(shù)投票結(jié)合基礎(chǔ)模型、加權(quán)結(jié)合、使用Dempster-Shafer進行預(yù)測融合，以及通過Stacking進行元學(xué)習(xí)。
■ 第4章介紹另一種集成方法順序適應(yīng)性集成，特別是將許多弱模型提升為一個強大模型的基本概念：介紹了AdaBoost和LogitBoost等集成方法。
■ 第5章以提升的基本概念為基礎(chǔ)，介紹另一種基本的順序集成方法梯度提升(它將梯度下降與提升相結(jié)合)。該章將討論如何使用scikit-learn和LightGBM訓(xùn)練梯度提升集成。
■ 第6章將繼續(xù)探討順序集成方法，介紹牛頓提升(Newton boosting，是梯度提升的一種高效擴展)，將牛頓下降與提升相結(jié)合。該章將討論如何使用XGBoost訓(xùn)練牛頓提升集成。
第Ⅲ部分集成之外：將集成方法應(yīng)用于你的數(shù)據(jù)將展示如何將集成方法應(yīng)用于許多情況，包括具有連續(xù)值標簽和計數(shù)值標簽的數(shù)據(jù)集以及具有分類特征的數(shù)據(jù)集。還將討論如何解釋你的集成并說明其預(yù)測結(jié)果。
■ 第7章將介紹如何針對不同類型的回歸問題和廣義線性模型(訓(xùn)練標簽為連續(xù)值或計數(shù)值)進行集成訓(xùn)練。內(nèi)容包括線性回歸、泊松回歸、回歸和Tweedie回歸的并行和順序集成方法。
■ 第8章指出使用非數(shù)字特征(特別是分類特征)進行學(xué)習(xí)時面臨的挑戰(zhàn)，并介紹一些編碼方案，有助于為這類數(shù)據(jù)訓(xùn)練有效的集成模型。該章還討論兩個重要的實際問題：數(shù)據(jù)泄露和預(yù)測偏移。最后，將討論如何通過有序編碼和CatBoost來解決這些問題。
■ 第9章從集成方法的角度闡述可解釋人工智能這一新興且非常重要的課題。該章介紹可解釋性的概念及其重要性。還討論幾種常見的黑盒可解釋方法，包括排列特征重要性、部分依賴圖、代理方法、局部解釋模型、Shapley值和SHapley加性解釋。此外，還介紹白盒集成方法、可解釋性提升機和InterpretML包。
■ 結(jié)語為旅程畫上了句號，并提供更多可供進一步探索和閱讀的主題。
雖然本書的大部分章節(jié)都可獨立閱讀，但第7～9章是在本書第Ⅱ部分的基礎(chǔ)上編寫的。

關(guān)于代碼
本書中的所有代碼和示例都是用Python 3編寫的。代碼編排在Jupyter Notebook中，可掃封底二維碼下載。
本書包含許多源代碼示例，這些示例既有以編號形式列出的，也有與普通文本并列的。這兩種情況下，源代碼的格式都是等寬字體，以使其與普通文本區(qū)分開來。許多情況下，原始源代碼都經(jīng)過重新格式化，添加了換行符，并重新調(diào)整了縮進，以適應(yīng)書中可用的頁面空間。