為什么要寫(xiě)這本書(shū)

2011年，《哈佛商業(yè)評(píng)論》將數(shù)據(jù)科學(xué)稱(chēng)作21世紀(jì)吸引人的行業(yè)，隨后，數(shù)據(jù)科學(xué)這個(gè)概念開(kāi)始從互聯(lián)網(wǎng)漫延到各行各業(yè)。但是人們對(duì)這個(gè)概念的內(nèi)涵和外延并無(wú)統(tǒng)一的認(rèn)知，同時(shí)，數(shù)據(jù)科學(xué)也不像軟件工程、市場(chǎng)營(yíng)銷(xiāo)等方向有較為明確的教育體系作為支撐，開(kāi)設(shè)數(shù)據(jù)科學(xué)學(xué)科和課程的學(xué)校都是2011年之后才開(kāi)始探索的，并且大多沒(méi)有一個(gè)適用于工業(yè)應(yīng)用的課程體系。從業(yè)人員普遍反映需要一個(gè)系統(tǒng)的框架來(lái)搭建自己的技術(shù)棧和知識(shí)體系，從而提升專(zhuān)業(yè)化的能力。因此，市場(chǎng)上迫切需要一本覆蓋面廣、應(yīng)用性強(qiáng)、深入淺出的數(shù)據(jù)科學(xué)手冊(cè)。

本書(shū)的作者是國(guó)內(nèi)數(shù)據(jù)科學(xué)一線的從業(yè)者，創(chuàng)作目的主要有以下三個(gè)。

1）提供一個(gè)以商業(yè)場(chǎng)景為導(dǎo)向的實(shí)用量化方法論。數(shù)據(jù)科學(xué)是為商業(yè)服務(wù)的，重要的能力是收斂開(kāi)放的商業(yè)問(wèn)題，并有針對(duì)性地選擇適當(dāng)?shù)牧炕�框架進(jìn)行后驗(yàn)數(shù)據(jù)分析。這是一個(gè)相輔相成的過(guò)程，收斂的過(guò)程既依賴(lài)對(duì)業(yè)務(wù)的深刻理解，又需要充分理解各種分析框架的假設(shè)和抽象原理。

2）提供一個(gè)入門(mén)的臺(tái)階，供讀者按圖索驥、深入研究。數(shù)據(jù)科學(xué)領(lǐng)域知識(shí)面廣，又有一定的深度，需要長(zhǎng)期的學(xué)習(xí)和經(jīng)驗(yàn)的積累。一本書(shū)很難涵蓋數(shù)據(jù)科學(xué)的所有知識(shí)點(diǎn)，但是本書(shū)可以點(diǎn)明關(guān)鍵節(jié)點(diǎn)，起到引導(dǎo)作用，幫助讀者進(jìn)行后續(xù)的進(jìn)階學(xué)習(xí)。

3）展示數(shù)據(jù)科學(xué)所需的專(zhuān)業(yè)能力和門(mén)檻，為讀者在求職過(guò)程中找準(zhǔn)定位、為人事部門(mén)進(jìn)行職能設(shè)計(jì)提供范例。現(xiàn)在數(shù)據(jù)科學(xué)領(lǐng)域的就業(yè)和招聘十分熱門(mén)，但是能說(shuō)清數(shù)據(jù)科學(xué)專(zhuān)家到底需要什么樣的技能、需要達(dá)到什么樣的程度，以及這個(gè)行業(yè)有什么典型成功案例的人卻非常少。

讀者對(duì)象

本書(shū)適合以下讀者：

初入職場(chǎng)的數(shù)據(jù)分析師，用于升級(jí)個(gè)人專(zhuān)業(yè)分析技能；

從業(yè)多年的數(shù)據(jù)科學(xué)管理者，用于梳理、整合知識(shí)體系，提升團(tuán)隊(duì)能力；

數(shù)據(jù)科學(xué)、商業(yè)分析等專(zhuān)業(yè)的師生，用于延展閱讀；

數(shù)據(jù)科學(xué)行業(yè)的人力專(zhuān)家和獵頭，用于標(biāo)定潛在候選人能力。

本書(shū)特色

相比于市面上其他數(shù)據(jù)科學(xué)相關(guān)圖書(shū)，本書(shū)有以下特色。

1）將技術(shù)與商業(yè)場(chǎng)景緊密結(jié)合，強(qiáng)調(diào)開(kāi)放性商業(yè)問(wèn)題在量化分析上的收斂。市場(chǎng)上不乏純技術(shù)類(lèi)的數(shù)據(jù)科學(xué)圖書(shū)和各種機(jī)器學(xué)習(xí)建模、統(tǒng)計(jì)計(jì)算的圖書(shū)，但是這些書(shū)都跳過(guò)了對(duì)開(kāi)放式商業(yè)問(wèn)題的思考，直接針對(duì)已經(jīng)非常明確的建模本身進(jìn)行介紹。本書(shū)則將重心放在案例分析的全流程上，既講解量化模型的理論，又解釋商業(yè)到數(shù)理模型的映射過(guò)程，還強(qiáng)調(diào)了對(duì)模型結(jié)果的解讀和應(yīng)用，實(shí)用性非常強(qiáng)。

2）這是國(guó)內(nèi)本系統(tǒng)介紹統(tǒng)計(jì)實(shí)驗(yàn)在多種復(fù)雜商業(yè)場(chǎng)景下具體應(yīng)用的書(shū)。統(tǒng)計(jì)實(shí)驗(yàn)相關(guān)的圖書(shū)通常分為三類(lèi)：類(lèi)側(cè)重理論研究，對(duì)于已經(jīng)工作的讀者來(lái)說(shuō)實(shí)踐意義不大，且學(xué)習(xí)難度高；第二類(lèi)是將生物醫(yī)學(xué)領(lǐng)域的理論和案例相結(jié)合，這類(lèi)書(shū)的應(yīng)用場(chǎng)景和背景與互聯(lián)網(wǎng)行業(yè)相差較大，不容易做到舉一反三；第三類(lèi)是少部分互聯(lián)網(wǎng)領(lǐng)域統(tǒng)計(jì)實(shí)驗(yàn)的書(shū)，這類(lèi)書(shū)多是外文，知識(shí)較新，閱讀門(mén)檻較高，通常針對(duì)互聯(lián)網(wǎng)廣告和搜索領(lǐng)域，在不理解理論背景的情況下也難以遷移到其他場(chǎng)景。

3）本書(shū)應(yīng)用場(chǎng)景覆蓋面廣，強(qiáng)調(diào)實(shí)用，可操作性強(qiáng)，將方法論與配套案例的背景、代碼、解讀等模塊結(jié)合在一起，讓讀者學(xué)習(xí)后即可運(yùn)用在實(shí)踐中。

如何閱讀本書(shū)

這是一本將數(shù)據(jù)科學(xué)三要素商業(yè)理解、量化模型、數(shù)據(jù)技術(shù)全面打通的實(shí)戰(zhàn)性著作，是來(lái)自騰訊、滴滴、快手等一線互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師和算法工程師的經(jīng)驗(yàn)總結(jié)，得到了SQLFlow創(chuàng)始人以及騰訊、網(wǎng)易、快手、貝殼找房、谷歌等企業(yè)的專(zhuān)家一致好評(píng)和推薦。

全書(shū)三個(gè)部分，內(nèi)容相對(duì)獨(dú)立，既能幫助初學(xué)者建立知識(shí)體系，又能幫助從業(yè)者解決商業(yè)中的實(shí)際問(wèn)題，還能幫助有經(jīng)驗(yàn)的專(zhuān)家快速掌握數(shù)據(jù)科學(xué)的技術(shù)和發(fā)展動(dòng)向。內(nèi)容圍繞非實(shí)驗(yàn)環(huán)境下的觀測(cè)數(shù)據(jù)的分析、實(shí)驗(yàn)的設(shè)計(jì)和分析、自助式數(shù)據(jù)科學(xué)平臺(tái)3大主題展開(kāi)，涉及統(tǒng)計(jì)學(xué)、經(jīng)濟(jì)學(xué)、機(jī)器學(xué)習(xí)、實(shí)驗(yàn)科學(xué)等多個(gè)領(lǐng)域，包含大量常用的數(shù)據(jù)科學(xué)方法、簡(jiǎn)潔的代碼實(shí)現(xiàn)和經(jīng)典的實(shí)戰(zhàn)案例。

部分（第1～6章）觀測(cè)數(shù)據(jù)的分析技術(shù)

講解了非實(shí)驗(yàn)環(huán)境下不同觀測(cè)數(shù)據(jù)分析場(chǎng)景所對(duì)應(yīng)的分析框架、原理及實(shí)際操作，包括消費(fèi)者選擇偏好分析、消費(fèi)者在時(shí)間維度上的行為分析、基于機(jī)器學(xué)習(xí)的用戶(hù)生命周期價(jià)值預(yù)測(cè)、基于可解釋模型技術(shù)的商業(yè)場(chǎng)景挖掘、基于矩陣分解技術(shù)的用戶(hù)行為規(guī)律發(fā)現(xiàn)與挖掘，以及在不能進(jìn)行實(shí)驗(yàn)分析時(shí)如何更科學(xué)地進(jìn)行全量評(píng)估等內(nèi)容。

第二部分（第7～9章）實(shí)驗(yàn)設(shè)計(jì)和分析技術(shù)

從A/B實(shí)驗(yàn)的基本原理出發(fā)，深入淺出地介紹了各種商業(yè)場(chǎng)景下進(jìn)行實(shí)驗(yàn)設(shè)計(jì)需要參考的原則和運(yùn)用的方法，尤其是在有樣本量約束條件下提升實(shí)驗(yàn)效能的方法及商業(yè)場(chǎng)景限制導(dǎo)致的非傳統(tǒng)實(shí)驗(yàn)設(shè)計(jì)。

第三部分（第10～12章） 自助式數(shù)據(jù)科學(xué)平臺(tái)SQLFlow

針對(duì)性地講解了開(kāi)源的工程化的自助式數(shù)據(jù)科學(xué)平臺(tái)SQLFlow，并通過(guò)系統(tǒng)配置、黑盒模型的解讀器應(yīng)用、聚類(lèi)分析場(chǎng)景等案例幫助讀者快速了解這一面向未來(lái)的數(shù)據(jù)科學(xué)技術(shù)。

勘誤和支持

除封面署名外，參與本書(shū)編寫(xiě)工作的還有：周銀河、丁芬、蘇濤、王禹、吳君涵、楊驍捷、劉沖、王玉璽、劉未名、楊凱迪、李依諾、陳祥、朱文靜。由于作者的水平有限，編寫(xiě)時(shí)間倉(cāng)促，書(shū)中難免會(huì)出現(xiàn)一些錯(cuò)誤或者不準(zhǔn)確的地方，懇請(qǐng)讀者批評(píng)指正。為此，我們特意創(chuàng)建了一個(gè)GitHub倉(cāng)庫(kù)（https://github.com/xieliaing/Data_Science_Industrial_Practice）。讀者可以將發(fā)現(xiàn)的代碼Bug、文字問(wèn)題以及疑惑，在Issue中提出，我們會(huì)將修改后的內(nèi)容及解答通過(guò)Pull Request合并進(jìn)主干。書(shū)中的全部源文件除可以從華章網(wǎng)站下載外，還可以從這個(gè)GitHub倉(cāng)庫(kù)下載，期待能夠得到你們的真摯反饋。

致謝

首先要感謝C. F. Jeff Wu、Williaw S. Cleveland、LinkedIn的DJ Patil及Facebook的Jeff Hammerbacher等先驅(qū)，他們成功地開(kāi)創(chuàng)了數(shù)據(jù)科學(xué)這一個(gè)行業(yè)，影響和激勵(lì)了無(wú)數(shù)人投身其中。

感謝快手科技副總裁、數(shù)據(jù)分析部負(fù)責(zé)人宋世君把數(shù)據(jù)科學(xué)的理念引入國(guó)內(nèi)，實(shí)現(xiàn)了從0到1的跨越。感謝我原來(lái)統(tǒng)計(jì)科學(xué)團(tuán)隊(duì)的同事們，他們是國(guó)內(nèi)數(shù)據(jù)科學(xué)的開(kāi)拓者，通過(guò)實(shí)踐讓數(shù)據(jù)科學(xué)的理念在國(guó)內(nèi)萌芽發(fā)展、完善進(jìn)步并得到認(rèn)可。

感謝發(fā)起并維護(hù)SQLFlow開(kāi)源社區(qū)的王益博士、劉勇峰老師及其開(kāi)發(fā)團(tuán)隊(duì)。

感謝機(jī)械工業(yè)出版社華章公司的楊福川老師和韓蕊老師，在這一年多的時(shí)間里始終支持我們寫(xiě)作，保障了本書(shū)順利完成。

謹(jǐn)以此書(shū)獻(xiàn)給我親愛(ài)的家人以及眾多熱愛(ài)并投身數(shù)據(jù)科學(xué)的朋友們！

謝梁　　

2021年2月8日