為什么要寫這本書
隨著商業(yè)競(jìng)爭(zhēng)形勢(shì)的日益嚴(yán)峻，企業(yè)需要不斷尋找提高利潤率、降低成本、提高產(chǎn)出價(jià)值的有效方法，而數(shù)據(jù)化運(yùn)營恰好是滿足企業(yè)這一需求的關(guān)鍵武器。數(shù)據(jù)化運(yùn)營包含了運(yùn)營和數(shù)據(jù)兩種要素，前者需要較多的業(yè)務(wù)經(jīng)驗(yàn)，而后者對(duì)數(shù)據(jù)分析提出了更高的要求。只有把二者結(jié)合起來，在技能、經(jīng)驗(yàn)和技術(shù)的支持下，數(shù)據(jù)化運(yùn)營才能在企業(yè)內(nèi)部真正落地、生根、發(fā)芽。
對(duì)數(shù)據(jù)化運(yùn)營而言，各企業(yè)普遍關(guān)注的結(jié)構(gòu)化數(shù)據(jù)分析、挖掘的場(chǎng)景非常豐富，例如銷售預(yù)測(cè)、會(huì)員生命周期維護(hù)、商品結(jié)構(gòu)分析等，這些普遍的共同認(rèn)知為本書提供了接地氣的基礎(chǔ)。但除了這些傳統(tǒng)內(nèi)容外，還有很多非結(jié)構(gòu)化的數(shù)據(jù)主題，它們?cè)跀?shù)據(jù)化運(yùn)營過程中的作用越來越重要，例如主題挖掘、圖片分析、文本挖掘、圖像識(shí)別、語音識(shí)別等，這些內(nèi)容拓展了數(shù)據(jù)化運(yùn)營發(fā)揮價(jià)值的場(chǎng)景基礎(chǔ)。
Python作為數(shù)據(jù)工作領(lǐng)域的關(guān)鍵武器之一，具有開源、多場(chǎng)景應(yīng)用、快速上手、完善的生態(tài)和服務(wù)體系等特征，這些特征使其在數(shù)據(jù)分析與數(shù)據(jù)化運(yùn)營的任何場(chǎng)景中都能游刃有余；即使在其為數(shù)不多的短板功能上，Python仍然可以基于膠水的特征，引入對(duì)應(yīng)的第三方工具、庫、程序等來實(shí)現(xiàn)全場(chǎng)景、全應(yīng)用的覆蓋。在海量數(shù)據(jù)背景下，Python對(duì)超大數(shù)據(jù)規(guī)模的支持性能、數(shù)據(jù)分析處理能力、建模的專業(yè)程度及開發(fā)便捷性的綜合能力方面要遠(yuǎn)遠(yuǎn)高于其他工具。因此，Python幾乎是數(shù)據(jù)化運(yùn)營工作的不二之選。
縱觀整個(gè)國內(nèi)技術(shù)書籍市場(chǎng)，有關(guān)Python的書籍不少，但普遍都是基于工具層面的介紹，且側(cè)重于工具本身的方法、參數(shù)、調(diào)用、實(shí)例，與真正實(shí)踐結(jié)合的較少；而有關(guān)數(shù)據(jù)化運(yùn)營的書籍，目前市場(chǎng)上還為數(shù)不多，現(xiàn)有的數(shù)據(jù)化運(yùn)營方面的書籍大多是基于Excel等工具的入門級(jí)別的分析類書籍。因此，本書結(jié)合Python和數(shù)據(jù)化運(yùn)營兩個(gè)方面，在數(shù)據(jù)分析工作流程和數(shù)據(jù)化運(yùn)營主題結(jié)合的基礎(chǔ)上，通過指標(biāo)、模型、方法、案例配合工具的形式，詳細(xì)介紹了如何使用Python來支持?jǐn)?shù)據(jù)化運(yùn)營，尤其是傳統(tǒng)工具無法滿足的應(yīng)用場(chǎng)景。
本書第1版上市后，得到來自各行各業(yè)很多好友和讀者的支持和反饋，在此致以感謝！第2版在第1版基礎(chǔ)上做了很多優(yōu)化甚至重寫，還新增了很多內(nèi)容。
優(yōu)化以及重寫的內(nèi)容
全部代碼基于Python 3做優(yōu)化或重寫，書中的Python版本是Python 3.7。
基于Jupyter做調(diào)試、分析和應(yīng)用，更適合數(shù)據(jù)分析師的應(yīng)用場(chǎng)景，包括探索性分析、數(shù)據(jù)預(yù)處理、結(jié)果可視化展示、交互式演示等。
網(wǎng)頁數(shù)據(jù)解析中基于Class做功能封裝和處理，便于以網(wǎng)頁對(duì)象為主體的數(shù)據(jù)工作。
PIL/Pollow的替換和方法應(yīng)用介紹，多用于圖像處理工作。
第4章數(shù)據(jù)挖掘的案例部分，每一個(gè)案例都經(jīng)過重寫，并增加了很多知識(shí)點(diǎn)，以實(shí)際案例為需求，實(shí)際應(yīng)用數(shù)據(jù)挖掘算法做建模和分析應(yīng)用。
Matplotlib調(diào)用3D圖形展示多個(gè)維度的信息，并可通過拖曳展示不同角度下數(shù)據(jù)的分布情況。
第5章第1個(gè)案例是RFM代碼的重構(gòu)，以及針對(duì)不同分組的精細(xì)化運(yùn)營策略的制定。
第5章第2個(gè)案例是基于嵌套Pipeline和FeatureUnion復(fù)合數(shù)據(jù)工作流的營銷響應(yīng)預(yù)測(cè)，并基于復(fù)合（兩層管道）的Pipeline做數(shù)據(jù)工作流管理。
第6章第2個(gè)案例是基于集成算法GBDT和RandomForest的投票組合模型的異常檢測(cè)，GBDT和RandomForest是兩個(gè)典型的代表模型準(zhǔn)確度和穩(wěn)定度的算法，這種兼顧準(zhǔn)和穩(wěn)的模型搭配更符合實(shí)際需求。
第7章基于自動(dòng)節(jié)點(diǎn)樹的數(shù)據(jù)異常原因來下探分析樹形圖的內(nèi)容和可視化，優(yōu)化了代碼和樣式，可視化效果更好，并能獲得更多信息，包括維度分解過程、主因子、其他因子和潛在因子等。
新增的內(nèi)容
基于Anaconda的Python環(huán)境的安裝和配置，更方便初學(xué)者快速搭建Python應(yīng)用環(huán)境。
Jupyter基礎(chǔ)工具的用法，包括安裝、啟動(dòng)、基礎(chǔ)操作、魔術(shù)命令、新內(nèi)核安裝和使用、執(zhí)行shell命令、擴(kuò)展和插件使用、系統(tǒng)基礎(chǔ)配置等。
基于Pandas的get_dummies做標(biāo)志轉(zhuǎn)換，即OneHotEncode轉(zhuǎn)換。
特征選擇的降維中新增feature_selection配合SelectPercentile、VarianceThreshold、RFE、SelectFromModel做特征選擇。
特征轉(zhuǎn)換的降維中新增PCA、LDA、FA、ICA這幾個(gè)數(shù)據(jù)轉(zhuǎn)換和降維的具體方法。
特征組合的降維中新增基于GBDT、PolynomialFeatures、gplearn的genetic方法做組合特征。
第4章的分類算法中新增使用XGboost做分類應(yīng)用，以及配合graphviz輸出矢量圖形。
pyecharts的數(shù)據(jù)可視化的應(yīng)用和操作，尤其是關(guān)聯(lián)關(guān)系圖的應(yīng)用。
Python通過rpy2調(diào)用R程序，實(shí)現(xiàn)關(guān)聯(lián)算法的挖掘，包括直接執(zhí)行程序文件、代碼段、變量使用等。
Python通過rpy2調(diào)用auto.airma實(shí)現(xiàn)自動(dòng)ARIMA的應(yīng)用，降低Python在時(shí)間序列算法應(yīng)用時(shí)的門檻。
自動(dòng)化學(xué)習(xí)：增加了對(duì)于自動(dòng)化數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的理論、流程、知識(shí)和應(yīng)用庫介紹，并基于TPOT做自動(dòng)化回歸和分類學(xué)習(xí)案例演示。
我希望能盡自己的微薄之力，將過往所學(xué)、所感、所知提煉出來供更多人了解。如果讀者能從本書中感悟一二，我將倍感欣慰；如果讀者能將其用于工作實(shí)踐，這將是本書以及數(shù)據(jù)工作之福！
讀者對(duì)象
本書旨在提供有關(guān)數(shù)據(jù)與運(yùn)營的綜合知識(shí)的介紹和應(yīng)用，雖然基礎(chǔ)工具是Python，但本書并沒有就Python基礎(chǔ)規(guī)則和語法做詳細(xì)介紹，因此希望讀者具有一定的Python基礎(chǔ)。相信我，只要你認(rèn)真看過Python教學(xué)視頻（網(wǎng)絡(luò)上有很多），只需大概2個(gè)小時(shí)就能具備這種基礎(chǔ)。
本書對(duì)讀者的知識(shí)背景沒有特定要求，書中的內(nèi)容都盡量言簡意賅、深入淺出。本書適合以下幾類讀者閱讀：
企業(yè)運(yùn)營人員。本書的核心命題就是運(yùn)營，其中涉及會(huì)員運(yùn)營、商品運(yùn)營、流量運(yùn)營和內(nèi)容運(yùn)營四大主題，無論運(yùn)營人員希望獲得運(yùn)營知識(shí)，還是希望獲得數(shù)據(jù)分析和挖掘方法，都可以從書中找到。
數(shù)據(jù)分析師。毫無疑問，數(shù)據(jù)分析師是本書的核心受眾群體之一，書中介紹的數(shù)據(jù)抽取、預(yù)處理和分析挖掘經(jīng)驗(yàn)一定能為數(shù)據(jù)分析師帶來很多不一樣的收獲，每個(gè)運(yùn)營主題下的小技巧、模型和案例更能激發(fā)數(shù)據(jù)分析師的靈感原來數(shù)據(jù)工作還能這樣做。
Python工程師。坦白講，本書不是一本專門介紹Python語法、規(guī)則的書籍。但Python作為一種萬能工具，在數(shù)據(jù)分析和挖掘領(lǐng)域具有舉足輕重的地位，對(duì)于任何一位工作領(lǐng)域中涉及數(shù)據(jù)（或大數(shù)據(jù)）的Python工程師來說，本書的價(jià)值會(huì)成倍增長。書中對(duì)Python數(shù)據(jù)處理、計(jì)算和挖掘庫的應(yīng)用介紹，以及對(duì)有關(guān)工具庫的用法、注意點(diǎn)和小知識(shí)的介紹一定會(huì)使Python工程師的工作和能力更上一層樓。
數(shù)據(jù)挖掘工程師。數(shù)據(jù)分析與挖掘在實(shí)際運(yùn)營中都是不分家的，本書沒有冠以挖掘之名，但并不意味著沒有挖掘（或機(jī)器學(xué)習(xí)）算法。本書第4章基本都是圍繞常用算法展開的知識(shí)介紹，其中各個(gè)算法類的大坑都是筆者多年經(jīng)驗(yàn)的總結(jié)；在運(yùn)營主題的案例中幾乎都用到了算法來解決實(shí)際問題。除了基本的數(shù)據(jù)挖掘以外，本書還涉及自然語言處理、日志處理、文本挖掘、圖像處理等相關(guān)知識(shí)。
如何閱讀本書
本書內(nèi)容從邏輯上共分為兩大部分，第一部分是有關(guān)數(shù)據(jù)分析類的主題，第二部分是有關(guān)數(shù)據(jù)化運(yùn)營的主題。
第一部分包括第1～4章和附錄，主要介紹了Python和數(shù)據(jù)化運(yùn)營的基本知識(shí)、數(shù)據(jù)來源獲取、數(shù)據(jù)預(yù)處理，以及數(shù)據(jù)分析和挖掘的關(guān)鍵經(jīng)驗(yàn)。其中：
第1章是Python和數(shù)據(jù)化運(yùn)營的基本知識(shí)介紹。
第2章對(duì)傳統(tǒng)的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)來源及獲取、讀取和解析進(jìn)行了介紹，包括數(shù)據(jù)文件、數(shù)據(jù)庫、API、流式數(shù)據(jù)、外部公開數(shù)據(jù)等，也提到了如何讀取網(wǎng)頁、文本、圖片、視頻、語音等類型的數(shù)據(jù)。
第3章總結(jié)了10個(gè)有關(guān)數(shù)據(jù)化運(yùn)營過程的數(shù)據(jù)預(yù)處理經(jīng)驗(yàn)，涵蓋了常見的數(shù)據(jù)清洗、標(biāo)志轉(zhuǎn)換、數(shù)據(jù)降維、樣本不均衡、數(shù)據(jù)源沖突、抽樣、共線性、相關(guān)性分析、數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)離散化等內(nèi)容，并在擴(kuò)展內(nèi)容中簡單介紹了有關(guān)網(wǎng)頁、日志、圖像、自然語言的文本預(yù)處理工作，作為拓展知識(shí)閱讀。
第4章總結(jié)了數(shù)據(jù)分析、挖掘和網(wǎng)站分析方法的8個(gè)主題類，內(nèi)容涵蓋聚類、回歸、分類、關(guān)聯(lián)、異常檢測(cè)、時(shí)間序列、路徑分析、漏斗分析、歸因分析、熱力圖分析及其他統(tǒng)計(jì)分析相關(guān)話題，各個(gè)類別中都以關(guān)鍵經(jīng)驗(yàn)為基礎(chǔ)，圍繞應(yīng)用誤區(qū)、注意事項(xiàng)和應(yīng)用方法展開詳細(xì)介紹。
第二部分包括第5～9章，分別介紹了會(huì)員運(yùn)營、商品運(yùn)營、流量運(yùn)營和內(nèi)容運(yùn)營四大主題，以及提升數(shù)據(jù)化運(yùn)營價(jià)值的方法。在每個(gè)數(shù)據(jù)化運(yùn)營主題中都包含了基本知識(shí)、關(guān)鍵指標(biāo)、應(yīng)用場(chǎng)景、數(shù)據(jù)分析模型、數(shù)據(jù)分析小技巧、數(shù)據(jù)分析大實(shí)話及兩個(gè)應(yīng)用案例。
基本知識(shí)：有關(guān)運(yùn)營主題的基本內(nèi)涵、價(jià)值、用途等方面的介紹。
關(guān)鍵指標(biāo)：運(yùn)營主題的主要評(píng)估和矩陣指標(biāo)，按類別拆分和歸納。
應(yīng)用場(chǎng)景：總結(jié)數(shù)據(jù)對(duì)于運(yùn)營的價(jià)值落地在哪些場(chǎng)景中。
數(shù)據(jù)分析模型：大型的數(shù)據(jù)分析方法，包括統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、網(wǎng)站分析、數(shù)學(xué)模型。
數(shù)據(jù)分析小技巧：小型的數(shù)據(jù)分析方法，看起來相對(duì)簡單但非常有效。
數(shù)據(jù)分析大實(shí)話：有關(guān)運(yùn)營或數(shù)據(jù)分析的潛在規(guī)律的解釋及介紹。
應(yīng)用案例：每個(gè)運(yùn)營主題都包含兩個(gè)應(yīng)用案例，基本上每個(gè)案例的應(yīng)用算法和技巧都不相同，目的是呈現(xiàn)不同算法在不同場(chǎng)景下的差異化應(yīng)用。
除了以上內(nèi)容外，以下信息是對(duì)本書中涉及特定內(nèi)容的解釋和說明。
漸進(jìn)式的內(nèi)容：本書的Python代碼和實(shí)現(xiàn)部分，在不同章節(jié)可能會(huì)具有不同的代碼風(fēng)格，包括定義規(guī)則、注釋、功能實(shí)現(xiàn)等，這是因?yàn)楣P者試圖遵循循序漸進(jìn)的原則，先介紹功能實(shí)現(xiàn)，然后再介紹其他的備選方案，以及規(guī)范、原則等來輔助Python的實(shí)現(xiàn)。這樣做一方面是希望盡量多地展示解決同一類問題的不同方法，讓讀者能根據(jù)自身實(shí)際情況選擇最合適的用法示例；另一方面是因?yàn)�，考慮到可能有很多讀者不具備較強(qiáng)的Python基礎(chǔ)知識(shí)，筆者不希望一上來就讓這些讀者感覺到使用Python會(huì)受到各種條條框框的限制，從而打擊他們使用Python的信心，畢竟，能實(shí)現(xiàn)功能需求是第一位的。
內(nèi)容延伸：本書第1～4章都有內(nèi)容延伸章節(jié)，其內(nèi)容是有關(guān)非結(jié)構(gòu)化主題的讀取、分析、處理。由于每個(gè)主題展開來都能寫成一本書，因此僅在內(nèi)容延伸中拋磚引玉，有興趣的讀者可以了解和學(xué)習(xí)。
相關(guān)知識(shí)點(diǎn)：本書很多章節(jié)中都有相關(guān)知識(shí)點(diǎn)部分，其內(nèi)容是關(guān)于特定工具、知識(shí)、算法、庫等方面的較為詳細(xì)的介紹，充當(dāng)了本書的知識(shí)堡壘。
本章小結(jié)：每章的結(jié)尾都有本章小結(jié)，在小結(jié)中包含4部分內(nèi)容。
內(nèi)容小結(jié)：有關(guān)本章內(nèi)容