這是一部從云原生角度講解數(shù)據(jù)中臺(tái)的業(yè)務(wù)價(jià)值、產(chǎn)品形態(tài)、架構(gòu)設(shè)計(jì)、技術(shù)選型、落地方法論、實(shí)施路徑和行業(yè)案例的著作,得到了國(guó)內(nèi)外企業(yè)界和學(xué)術(shù)界的技術(shù)專家一致好評(píng)。
本書的作者曾在硅谷的Twitter等企業(yè)從事大數(shù)據(jù)平臺(tái)的建設(shè)工作多年,隨后又成功創(chuàng)辦了國(guó)內(nèi)領(lǐng)先的以云原生數(shù)據(jù)中臺(tái)為核心技術(shù)和產(chǎn)品的企業(yè)。他們將在硅谷的大數(shù)據(jù)平臺(tái)建設(shè)經(jīng)驗(yàn)與在國(guó)內(nèi)的數(shù)據(jù)中臺(tái)建設(shè)經(jīng)驗(yàn)進(jìn)行深度融合,并系統(tǒng)闡述了云原生架構(gòu)對(duì)數(shù)據(jù)中臺(tái)的必要性及其相關(guān)實(shí)踐,對(duì)國(guó)內(nèi)企業(yè)的中臺(tái)建設(shè)和運(yùn)營(yíng)具有很高的參考價(jià)值。
全書共18章,分為四個(gè)部分:
第1部分(第1~4章) 數(shù)據(jù)中臺(tái)與硅谷大數(shù)據(jù)平臺(tái)
首先,從起源、定義、能力、應(yīng)用場(chǎng)景、建設(shè)目標(biāo)、建設(shè)方法論總綱等角度對(duì)數(shù)據(jù)中臺(tái)做了全面的介紹;其次,講解了數(shù)據(jù)中臺(tái)如何驅(qū)動(dòng)數(shù)字化轉(zhuǎn)型;Z后,通過(guò)對(duì)硅谷的Twitter等獨(dú)角獸企業(yè)的數(shù)據(jù)平臺(tái)和國(guó)內(nèi)的數(shù)據(jù)中臺(tái)進(jìn)行對(duì)比,給出了這兩種架構(gòu)之間的異同點(diǎn)。核心內(nèi)容是讓讀者透徹理解數(shù)據(jù)中臺(tái)對(duì)于業(yè)務(wù)的價(jià)值。
第二部分(第5~8章) 數(shù)據(jù)中臺(tái)架構(gòu)與方法論
結(jié)合硅谷的數(shù)據(jù)平臺(tái)的架構(gòu)方法,講解了數(shù)據(jù)中臺(tái)的架構(gòu)方法和9大原則、數(shù)據(jù)中臺(tái)建設(shè)的全套準(zhǔn)備工作和系統(tǒng)方法論,以及云原生架構(gòu)與數(shù)據(jù)中臺(tái)的融合。
第三部分(第9~15章)數(shù)據(jù)中臺(tái)技術(shù)選型與核心內(nèi)容
首先,全方位地介紹了建設(shè)數(shù)據(jù)中臺(tái)時(shí)如何進(jìn)行技術(shù)選型,然后重點(diǎn)講解了數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)流水線管理、數(shù)據(jù)中臺(tái)應(yīng)用開(kāi)發(fā)、數(shù)據(jù)門戶等數(shù)據(jù)中臺(tái)建設(shè)的核心內(nèi)容。
第四部分(第16~18章)數(shù)據(jù)中臺(tái)案例分析
通過(guò)游戲、零售、物聯(lián)網(wǎng)3個(gè)領(lǐng)域的案例講解了數(shù)據(jù)中臺(tái)的搭建、實(shí)現(xiàn)與運(yùn)營(yíng)。
(1)作者在Twitter等硅谷獨(dú)角獸企業(yè)有多年大數(shù)據(jù)平臺(tái)架構(gòu)與開(kāi)發(fā)經(jīng)驗(yàn),同時(shí)又在國(guó)內(nèi)有數(shù)年數(shù)據(jù)中臺(tái)建設(shè)經(jīng)驗(yàn),本書在內(nèi)容上對(duì)這兩方面的經(jīng)驗(yàn)進(jìn)行了充分比較和深度融合。
(2)本書得到了武漢大學(xué)計(jì)算機(jī)學(xué)院前院長(zhǎng)、FaceBook和Twitter前工程總監(jiān)、明略科技副總裁等多位國(guó)內(nèi)外學(xué)術(shù)界和企業(yè)界專家的一致好評(píng)。
(3)從云原生角度切入,全面講解云原生數(shù)據(jù)中臺(tái)的架構(gòu)、技術(shù)選型、落地方法論、實(shí)施路徑和行業(yè)案例。
【免費(fèi)視頻課】作者親授數(shù)字化能力與平臺(tái)構(gòu)建,搭配圖書學(xué)習(xí)效果更佳!
獲取方式:
1、微信關(guān)注華章計(jì)算機(jī)
2、在后臺(tái)回復(fù)關(guān)鍵詞:舞動(dòng)數(shù)字
數(shù)據(jù)中臺(tái)的概念從剛剛提出時(shí)的火熱到近的降溫,似乎已經(jīng)加速走過(guò)了Gartner技術(shù)成熟度曲線的一半周期:從出現(xiàn),到受吹捧,到遭質(zhì)疑,再到進(jìn)入低谷。數(shù)據(jù)中臺(tái)將逐漸消失,還是在成熟后成為像數(shù)據(jù)倉(cāng)庫(kù)一樣的數(shù)據(jù)基礎(chǔ)架構(gòu)?終的答案當(dāng)然要由市場(chǎng)給出,但我們想在本書中基于我們的經(jīng)驗(yàn)與思考,介紹數(shù)據(jù)中臺(tái)出現(xiàn)的根本原因、它在實(shí)現(xiàn)數(shù)據(jù)價(jià)值中的關(guān)鍵作用以及它的建設(shè)方式。
對(duì)于數(shù)據(jù)的價(jià)值,在大數(shù)據(jù)概念普及多年后的今天,大家應(yīng)該是普遍認(rèn)可的。我一直都在從事與數(shù)據(jù)相關(guān)的工作和研究,1996年在武漢大學(xué)跟隨何炎祥老師做分布式數(shù)據(jù)挖掘方面的研究,2000年在美國(guó)馬里蘭大學(xué)做流式數(shù)據(jù)引擎相關(guān)的探索,2005年加入Ask.com做分布式操作系統(tǒng)的數(shù)據(jù)存儲(chǔ)工作。2008年大數(shù)據(jù)概念出現(xiàn),我在Ask.com做了一個(gè)非常明智的決定使用開(kāi)源的Hadoop(而不是我們內(nèi)部的分布式操作系統(tǒng))替代日益昂貴、不堪重負(fù)的Oracle數(shù)據(jù)倉(cāng)庫(kù),雖然我們的內(nèi)部系統(tǒng)比Hadoop快一個(gè)數(shù)量級(jí)。替換了Oracle之后,我們還基于Hadoop平臺(tái)開(kāi)發(fā)了一系列數(shù)據(jù)驅(qū)動(dòng)的產(chǎn)品,滿足了不斷增長(zhǎng)的數(shù)據(jù)產(chǎn)品需求。2011年,我加入Twitter并負(fù)責(zé)大數(shù)據(jù)流水線的建設(shè),我在實(shí)踐中看到公司如何從數(shù)據(jù)中獲取價(jià)值,實(shí)現(xiàn)整個(gè)企業(yè)的數(shù)據(jù)驅(qū)動(dòng)。與此同時(shí),我也與硅谷其他公司同行進(jìn)行了廣泛的探討,這些使我堅(jiān)定了自己的認(rèn)識(shí):未來(lái)的企業(yè)一定是數(shù)據(jù)驅(qū)動(dòng)的企業(yè),未來(lái)的大數(shù)據(jù)一定會(huì)和Word、Excel、數(shù)據(jù)庫(kù)一樣,成為企業(yè)運(yùn)營(yíng)人員的必備技能。
雖然數(shù)據(jù)的價(jià)值得到普遍認(rèn)可,企業(yè)數(shù)字化轉(zhuǎn)型的必要性也是大部分CEO的共識(shí),但業(yè)界對(duì)一個(gè)關(guān)鍵問(wèn)題的看法還遠(yuǎn)沒(méi)有達(dá)成一致:數(shù)據(jù)中臺(tái)是不是支撐企業(yè)數(shù)字化轉(zhuǎn)型的合理的數(shù)據(jù)基礎(chǔ)架構(gòu)?在我們與國(guó)內(nèi)企業(yè)交流的時(shí)候,很多企業(yè)的CEO、CIO仍對(duì)數(shù)據(jù)中臺(tái)到底應(yīng)該是什么形態(tài)有不少疑問(wèn)。與之不同的是,硅谷的大多數(shù)知名獨(dú)角獸公司有與數(shù)據(jù)中臺(tái)架構(gòu)相似的數(shù)據(jù)基礎(chǔ)架構(gòu),即數(shù)據(jù)平臺(tái)(Data Platform),并以此作為企業(yè)數(shù)字化運(yùn)營(yíng)的基礎(chǔ)。這些數(shù)據(jù)平臺(tái)雖然沒(méi)有被稱為中臺(tái),但卻包含了我們通常認(rèn)為中臺(tái)需要承載的任務(wù):打通企業(yè)各個(gè)部門之間的數(shù)據(jù),形成統(tǒng)一的數(shù)據(jù)開(kāi)發(fā)和使用規(guī)范,在企業(yè)各個(gè)部門之間實(shí)現(xiàn)數(shù)據(jù)能力的抽象、共享和復(fù)用。因此,本書試圖找到這些數(shù)據(jù)平臺(tái)的架構(gòu)與國(guó)內(nèi)普遍認(rèn)可的數(shù)據(jù)中臺(tái)架構(gòu)之間的通用理念,并從對(duì)業(yè)務(wù)的實(shí)際需求層面探討這些架構(gòu)設(shè)計(jì)理念的合理性和必要性。
與傳統(tǒng)技術(shù)中間件不一樣,數(shù)據(jù)中臺(tái)雖然也是承接底層數(shù)據(jù)和上層業(yè)務(wù)的中間層,但它的價(jià)值更多體現(xiàn)在與業(yè)務(wù)結(jié)合的能力矩陣,而不是簡(jiǎn)單的數(shù)據(jù)標(biāo)準(zhǔn)化和報(bào)表工具上。各個(gè)業(yè)務(wù)部門可以使用不同的技術(shù)中間件,這樣雖然效率可能低一些,但是同樣可以滿足業(yè)務(wù)的要求。然而,分割的數(shù)據(jù)層無(wú)法對(duì)核心業(yè)務(wù)流程進(jìn)行全局還原和支持,無(wú)法實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的全局決策和產(chǎn)品研發(fā)。與傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)受事前建模的限制不一樣,數(shù)據(jù)中臺(tái)一般使用數(shù)據(jù)湖來(lái)存儲(chǔ)可以反映全局業(yè)務(wù)情況的原始數(shù)據(jù),能夠?qū)诵臉I(yè)務(wù)流程進(jìn)行更全面、更深入的分析,并在此基礎(chǔ)上加快對(duì)市場(chǎng)的認(rèn)識(shí)和反應(yīng),降低產(chǎn)品研發(fā)和試錯(cuò)的成本,縮短時(shí)間。因此,定義好業(yè)務(wù)能力矩陣,讓業(yè)務(wù)部門看到數(shù)據(jù)中臺(tái)實(shí)現(xiàn)從0到1的關(guān)鍵數(shù)據(jù)能力,將大數(shù)據(jù)平臺(tái)從成本中心變成利潤(rùn)中心,應(yīng)該是每個(gè)企業(yè)建設(shè)數(shù)據(jù)中臺(tái)的目標(biāo)。
除了確定對(duì)于業(yè)務(wù)的價(jià)值之外,建設(shè)數(shù)據(jù)中臺(tái)的一個(gè)根本問(wèn)題是技術(shù)架構(gòu)的選擇及設(shè)計(jì)。我在Twitter架構(gòu)師委員會(huì)擔(dān)任負(fù)責(zé)大數(shù)據(jù)平臺(tái)的架構(gòu)師期間,每個(gè)星期都會(huì)參加由CTO組織的產(chǎn)品架構(gòu)評(píng)審和討論會(huì)。這些會(huì)議給我留下深印象的不是對(duì)各種前沿技術(shù)的討論,也不是架構(gòu)設(shè)計(jì)中的技術(shù)難點(diǎn)攻關(guān),而是技術(shù)架構(gòu)對(duì)業(yè)務(wù)的重大影響。很多時(shí)候,我們看到一個(gè)快速發(fā)展的業(yè)務(wù)因?yàn)樵缙诩軜?gòu)設(shè)計(jì)的問(wèn)題而難以迭代,或者企業(yè)的發(fā)展受限于IT部門的效率。而一個(gè)高效的架構(gòu)能夠解放業(yè)務(wù)部門的生產(chǎn)力,真正賦能業(yè)務(wù)人員去完成以前想都不敢想的任務(wù)。其實(shí)數(shù)據(jù)中臺(tái)這個(gè)概念會(huì)在國(guó)內(nèi)出現(xiàn),很大程度上也是因?yàn)榧軜?gòu)的問(wèn)題。試想一下,如果我們?cè)谠O(shè)計(jì)大數(shù)據(jù)平臺(tái)的時(shí)候就已經(jīng)考慮到了消除數(shù)據(jù)孤島、應(yīng)用孤島,統(tǒng)一數(shù)據(jù)規(guī)范,那么還需要單獨(dú)建設(shè)一個(gè)數(shù)據(jù)中臺(tái)嗎?
因此,我們?cè)诒緯杏懻摿嗽圃軜?gòu)對(duì)于數(shù)據(jù)中臺(tái)的必要性。數(shù)據(jù)中臺(tái)的一個(gè)天然特性是支持多元異構(gòu)的數(shù)據(jù)以及處理這些數(shù)據(jù)的工具。雖然很多時(shí)候孤島的產(chǎn)生有組織架構(gòu)的原因,但是缺乏統(tǒng)一的數(shù)據(jù)平臺(tái),無(wú)法快速支持不同部門對(duì)數(shù)據(jù)的不同需求,這些也是產(chǎn)生孤島的重要原因因?yàn)闃I(yè)務(wù)部門需要不斷建設(shè)獨(dú)立的系統(tǒng)以滿足眼前的緊迫需求。在Twitter的大數(shù)據(jù)平臺(tái)建設(shè)過(guò)程中,公司規(guī)模從300人發(fā)展到4000人,集群規(guī)模從80臺(tái)服務(wù)器擴(kuò)展到8000臺(tái)服務(wù)器,利用云原生架構(gòu)我們快速滿足了各個(gè)部門對(duì)不同數(shù)據(jù)的需求,并極大簡(jiǎn)化了統(tǒng)一數(shù)據(jù)規(guī)范的工作。各個(gè)業(yè)務(wù)部門可以快速自主地在平臺(tái)上開(kāi)發(fā)自己的數(shù)據(jù)應(yīng)用,很少需要額外的系統(tǒng)支持,從而大大降低了出現(xiàn)孤島的可能性。隨著云平臺(tái)及容器技術(shù)的不斷成熟,我們認(rèn)為云原生架構(gòu)一定是未來(lái)數(shù)據(jù)平臺(tái)建設(shè)的必然選擇。
當(dāng)然,選擇一個(gè)合適的技術(shù)架構(gòu)只是數(shù)據(jù)中臺(tái)建設(shè)的開(kāi)始,明確了終目標(biāo)也不能保證實(shí)施一定會(huì)成功,我們還需要清晰的實(shí)施路徑和可落實(shí)的方法論。例如:建設(shè)數(shù)據(jù)中臺(tái)是否需要改變組織架構(gòu)?如何進(jìn)行頂層設(shè)計(jì)以及管理實(shí)施迭代?我們認(rèn)為,雖然數(shù)據(jù)中臺(tái)是一個(gè)復(fù)雜的項(xiàng)目,但是其建設(shè)流程是非常明確和可控制的。與業(yè)務(wù)中臺(tái)建設(shè)一般需要與業(yè)務(wù)組織架構(gòu)對(duì)齊不同,數(shù)據(jù)中臺(tái)建設(shè)很少要求對(duì)現(xiàn)有業(yè)務(wù)流程進(jìn)行大的改動(dòng),它的目的是深刻理解當(dāng)前的業(yè)務(wù)流程,提出優(yōu)化建議并提供能力支持。因此,數(shù)據(jù)中臺(tái)落地應(yīng)該采取業(yè)務(wù)驅(qū)動(dòng)、快速落地、小步快跑的方式,而不是一開(kāi)始就做一把大而全的鑰匙。在這個(gè)過(guò)程中,使用合適的指標(biāo)體系衡量數(shù)據(jù)中臺(tái)的投入產(chǎn)出比,以及提供合適的工具賦能業(yè)務(wù)部門,有助于數(shù)據(jù)中臺(tái)得到業(yè)務(wù)部門的支持和認(rèn)可,順利完成中臺(tái)的實(shí)施。在本書中,我們根據(jù)自己的經(jīng)驗(yàn)和業(yè)界的一些成功實(shí)踐對(duì)數(shù)據(jù)中臺(tái)建設(shè)方法論進(jìn)行了深入的探討,希望能對(duì)讀者有所幫助。
1995年,我作為一名程序員參與了中國(guó)農(nóng)業(yè)銀行武漢分行辦公自動(dòng)化系統(tǒng)的建設(shè),此后25年,我有幸在國(guó)內(nèi)和美國(guó)硅谷見(jiàn)證了IT技術(shù)為企業(yè)帶來(lái)的運(yùn)營(yíng)效率的巨大提升。雖然一直在一線,參與了很多有挑戰(zhàn)的技術(shù)工作,但是讓我收獲的還是作為企業(yè)技術(shù)管理者和數(shù)據(jù)負(fù)責(zé)人,與CEO、CMO、CIO一起探討如何用數(shù)據(jù)為企業(yè)產(chǎn)生價(jià)值,以及作為架構(gòu)師來(lái)推動(dòng)OA、數(shù)據(jù)倉(cāng)庫(kù)、ERP、CRM、大數(shù)據(jù)、人工智能在企業(yè)的各種復(fù)雜場(chǎng)景中的落地。對(duì)這兩個(gè)方面進(jìn)行交叉審視,可以發(fā)現(xiàn)技術(shù)架構(gòu)和業(yè)務(wù)能力間的獨(dú)特連接:二者看似沒(méi)有必然的因果關(guān)系,但在深層次上業(yè)務(wù)能力永遠(yuǎn)是技術(shù)架構(gòu)的推動(dòng)力、決策者和買單方。從這個(gè)角度來(lái)講,數(shù)據(jù)庫(kù)的出現(xiàn)解決了交易的問(wèn)題,數(shù)據(jù)倉(cāng)庫(kù)的出現(xiàn)解決了關(guān)系型數(shù)據(jù)高維度的深度分析問(wèn)題,大數(shù)據(jù)的出現(xiàn)解決了海量異構(gòu)數(shù)據(jù)的存儲(chǔ)和分析問(wèn)題,而數(shù)據(jù)中臺(tái)的出現(xiàn)是為了解決業(yè)務(wù)打通和提供全局?jǐn)?shù)據(jù)能力的問(wèn)題。數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)已經(jīng)成為企業(yè)IT架構(gòu)不可或缺的部分,我們認(rèn)為,無(wú)論數(shù)據(jù)中臺(tái)這個(gè)名稱是否會(huì)繼續(xù)存在,它所涉及的問(wèn)題都是企業(yè)的數(shù)據(jù)基礎(chǔ)架構(gòu)必須解決的。因此,本書重點(diǎn)討論了對(duì)于業(yè)務(wù)需求和架構(gòu)設(shè)計(jì)而言數(shù)據(jù)中臺(tái)這個(gè)概念出現(xiàn)的必然性,也深入介紹了架構(gòu)選擇與業(yè)務(wù)需求之間的聯(lián)系,試圖為正在解決這些問(wèn)題的企業(yè)和機(jī)構(gòu)提供一些架構(gòu)設(shè)計(jì)和落地方案上的參考。
本書是智領(lǐng)云團(tuán)隊(duì)協(xié)作的結(jié)晶,除了署名的三位作者之外,產(chǎn)品經(jīng)理王龍飛、王純、黃艷以及設(shè)計(jì)師龔清、市場(chǎng)部劉丹等也在本書的內(nèi)容組織、圖片設(shè)計(jì)方面做了大量工作。此外,非常感謝機(jī)械工業(yè)出版社華章公司的編輯楊福川和羅詞亮,他們?cè)诒緯膶懽鬟^(guò)程中提供了大量的幫助和反饋,讓我們得以順利完成本書的寫作。
希望本書能在應(yīng)對(duì)數(shù)字化轉(zhuǎn)型挑戰(zhàn)方面為讀者提供一些思路和參考,感謝大家的支持。
彭鋒
2021年4月
彭鋒
智領(lǐng)云科技聯(lián)合創(chuàng)始人兼CEO
武漢大學(xué)計(jì)算機(jī)系本科及碩士,美國(guó)馬里蘭大學(xué)計(jì)算機(jī)專業(yè)博士,主要研究方向是流式半結(jié)構(gòu)化數(shù)據(jù)的高性能查詢引擎,在數(shù)據(jù)庫(kù)會(huì)議和期刊SIGMOD、ICDE、TODS上發(fā)表多篇開(kāi)創(chuàng)性論文。
2005年加入世界五百?gòu)?qiáng)企業(yè)IAC Ask.com,任分布式系統(tǒng)及大數(shù)據(jù)工程總監(jiān),負(fù)責(zé)研發(fā)分布式操作系統(tǒng)及中間件,以及集團(tuán)大數(shù)據(jù)平臺(tái)的建設(shè)。2011年加入Twitter,任大數(shù)據(jù)平臺(tái)主任工程師、公司架構(gòu)師委員會(huì)大數(shù)據(jù)負(fù)責(zé)人,負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)及流水線的建設(shè)和管理。作為硅谷天使投資人,曾投資硅谷多家大數(shù)據(jù)相關(guān)初創(chuàng)企業(yè),并擔(dān)任技術(shù)指導(dǎo)和行業(yè)顧問(wèn)。2016年回國(guó)聯(lián)合創(chuàng)立智領(lǐng)云科技有限公司。
宋文欣
智領(lǐng)云科技聯(lián)合創(chuàng)始人兼CTO
武漢大學(xué)計(jì)算機(jī)系本科及碩士,美國(guó)紐約州立大學(xué)石溪分校計(jì)算機(jī)專業(yè)博士。曾先后就職于Ask.com和EA(電子藝界)。在Ask.com期間,擔(dān)任大數(shù)據(jù)部門技術(shù)負(fù)責(zé)人及工程經(jīng)理,使用Hadoop集群處理實(shí)時(shí)搜索數(shù)據(jù),形成全球第1大Search Ads Arbitrage用戶;在EA期間,擔(dān)任數(shù)字平臺(tái)部門高級(jí)研發(fā)經(jīng)理,從無(wú)到有組建EA數(shù)據(jù)平臺(tái)團(tuán)隊(duì),建設(shè)公司大數(shù)據(jù)平臺(tái),為EA全球工作室提供數(shù)據(jù)能力支持。
2016年回國(guó)聯(lián)合創(chuàng)立智領(lǐng)云科技有限公司,組建智領(lǐng)云技術(shù)團(tuán)隊(duì),開(kāi)發(fā)了BDOS大數(shù)據(jù)平臺(tái)操作系統(tǒng)。
孫浩峰
智領(lǐng)云科技市場(chǎng)總監(jiān)
前CSDN內(nèi)容運(yùn)營(yíng)副總編,負(fù)責(zé)網(wǎng)站內(nèi)容和商務(wù)合作、新媒體方面事宜,關(guān)注云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等技術(shù)領(lǐng)域,對(duì)云計(jì)算、網(wǎng)絡(luò)技術(shù)、網(wǎng)絡(luò)存儲(chǔ)有深刻認(rèn)識(shí)。擁有豐富的媒體從業(yè)經(jīng)驗(yàn)和專業(yè)的網(wǎng)絡(luò)安全技術(shù)功底,具有超過(guò)15年的企業(yè)級(jí)IT市場(chǎng)傳播、推廣、宣傳和寫作經(jīng)驗(yàn),撰寫過(guò)多篇在業(yè)界具有一定影響力的文章。
前言
部分 數(shù)據(jù)中臺(tái)與硅谷大數(shù)據(jù)平臺(tái)
第1章 全面了解數(shù)據(jù)中臺(tái)
1.1 數(shù)據(jù)中臺(tái)概念的起源 3
1.1.1 藝電的數(shù)據(jù)中臺(tái)改造 4
1.1.2 Twitter的數(shù)據(jù)驅(qū)動(dòng) 6
1.2 什么是數(shù)據(jù)中臺(tái) 8
1.2.1 數(shù)據(jù)中臺(tái)建設(shè)的目標(biāo) 8
1.2.2 如何實(shí)現(xiàn)數(shù)據(jù)中臺(tái)建設(shè)的目標(biāo) 11
1.2.3 數(shù)據(jù)中臺(tái)的定義和4個(gè)特點(diǎn) 13
1.3 大數(shù)據(jù)平臺(tái)與數(shù)據(jù)中臺(tái) 16
1.3.1 為什么要建設(shè)數(shù)據(jù)中臺(tái) 16
1.3.2 數(shù)據(jù)中臺(tái)與傳統(tǒng)大數(shù)據(jù)平臺(tái)的區(qū)別 20
1.3.3 數(shù)據(jù)中臺(tái)的評(píng)判標(biāo)準(zhǔn) 24
1.4 數(shù)據(jù)中臺(tái)建設(shè)方法論總綱 24
1.5 本章小結(jié) 27
第2章 數(shù)據(jù)中臺(tái)能力和應(yīng)用場(chǎng)景
2.1 數(shù)據(jù)中臺(tái)不是銀彈 28
2.2 數(shù)據(jù)中臺(tái)的核心能力 31
2.2.1 全局商業(yè)洞見(jiàn) 31
2.2.2 個(gè)性化服務(wù) 34
2.2.3 實(shí)時(shí)數(shù)據(jù)報(bào)表 38
2.2.4 共享能力開(kāi)發(fā)新業(yè)務(wù) 39
2.3 數(shù)據(jù)中臺(tái)的行業(yè)應(yīng)用場(chǎng)景 41
2.3.1 互聯(lián)網(wǎng)行業(yè) 41
2.3.2 連鎖零售業(yè) 42
2.3.3 金融業(yè) 43
2.3.4 物聯(lián)網(wǎng) 44
2.4 數(shù)據(jù)中臺(tái)如何為企業(yè)賦能 45
2.4.1 組織架構(gòu) 46
2.4.2 決策部門 48
2.4.3 業(yè)務(wù)部門 51
2.4.4 研發(fā)部門 53
2.4.5 大數(shù)據(jù)部門 55
2.5 本章小結(jié) 56
第3章 數(shù)據(jù)中臺(tái)與數(shù)字化轉(zhuǎn)型
3.1 數(shù)字化轉(zhuǎn)型的4個(gè)階段 58
3.1.1 信息化 58
3.1.2 數(shù)據(jù)倉(cāng)庫(kù)(數(shù)據(jù)平臺(tái)1.0) 59
3.1.3 大數(shù)據(jù)平臺(tái)(數(shù)據(jù)平臺(tái)2.0) 61
3.1.4 數(shù)據(jù)中臺(tái)(數(shù)據(jù)平臺(tái)3.0) 63
3.2 數(shù)據(jù)驅(qū)動(dòng) 64
3.2.1 面向用戶的數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品及服務(wù) 66
3.2.2 面向內(nèi)部業(yè)務(wù)部門的數(shù)據(jù)驅(qū)動(dòng)服務(wù) 68
3.2.3 數(shù)據(jù)驅(qū)動(dòng)的系統(tǒng)管理 71
3.3 數(shù)據(jù)中臺(tái)如何支持?jǐn)?shù)字化轉(zhuǎn)型 72
3.3.1 從技術(shù)層面支持?jǐn)?shù)字化轉(zhuǎn)型 73
3.3.2 從組織架構(gòu)層面支持?jǐn)?shù)字化轉(zhuǎn)型 74
3.4 本章小結(jié) 75
第4章 從大數(shù)據(jù)平臺(tái)到數(shù)據(jù)中臺(tái)
4.1 大數(shù)據(jù)平臺(tái)建設(shè)階段 76
4.1.1 大數(shù)據(jù)平臺(tái)起步 77
4.1.2 系統(tǒng)自動(dòng)化 77
4.1.3 大數(shù)據(jù)平臺(tái)的生產(chǎn)化 78
4.2 數(shù)據(jù)管理及應(yīng)用階段 80
4.2.1 數(shù)據(jù)湖/數(shù)據(jù)倉(cāng)庫(kù)建設(shè) 80
4.2.2 數(shù)據(jù)管理 81
4.2.3 數(shù)據(jù)安全 82
4.3 數(shù)據(jù)能力中臺(tái)化階段 84
4.3.1 全局的數(shù)據(jù)治理 85
4.3.2 數(shù)據(jù)能力的復(fù)用和共享 85
4.3.3 云原生架構(gòu)的支撐 85
4.4 DataOps 87
4.4.1 什么是DataOps 87
4.4.2 DataOps解決的問(wèn)題 88
4.4.3 DataOps的目標(biāo)功能 90
4.4.4 DataOps的主要技術(shù) 91
4.4.5 DataOps與數(shù)據(jù)中臺(tái) 92
4.5 本章小結(jié) 93
第二部分 數(shù)據(jù)中臺(tái)架構(gòu)與方法論
第5章 數(shù)據(jù)中臺(tái)建設(shè)須知
5.1 數(shù)據(jù)中臺(tái)建設(shè)需要一套方法論 96
5.2 從失敗的大數(shù)據(jù)項(xiàng)目中吸取教訓(xùn) 98
5.3 數(shù)據(jù)中臺(tái)建設(shè)中的常見(jiàn)問(wèn)題 99
5.4 評(píng)判數(shù)據(jù)中臺(tái)建設(shè)效果 101
5.5 數(shù)據(jù)中臺(tái)建設(shè)的人員規(guī)劃 103
5.6 數(shù)據(jù)中臺(tái)的技術(shù)選型要求 106
5.7 本章小結(jié) 107
第6章 數(shù)據(jù)中臺(tái)建設(shè)方法論
6.1 基礎(chǔ)架構(gòu) 109
6.2 數(shù)據(jù)工具 114
6.3 頂層架構(gòu)設(shè)計(jì) 115
6.4 數(shù)據(jù)規(guī)范 116
6.5 業(yè)務(wù)驅(qū)動(dòng) 118
6.6 關(guān)鍵指標(biāo) 120
6.7 明確責(zé)權(quán)利 125
6.8 管理迭代 127
6.9 數(shù)據(jù)中臺(tái)建設(shè)流程 128
6.10 本章小結(jié) 130
第7章 數(shù)據(jù)中臺(tái)的架構(gòu)
7.1 數(shù)據(jù)中臺(tái)的功能定位 132
7.2 數(shù)據(jù)中臺(tái)架構(gòu)設(shè)計(jì)的9大原則 135
7.3 典型的硅谷大數(shù)據(jù)平臺(tái)架構(gòu) 137
7.3.1 Twitter的大數(shù)據(jù)平臺(tái)架構(gòu) 137
7.3.2 Airbnb的大數(shù)據(jù)平臺(tái)架構(gòu) 140
7.3.3 Uber的大數(shù)據(jù)平臺(tái)架構(gòu) 141
7.3.4 云平臺(tái)作為大數(shù)據(jù)平臺(tái)的通用底座 143
7.3.5 硅谷大數(shù)據(jù)平臺(tái)架構(gòu)的共性和建設(shè)思路 145
7.4 數(shù)據(jù)中臺(tái)架構(gòu) 147
7.5 數(shù)據(jù)中臺(tái)子系統(tǒng) 150
7.5.1 應(yīng)用基礎(chǔ)能力平臺(tái) 151
7.5.2 數(shù)據(jù)基礎(chǔ)能力平臺(tái) 152
7.5.3 數(shù)據(jù)集成開(kāi)發(fā)平臺(tái) 154
7.5.4 數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)平臺(tái) 156
7.5.5 數(shù)據(jù)業(yè)務(wù)能力層 158
7.5.6 數(shù)據(jù)中臺(tái)重點(diǎn)建設(shè)內(nèi)容 159
7.6 本章小結(jié) 160
第8章 數(shù)據(jù)中臺(tái)與云原生架構(gòu)
8.1 云原生架構(gòu)及云平臺(tái) 161
8.2 PaaS平臺(tái)的主要功能 165
8.2.1 資源管理 167
8.2.2 應(yīng)用全生命周期管理 169
8.2.3 高可用和容錯(cuò) 170
8.2.4 運(yùn)維平臺(tái) 172
8.3 傳統(tǒng)方式下搭建數(shù)據(jù)中臺(tái)的難點(diǎn) 173
8.4 云原生架構(gòu)對(duì)于數(shù)據(jù)中臺(tái)建設(shè)的5大意義 175
8.5 數(shù)據(jù)中臺(tái)的IaaS層選擇 178
8.6 本章小結(jié) 180
第三部分 數(shù)據(jù)中臺(tái)技術(shù)選型與核心內(nèi)容
第9章 數(shù)據(jù)中臺(tái)建設(shè)與開(kāi)源軟件
9.1 開(kāi)源軟件的起源和建設(shè)過(guò)程 185
9.2 開(kāi)源軟件的合理使用 189
9.3 集成開(kāi)源軟件的5個(gè)注意事項(xiàng) 192
9.4 應(yīng)用基礎(chǔ)能力平臺(tái)的開(kāi)源選擇 193
9.5 數(shù)據(jù)基礎(chǔ)能力平臺(tái)的開(kāi)源選擇 196
9.6 數(shù)據(jù)集成開(kāi)發(fā)平臺(tái)的開(kāi)源選擇 203
9.7 本章小結(jié) 205
第10章 數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)
10.1 數(shù)據(jù)湖 207
10.1.1 數(shù)據(jù)湖的起源與作用 208
10.1.2 數(shù)據(jù)湖建設(shè)的4個(gè)目標(biāo) 211
10.1.3 數(shù)據(jù)湖數(shù)據(jù)的采集和存儲(chǔ) 212
10.1.4 數(shù)據(jù)湖中的數(shù)據(jù)治理 216
10.2 數(shù)據(jù)倉(cāng)庫(kù) 218
10.2.1 數(shù)據(jù)建模方式 219
10.2.2 數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的層次 221
10.2.3 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)治理 225
10.2.4 數(shù)據(jù)清洗 229
10.3 數(shù)據(jù)中臺(tái)中的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖建設(shè) 231
10.4 本章小結(jié) 233
第11章 數(shù)據(jù)資產(chǎn)管理
11.1 數(shù)據(jù)資產(chǎn)管理的難題 235
11.2 數(shù)據(jù)資產(chǎn)管理定義 238
11.3 主數(shù)據(jù)管理 239
11.4 元數(shù)據(jù)管理 242
11.4.1 元數(shù)據(jù)的分類 243
11.4.2 元數(shù)據(jù)管理系統(tǒng)的功能 245
11.5 開(kāi)源的元數(shù)據(jù)管理系統(tǒng) 247
11.6 數(shù)據(jù)資產(chǎn)的ROI 249
11.7 本章小結(jié) 250
第12章 數(shù)據(jù)流水線管理
12.1 數(shù)據(jù)流水線的定義與模型 251
12.2 數(shù)據(jù)流水線中的應(yīng)用類別 254
12.3 數(shù)據(jù)流水線的運(yùn)行方式 256
12.4 數(shù)據(jù)流水線示例 257
12.5 數(shù)據(jù)流水線管理系統(tǒng)面臨的挑戰(zhàn) 259
12.6 數(shù)據(jù)流水線管理系統(tǒng)的功能需求 262
12.6.1 自動(dòng)化流水線 262
12.6.2 數(shù)據(jù)管理 263
12.6.3 性能要求 264
12.7 數(shù)據(jù)流水線管理系統(tǒng)的組件 265
12.8 批流合一的數(shù)據(jù)流水線 266
12.9 本章小結(jié) 269
第13章 數(shù)據(jù)中臺(tái)應(yīng)用開(kāi)發(fā)
13.1 數(shù)據(jù)應(yīng)用的形態(tài) 270
13.2 應(yīng)用開(kāi)發(fā)工具 277
13.3 3種典型的數(shù)據(jù)中臺(tái)應(yīng)用 279
13.3.1 數(shù)據(jù)即服務(wù) 279
13.3.2 模型即服務(wù) 281
13.3.3 用戶標(biāo)簽系統(tǒng) 282
13.4 數(shù)據(jù)中臺(tái)應(yīng)用的開(kāi)發(fā)和管理 283
13.4.1 應(yīng)用調(diào)度系統(tǒng) 284
13.4.2 多租戶管理 285
13.4.3 持續(xù)集成和發(fā)布 286
13.5 本章小結(jié) 287
第14章 數(shù)據(jù)門戶
14.1 數(shù)據(jù)門戶出現(xiàn)的背景 288
14.2 硅谷的數(shù)據(jù)門戶建設(shè) 289
14.2.1 Twitter的DAL和EagleEye 290
14.2.2 LinkedIn的Data Hub 292
14.2.3 Airbnb的Data Portal 293
14.2.4 Lyft的Amundsen 294
14.2.5 Netflix的Metacat 296
14.2.6 Intuit的SuperGlue 297
14.2.7 硅谷數(shù)據(jù)門戶總結(jié) 298
14.3 數(shù)據(jù)門戶的定位及功能 299
14.4 數(shù)據(jù)門戶的實(shí)現(xiàn)原理 301
14.5 數(shù)據(jù)門戶的社交屬性 303
14.6 數(shù)據(jù)應(yīng)用的自助及協(xié)同工作 304
14.7 數(shù)據(jù)智能運(yùn)維 306
14.8 本章小結(jié) 308
第15章 管理數(shù)據(jù)中臺(tái)的演進(jìn)
15.1 不斷演進(jìn)的數(shù)據(jù)中臺(tái) 310
15.2 人員變動(dòng)下的數(shù)據(jù)管理 310
15.2.1 數(shù)據(jù)安全 311
15.2.2 數(shù)據(jù)能力的傳遞 312
15.3 數(shù)據(jù)和應(yīng)用的演進(jìn) 314
15.4 資源的演進(jìn) 316
15.5 演進(jìn)中的關(guān)鍵指標(biāo) 318
15.6 本章小結(jié) 321
第四部分 數(shù)據(jù)中臺(tái)案例分析
第16章 EA數(shù)據(jù)中臺(tái)實(shí)踐
16.1 建設(shè)背景 324
16.2 組織架構(gòu)調(diào)整 327
16.3 建設(shè)過(guò)程 328
16.4 體系架構(gòu) 333
16.5 數(shù)據(jù)治理 336
16.5.1 數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范 336
16.5.2 元數(shù)據(jù)管理 338
16.5.3 數(shù)據(jù)質(zhì)量管理 339
16.6 數(shù)據(jù)應(yīng)用產(chǎn)品 340
16.6.1 推薦系統(tǒng) 340
16.6.2 打造動(dòng)態(tài)游戲體驗(yàn) 341
16.6.3 標(biāo)簽系統(tǒng)及游戲運(yùn)營(yíng) 343
16.7 EA數(shù)據(jù)中臺(tái)功能總結(jié) 344
16.8 本章小結(jié) 345
第17章 零售行業(yè)的數(shù)據(jù)中臺(tái)
17.1 零售行業(yè)的數(shù)字化轉(zhuǎn)型 346
17.2 零售行業(yè)數(shù)據(jù)中臺(tái)解決方案 347
17.3 零售行業(yè)數(shù)據(jù)中臺(tái)的建設(shè) 349
17.3.1 數(shù)據(jù)匯聚 350
17.3.2 業(yè)務(wù)調(diào)研 352
17.3.3 數(shù)據(jù)倉(cāng)庫(kù)建設(shè)及數(shù)據(jù)分析 354
17.3.4 業(yè)務(wù)系統(tǒng)的能力反饋 356
17.4 零售行業(yè)數(shù)據(jù)中臺(tái)的應(yīng)用場(chǎng)景 357
17.4.1 用戶標(biāo)簽體系 357
17.4.2 精準(zhǔn)市場(chǎng)營(yíng)銷 359
17.5 本章小結(jié) 361
第18章 物聯(lián)網(wǎng)領(lǐng)域數(shù)據(jù)中臺(tái)建設(shè)
18.1 現(xiàn)代物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈 362
18.2 物聯(lián)網(wǎng)與ABC 365
18.3 物聯(lián)網(wǎng)數(shù)據(jù)中臺(tái)架構(gòu) 366
18.4 智慧建筑物聯(lián)網(wǎng)數(shù)據(jù)中臺(tái)應(yīng)用 371
18.5 本章小結(jié) 374