數(shù)字原生
2010年11月，在Greenplum創(chuàng)始人的支持下，我們?cè)诒本┙�立了Greenplum中國(guó)研發(fā)體系。2013年4月，隨著Pivotal公司的建立，我們?cè)贕reenplum中國(guó)研發(fā)的基礎(chǔ)上合并了部分VMWare中國(guó)研發(fā)集團(tuán)的P層云資產(chǎn)，建立了Pivotal中國(guó)辦公室。截至本書(shū)完稿的時(shí)候，我們的中國(guó)核心研發(fā)團(tuán)隊(duì)和全球研發(fā)團(tuán)隊(duì)一起奮斗了8年，打造的Cloud Foundry產(chǎn)品和Greenplum產(chǎn)品成為Pivotal公司在紐約證券交易所上市榮登PaaS第一股的基礎(chǔ)。作為Pivotal中國(guó)辦公室的創(chuàng)始團(tuán)隊(duì)，我們一直在審視和提升Pivotal中國(guó)辦公室的使命和愿景。高尚的使命和愿景是促使一個(gè)機(jī)構(gòu)達(dá)到世界一流水平的必要條件，因?yàn)槭姑�和愿景比�?zhàn)略更高一層。一個(gè)機(jī)構(gòu)在前進(jìn)的過(guò)程中，其戰(zhàn)略不可避免地需要調(diào)整。在面對(duì)戰(zhàn)略調(diào)整時(shí)，如果組織成員缺乏共同的使命和愿景，就很難在變化中存活下來(lái)。以PC行業(yè)為例，蘋(píng)果公司由最初的蘋(píng)果電腦公司（Apple Computers）發(fā)展到今天蘋(píng)果（Apple）公司，業(yè)務(wù)也從以PC為重心遷移到以移動(dòng)和云服務(wù)為重心。蘋(píng)果公司的轉(zhuǎn)型一路顛簸但最終成功，這與它們堅(jiān)持藝術(shù)和科技的融合并提供一流的用戶體驗(yàn)的使命是分不開(kāi)的。對(duì)于不少?zèng)]有完成轉(zhuǎn)型的PC企業(yè)，仔細(xì)觀察一下，會(huì)發(fā)現(xiàn)它們通常不能清楚地表達(dá)自己的使命。
那么Pivotal中國(guó)辦公室的使命是什么？簡(jiǎn)單地說(shuō)，是支持全球Pivotal產(chǎn)品和商業(yè)戰(zhàn)略的成功。但是，這個(gè)回答顯然不能說(shuō)服和召集一批學(xué)霸把Pivotal中國(guó)辦公室變成世界一流的創(chuàng)新機(jī)構(gòu)。作者有幸參與Pivotal公司在EMC和VMWare內(nèi)部的啟動(dòng)倡議（Pivotal Initiative），聆聽(tīng)到董事長(zhǎng)Paul Maritz先生對(duì)Pivotal宣言（Manifesto）的解讀。中國(guó)讀者可能還不熟悉Maritz先生，根據(jù)維基百科的介紹，他是微軟Windows平臺(tái)的主要執(zhí)行團(tuán)隊(duì)成員，負(fù)責(zé)過(guò)Windows 95和Windows NT等關(guān)鍵產(chǎn)品。在創(chuàng)建Pivotal之前，Maritz先生是VMWare公司的CEO，奠定了VMWare在虛擬化和I層云的行業(yè)領(lǐng)導(dǎo)地位。鑒于Maritz先生在業(yè)內(nèi)的聲望，作者仔仔細(xì)細(xì)閱讀了他撰寫(xiě)的三頁(yè)紙篇幅的Pivotal宣言，并且思考了Pivotal中國(guó)辦公室如何既能擁抱Pivotal宣言又能在自己專注的領(lǐng)域成為國(guó)內(nèi)意見(jiàn)領(lǐng)袖。今天，Pivotal的使命用一句話描述就是The Way The Future Gets Built，用中文直接翻譯過(guò)來(lái)就是構(gòu)建未來(lái)的方式。這句話顯得有些抽象，所以在Pivotal中國(guó)辦公室的日常事務(wù)中，我們會(huì)針對(duì)不同的團(tuán)隊(duì)來(lái)細(xì)化這句話：對(duì)于面向數(shù)字化轉(zhuǎn)型客戶的Pivotal Lab團(tuán)隊(duì)，這句話被表述為交付一流的數(shù)字化轉(zhuǎn)型體驗(yàn)；對(duì)于云研發(fā)團(tuán)隊(duì)，這句話被表達(dá)為通過(guò)Cloud Foundry云平臺(tái)成為云原生平臺(tái)的行業(yè)標(biāo)桿；對(duì)于數(shù)據(jù)庫(kù)研發(fā)團(tuán)隊(duì)，這句話被闡述為通過(guò)Greenplum成為大數(shù)據(jù)平臺(tái)和機(jī)器學(xué)習(xí)的意見(jiàn)領(lǐng)袖。這些使命背后的共同愿景就是提供數(shù)字原生世界的新產(chǎn)能，以及企業(yè)建立數(shù)字化所需要的軟件平臺(tái)和方法論。
數(shù)字原生就是從由物理世界為重心向數(shù)字世界為中心遷移時(shí)思考問(wèn)題的方式。數(shù)字計(jì)算機(jī)發(fā)明之前，我們幾乎沒(méi)有什么數(shù)字資產(chǎn)和技術(shù)。數(shù)字計(jì)算機(jī)發(fā)明至今，我們對(duì)于數(shù)字資產(chǎn)的積累呈指數(shù)級(jí)增長(zhǎng)，在我國(guó)更是呈現(xiàn)出跨越式發(fā)展的態(tài)勢(shì)。舉個(gè)例子，今天，如果我們出門(mén)不帶手機(jī)，就會(huì)感覺(jué)寸步難行，本質(zhì)上是因?yàn)槭謾C(jī)已經(jīng)成為我們進(jìn)入數(shù)字世界的入口。通過(guò)手機(jī)，我們可以向數(shù)字世界發(fā)出各種請(qǐng)求，調(diào)度物理世界的資源為我們所用。Pivotal公司喜歡以ask 綜合部門(mén)@pivotal.io的郵件方式來(lái)獲得綜合部門(mén)的支持。早期行政部門(mén)的同事剛加入Pivotal公司的時(shí)候常問(wèn)我：為什么不面對(duì)面請(qǐng)求，或者打個(gè)電話，又或者開(kāi)個(gè)單子？我的回答是這幾種方式看似差別不大，但反映了思考問(wèn)題方式的差別。Pivotal公司作為數(shù)字化的領(lǐng)導(dǎo)者，把軟件和數(shù)據(jù)平臺(tái)看作數(shù)字世界的入口。我們獲取資源的方式是向這個(gè)數(shù)字世界發(fā)出請(qǐng)求。數(shù)字世界可能通過(guò)它的計(jì)算找到最優(yōu)執(zhí)行路徑。有些工作的執(zhí)行可能還需要轉(zhuǎn)發(fā)給人進(jìn)行人工處理，例如安裝一臺(tái)打印機(jī)。但是，有些請(qǐng)求則可以直接通過(guò)軟件方式解決，例如申請(qǐng)一臺(tái)云服務(wù)器。對(duì)于某些請(qǐng)求，雖然我們今天還無(wú)法完全以全數(shù)字化、無(wú)人干預(yù)的方式完成，但是，我們可以先把數(shù)字原生的框架奠定起來(lái)，為以后的進(jìn)一步對(duì)接和持續(xù)改進(jìn)做好準(zhǔn)備。在作者看來(lái)，數(shù)字原生的持續(xù)改進(jìn)過(guò)程分為三個(gè)階段：
1）軟件公司：通過(guò)數(shù)字應(yīng)用實(shí)現(xiàn)數(shù)字世界和物理世界的無(wú)縫交互。
2）數(shù)據(jù)公司：通過(guò)大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)積累和數(shù)學(xué)模型運(yùn)行支撐。
3）數(shù)學(xué)公司：通過(guò)數(shù)學(xué)模型的持續(xù)改進(jìn)來(lái)最優(yōu)化數(shù)字世界和物理世界資源。
因此，作者和團(tuán)隊(duì)希望能夠以三部對(duì)應(yīng)的著作（下面簡(jiǎn)稱為數(shù)字化三部曲）在數(shù)字原生的征程上為讀者提供戰(zhàn)略參考和對(duì)應(yīng)的軟件平臺(tái)及工具指導(dǎo)。
第一部曲：《Cloud Foundry：從數(shù)字化戰(zhàn)略到實(shí)現(xiàn)》這本書(shū)的主要目標(biāo)是闡述企業(yè)如何實(shí)現(xiàn)數(shù)字原生第一階段：實(shí)現(xiàn)數(shù)字化應(yīng)用。該書(shū)討論了云計(jì)算作為第三代技術(shù)平臺(tái)帶來(lái)的商業(yè)模式變更。在云計(jì)算的技術(shù)棧中，P層云帶動(dòng)了企業(yè)數(shù)字化浪潮。傳統(tǒng)企業(yè)通過(guò)P層云可以迅速獲得頂級(jí)互聯(lián)網(wǎng)公司的軟件迭代和發(fā)布速度，把與客戶的交互通過(guò)消費(fèi)級(jí)的應(yīng)用數(shù)字化。書(shū)中例舉福特公司通過(guò)FordPass建立了以汽車實(shí)體產(chǎn)品為核心的一系列用戶數(shù)字化體驗(yàn)：汽車金融、遠(yuǎn)程監(jiān)控車輛、停車位預(yù)留、旅途產(chǎn)品和服務(wù)推薦等。這個(gè)階段也是一個(gè)持續(xù)改進(jìn)的過(guò)程。以共享出行為例，今天用戶通過(guò)手機(jī)平臺(tái)進(jìn)入數(shù)字世界，在打車應(yīng)用中發(fā)送訂單。打車平臺(tái)通過(guò)選擇最優(yōu)執(zhí)行路徑，把訂單發(fā)送給打車平臺(tái)的司機(jī)。然后，司機(jī)在物理世界中驅(qū)車到達(dá)用戶起點(diǎn)。隨著有輔助的無(wú)人駕駛技術(shù)的成熟，這個(gè)數(shù)字世界的運(yùn)行鏈條會(huì)繼續(xù)延長(zhǎng)，數(shù)字平臺(tái)可以直接把無(wú)人車派送到用戶起點(diǎn)。在其他的行業(yè)，數(shù)字應(yīng)用的鏈條同樣也在持續(xù)延長(zhǎng)。
第二部曲：《Greenplum：從大數(shù)據(jù)戰(zhàn)略到實(shí)現(xiàn)》（也就是本書(shū)）我們的主要目的是闡述企業(yè)如何實(shí)現(xiàn)數(shù)字原生的第二階段：大數(shù)據(jù)平臺(tái)。隨著數(shù)字應(yīng)用的鏈條不斷延長(zhǎng)，企業(yè)需要一個(gè)大數(shù)據(jù)平臺(tái)來(lái)積累應(yīng)用生成的數(shù)據(jù)。這個(gè)工作聽(tīng)上去很容易，因?yàn)槿藗兒茉缫郧熬褪褂么艓��?lái)存儲(chǔ)數(shù)據(jù)，之后，存儲(chǔ)媒介發(fā)生了巨大的變化，能夠便捷地存儲(chǔ)大量數(shù)據(jù)。那么為何還需要Greenplum這樣一個(gè)大數(shù)據(jù)和機(jī)器學(xué)習(xí)平臺(tái)？原因有兩個(gè)：1）量大；2）快速計(jì)算。說(shuō)到大，當(dāng)數(shù)據(jù)量達(dá)到PB級(jí)別（相當(dāng)于16000個(gè)64GB的iPhone中存儲(chǔ)的數(shù)據(jù)）時(shí)，企業(yè)利用廉價(jià)但是可靠的存儲(chǔ)來(lái)備份和管理是非常困難的。說(shuō)到快，想象讓用戶從16000個(gè)iPhone的數(shù)據(jù)中尋找一張5年前的照片就可以感受到大海撈針般的困難；更何況企業(yè)的數(shù)據(jù)平臺(tái)要支撐的機(jī)器學(xué)習(xí)和人工智能的數(shù)學(xué)模型的復(fù)雜度要比尋找一張照片的復(fù)雜度高幾十到幾萬(wàn)倍。可見(jiàn)，要想用極快的速度處理如此海量的數(shù)據(jù)是極其困難的。這也是企業(yè)在構(gòu)建大數(shù)據(jù)平臺(tái)時(shí)步履維艱的原因。Greenplum團(tuán)隊(duì)的優(yōu)秀專家用企業(yè)積累了15年的知識(shí)和創(chuàng)新來(lái)解決這些難題：如何利用低價(jià)的存儲(chǔ)設(shè)備來(lái)實(shí)現(xiàn)高可靠的數(shù)據(jù)存儲(chǔ)？數(shù)據(jù)的存儲(chǔ)如何為今天模型的計(jì)算做準(zhǔn)備？如何給模型提供簡(jiǎn)單但又標(biāo)準(zhǔn)的接口？數(shù)據(jù)管理如何在便于存儲(chǔ)和便于日后查找之間取得平衡？如何利用現(xiàn)在的I層云計(jì)算資源？如何訪問(wèn)文本和地理位置信息等各種數(shù)據(jù)源？如何訪問(wèn)和計(jì)算存儲(chǔ)在其他系統(tǒng)（例如Hadoop）的數(shù)據(jù)？如何支撐今天主流的人工智能和機(jī)器學(xué)習(xí)模型？我們?cè)趧?chuàng)新過(guò)程中觸碰到了很多計(jì)算機(jī)科學(xué)本身的極限。希望這本著作能給讀者呈現(xiàn)一個(gè)解決了上述問(wèn)題并可以實(shí)操的大數(shù)據(jù)平臺(tái)和戰(zhàn)略。
我們還在醞釀的第三部著作希望能幫助讀者更好地實(shí)現(xiàn)數(shù)字原生的第三階段：機(jī)器學(xué)習(xí)和人工智能。企業(yè)通過(guò)第一階段和第二階段的努力捕獲和存儲(chǔ)了大量的數(shù)據(jù)。為了更好地理解用戶的需求，不少企業(yè)進(jìn)入了更高階的數(shù)字化戰(zhàn)略：大數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)和人工智能。在這個(gè)階段的競(jìng)爭(zhēng)中，企業(yè)會(huì)增設(shè)一個(gè)新的崗位：數(shù)據(jù)科學(xué)家。數(shù)據(jù)科學(xué)家會(huì)在大數(shù)據(jù)平臺(tái)上創(chuàng)造和優(yōu)化數(shù)學(xué)模型，以期待改進(jìn)數(shù)字世界和物理世界的運(yùn)作來(lái)更好地為人服務(wù)。前兩部曲提供了軟件工具和方法論以幫助企業(yè)成為基于大數(shù)據(jù)的人工智能和機(jī)器學(xué)習(xí)戰(zhàn)略的數(shù)學(xué)公司，不少企業(yè)在實(shí)踐過(guò)程中希望作者能夠分享實(shí)踐案例并就企業(yè)領(lǐng)導(dǎo)力轉(zhuǎn)變提供咨詢。考慮到這樣一本著作的出版需要兩年以上的時(shí)間，碰巧出版社和作者看到了頂級(jí)大數(shù)據(jù)咨詢公司Booz Allen Hamilton的兩位高管收集了大量實(shí)際案例的著作《The Mathematical Corporation: Where Machine Intelligence and Human Ingenuity Achieve the Impossible》，其中關(guān)于數(shù)學(xué)公司的提法和作者的觀點(diǎn)不謀而合。通過(guò)出版社的努力，作者和團(tuán)隊(duì)把這部著作翻譯成中文著作，可以作為第二部曲的伴侶著作來(lái)閱讀。
雖然數(shù)字原生第三階段的探討還在創(chuàng)新者和早期用戶者群體中進(jìn)行，但是第二階段大數(shù)據(jù)平臺(tái)的建設(shè)已經(jīng)在中國(guó)如火如荼地展開(kāi)。大數(shù)據(jù)平臺(tái)在數(shù)字原生三部曲中扮演了承上啟下的關(guān)鍵角色，中大型的公司已經(jīng)將大數(shù)據(jù)納入信息平臺(tái)的建設(shè)方案中。Greenplum因?yàn)殚_(kāi)源生態(tài)和杰出的創(chuàng)新能力被列為方案的候選技術(shù)選項(xiàng)，這也使Pivotal中國(guó)辦公室的同事們倍感欣慰。伴隨Greenplum生態(tài)的持續(xù)發(fā)展壯大，希望這部著作能給企業(yè)高層制定戰(zhàn)略提供建議和參考，既幫助工程團(tuán)隊(duì)開(kāi)發(fā)應(yīng)用，又能指導(dǎo)運(yùn)營(yíng)團(tuán)隊(duì)運(yùn)維和保障。
本書(shū)內(nèi)容組織方式
Greenplum經(jīng)過(guò)15年的精心打磨，成為出色的開(kāi)源MPP數(shù)據(jù)庫(kù)和數(shù)據(jù)處理基礎(chǔ)平臺(tái)，已應(yīng)用于銀行、保險(xiǎn)、證券、電信、物流、安保、零售、能源和廣告等行業(yè)。我們希望本書(shū)能給已經(jīng)建立或者準(zhǔn)備建立大數(shù)據(jù)平臺(tái)的企業(yè)決策者、架構(gòu)師、開(kāi)發(fā)人員、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)庫(kù)管理員帶來(lái)幫助，也希望從事大數(shù)據(jù)科研工作的教育工作者和學(xué)生能從中受益。
本書(shū)分為四個(gè)部分。
第一部分介紹大數(shù)據(jù)戰(zhàn)略。其中，第1章將分享作者對(duì)于ABC（人工智能、大數(shù)據(jù)和云計(jì)算）之間關(guān)系的理解以及對(duì)人和人工智能的思考。第2章將介紹進(jìn)取型企業(yè)為什么需要大數(shù)據(jù)戰(zhàn)略以及如何建立大數(shù)據(jù)戰(zhàn)略。
第二部分介紹大數(shù)據(jù)平臺(tái)。其中，第3章將以數(shù)據(jù)平臺(tái)演進(jìn)歷史和未來(lái)趨勢(shì)為主題，描述三次整合的背景及影響，介紹選擇大數(shù)據(jù)平臺(tái)需要考慮的因素，以及為什么Greenplum是理想的大數(shù)據(jù)平臺(tái)。第4章為Greenplum數(shù)據(jù)庫(kù)快速入門(mén)指南。第5章將介紹Greenplum架構(gòu)的主要特點(diǎn)和核心引擎。第6章將介紹數(shù)據(jù)加載、數(shù)據(jù)聯(lián)邦和數(shù)據(jù)虛擬化。第7章將介紹Greenplum的資源管理以及對(duì)混合負(fù)載的支持。
第三部分介紹機(jī)器學(xué)習(xí)與數(shù)據(jù)分析。其中，第8章介紹Greenplum的各種過(guò)程化編程語(yǔ)言（用戶自定義函數(shù)），用戶可以使用Python、R、Java等語(yǔ)言實(shí)現(xiàn)用戶自定義函數(shù)，還可以通過(guò)容器化技術(shù)實(shí)現(xiàn)自定義函數(shù)的安全性和隔離性。第9章將介紹Greenplum內(nèi)建的機(jī)器學(xué)習(xí)庫(kù)MADlib，數(shù)據(jù)科學(xué)家可以使用內(nèi)建的50多種機(jī)器學(xué)習(xí)算法基于SQL對(duì)數(shù)據(jù)進(jìn)行高級(jí)分析，并介紹如何擴(kuò)展MADlib以實(shí)現(xiàn)新算法。第10章和第11章將分別介紹Greenplum如何對(duì)文本數(shù)據(jù)和時(shí)空數(shù)據(jù)（GIS）進(jìn)行存儲(chǔ)、計(jì)算和分析。第12章將介紹Greenplum豐富的圖計(jì)算能力。
第四部分介紹運(yùn)維管理和數(shù)據(jù)遷移。其中，第13章將介紹各種監(jiān)控和管理工具及相關(guān)企業(yè)級(jí)產(chǎn)品。第14章介紹數(shù)據(jù)庫(kù)備份、恢復(fù)和遷移。第15章和第16章將分別介紹如何從Oracle和Teradata遷移到Greenplum。
限于作者學(xué)識(shí)，本書(shū)難免有疏漏之處，懇請(qǐng)同行和各位讀者批判指正，我們將不勝感激。您可以通過(guò)數(shù)字化三部曲的官網(wǎng)（DigitX.cn）或Greenplum中文官方社區(qū)（greenplum.cn）給我們留言并了解Greenplum的技術(shù)信息、獲得著作的相關(guān)學(xué)習(xí)資源。 馮　雷
Pivotal中國(guó)常務(wù)董事兼研發(fā)中心總經(jīng)理
姚延棟
Pivotal中國(guó)研發(fā)中心副總裁