數(shù)字化轉(zhuǎn)型已經(jīng)成為大多數(shù)企業(yè)所面對的巨大發(fā)展變革機(jī)會。越來越多的企業(yè)開始嘗試通過數(shù)字化轉(zhuǎn)型來獲得新的技術(shù)和能力,并在所在行業(yè)中取得競爭優(yōu)勢。企業(yè)要想做好數(shù)字化轉(zhuǎn)型工作,就要理解數(shù)字化的概念和方法,掌握數(shù)字化的關(guān)鍵工具,除此以外,更重要的是讀懂?dāng)?shù)據(jù)和使用數(shù)據(jù)。
數(shù)字化轉(zhuǎn)型的核心是數(shù)據(jù),關(guān)注的是如何使用數(shù)據(jù)創(chuàng)造業(yè)務(wù)價(jià)值。一般關(guān)于數(shù)字化轉(zhuǎn)型的討論大多數(shù)是從業(yè)務(wù)的視角展開,圍繞和數(shù)據(jù)相關(guān)的管理方法及基于數(shù)據(jù)要素的商業(yè)模型。本書不僅關(guān)注數(shù)字化轉(zhuǎn)型在業(yè)務(wù)實(shí)踐的一面,同時(shí)也關(guān)注其科學(xué)屬性的一面。我們想要探討的是數(shù)據(jù)在數(shù)字化轉(zhuǎn)型中到底發(fā)揮了什么作用,具體是如何一步步地釋放信息價(jià)值,并對傳統(tǒng)的業(yè)務(wù)模式進(jìn)行重塑。
數(shù)據(jù)的作用是傳遞信息,信息幫助人們進(jìn)行決策,而管理的本質(zhì)則是關(guān)于決策的活動,因此討論企業(yè)的管理問題,實(shí)際上就是討論如何使用數(shù)據(jù)的問題。在數(shù)字化轉(zhuǎn)型中,企業(yè)的全部靈感都要圍繞數(shù)據(jù)展開,也只有通過對數(shù)據(jù)的管理、加工、分析、交互、共享、反饋才能得以實(shí)現(xiàn)。
數(shù)據(jù)科學(xué)是關(guān)于數(shù)據(jù)的綜合學(xué)科,這里面涉及很多技術(shù)方面的內(nèi)容,例如公式、算法、模型、軟件架構(gòu),以及核心的數(shù)字技術(shù)產(chǎn)品。在暢想和規(guī)劃數(shù)字化轉(zhuǎn)型的業(yè)務(wù)實(shí)踐路徑的同時(shí),我們不應(yīng)忽略的事實(shí)是,轉(zhuǎn)型工作最終還是要回歸到對數(shù)據(jù)的應(yīng)用上。對數(shù)據(jù)理解的深度最終會決定我們數(shù)字化轉(zhuǎn)型工作成績的高度。
從數(shù)據(jù)科學(xué)的角度介紹數(shù)字化轉(zhuǎn)型是一個(gè)全新的思路,在數(shù)字化轉(zhuǎn)型的基本概念和總體圖景基礎(chǔ)之上,幫助進(jìn)行數(shù)字化變革的管理者們能夠自底向上逐步看清數(shù)字技術(shù)與業(yè)務(wù)創(chuàng)新的本質(zhì)關(guān)系。技術(shù)決定了業(yè)務(wù)的能力邊界,只要讀懂?dāng)?shù)據(jù)科學(xué)技術(shù),就能夠深刻理解數(shù)據(jù)在所面對的業(yè)務(wù)場景下究竟能做什么,同時(shí)也幫助我們看清在數(shù)字技術(shù)的驅(qū)動下,前方業(yè)務(wù)發(fā)展的道路應(yīng)該走向何方。
本書是筆者基于十多年在數(shù)據(jù)科學(xué)方面的學(xué)習(xí)和工作經(jīng)驗(yàn)總結(jié)整理而成的,其中,涵蓋了在上海交通大學(xué)博士就讀期間對數(shù)據(jù)驅(qū)動的新型管理方法的思考見解,也融合了在金融行業(yè)國有企業(yè)統(tǒng)籌數(shù)據(jù)管理與創(chuàng)新工作的產(chǎn)業(yè)實(shí)踐經(jīng)驗(yàn),同時(shí)也體現(xiàn)了在中國科學(xué)院自動化研究所從事大數(shù)據(jù)科研工作期間的前沿技術(shù)積累。
在形成本書內(nèi)容時(shí),參考了大量數(shù)據(jù)科學(xué)和數(shù)字技術(shù)方面的高質(zhì)量論文和書籍,從中篩選出了與數(shù)字化轉(zhuǎn)型密切相關(guān)的技術(shù)知識點(diǎn),將其按照數(shù)字化應(yīng)用落地的角度重新進(jìn)行了篩選和組織,最終形成了獨(dú)有的知識體系脈絡(luò)。本書涵蓋的知識內(nèi)容十分豐富,呈現(xiàn)方式很壓縮,但是在文字表述上盡可能地做到直接、簡潔、清晰。書中介紹的所有知識內(nèi)容最終都指向一個(gè)目的,讓讀者能夠看清數(shù)字化的科學(xué)本質(zhì),掌握從寶貴數(shù)據(jù)資源中構(gòu)建出成功數(shù)字化案例的技術(shù)能力。
本書共分8章,分布在目標(biāo)、原理、技術(shù)、業(yè)務(wù)4個(gè)主要層級板塊。依據(jù)這4個(gè)層級的遞進(jìn)關(guān)系,完成了從數(shù)據(jù)科學(xué)到數(shù)字經(jīng)濟(jì)的總體價(jià)值實(shí)現(xiàn)鏈路轉(zhuǎn)換,如下圖所示。
第1章介紹了數(shù)字經(jīng)濟(jì)的基本定義,以及與其密切相關(guān)的數(shù)字化轉(zhuǎn)型和數(shù)字化創(chuàng)新的概念內(nèi)涵,同時(shí)明確提到了數(shù)字化的最終目的是通過連接、決策和智能等主要途徑為經(jīng)濟(jì)活動注入新的秩序。
在原理層級板塊,重點(diǎn)關(guān)注和數(shù)字化相關(guān)的底層數(shù)據(jù)科學(xué)知識框架,把數(shù)據(jù)看作基礎(chǔ)的研究對象進(jìn)行剖析,這一層對應(yīng)的是本書第2章內(nèi)容。
第2章首先介紹了數(shù)據(jù)的核心價(jià)值本源,指出數(shù)據(jù)的價(jià)值包括事實(shí)的價(jià)值和知識的價(jià)值兩個(gè)層面的內(nèi)涵。之后,提出決定數(shù)據(jù)價(jià)值水平的兩個(gè)重要的數(shù)據(jù)特征,分別是數(shù)據(jù)的維度和數(shù)據(jù)的規(guī)模。第2章還介紹了數(shù)據(jù)科學(xué)學(xué)科本身的專業(yè)領(lǐng)域范疇,包括數(shù)據(jù)采集與管理、數(shù)據(jù)存儲與計(jì)算、數(shù)據(jù)分析與應(yīng)用3個(gè)方面的知識內(nèi)容。
數(shù)據(jù)技術(shù)是數(shù)據(jù)原理的具體能力表現(xiàn)形式。在技術(shù)層級板塊,重點(diǎn)關(guān)注基于數(shù)據(jù)科學(xué)原理的數(shù)字技術(shù)方案的具體實(shí)現(xiàn),這一層對應(yīng)的是本書第3~6章內(nèi)容。
第3章主要介紹如何從業(yè)務(wù)環(huán)境中獲取數(shù)據(jù),其中提到了數(shù)據(jù)感知的概念。數(shù)據(jù)感知是實(shí)現(xiàn)幫助企業(yè)從業(yè)務(wù)活動中捕捉關(guān)鍵信息,并將信息映射到數(shù)字世界的關(guān)鍵技術(shù)過程。數(shù)據(jù)感知包括硬感知和軟感知,分別對應(yīng)從物理世界和虛擬世界進(jìn)行數(shù)據(jù)采集。在數(shù)據(jù)感知的基礎(chǔ)上,還需要對數(shù)
據(jù)進(jìn)行進(jìn)一步處理才能轉(zhuǎn)化成可用的形式,因此第3章也重點(diǎn)介紹了數(shù)據(jù)的信息提取和信息檢索兩個(gè)主要技術(shù)任務(wù)。
第4章主要介紹如何從數(shù)據(jù)中尋找規(guī)律實(shí)現(xiàn)信息價(jià)值的啟發(fā)及新業(yè)務(wù)知識的獲取。具體包括對數(shù)據(jù)進(jìn)行客觀的統(tǒng)計(jì)描述分析,挖掘數(shù)據(jù)的重要統(tǒng)計(jì)特征及其背后的關(guān)鍵業(yè)務(wù)信息。此外,本章還介紹了主要的規(guī)則挖掘技術(shù)方法,即如何從數(shù)據(jù)中提取知識規(guī)則并加以業(yè)務(wù)應(yīng)用。本章還對數(shù)據(jù)可視化進(jìn)行了討論,介紹了很多重要的數(shù)據(jù)圖形表現(xiàn)形式及其所適用的具體業(yè)務(wù)分析場景。
第5章主要介紹如何從數(shù)據(jù)中獲得智能的方法,目的是從海量數(shù)據(jù)資源中學(xué)習(xí)到能夠代替人進(jìn)行智能決策的數(shù)據(jù)模型。首先介紹了面向有監(jiān)督數(shù)據(jù)集的傳統(tǒng)機(jī)器學(xué)習(xí)方法,涉及回歸分析、支持向量機(jī)、概率圖、決策樹等主要模型; 其次介紹了近年來在大數(shù)據(jù)業(yè)務(wù)場景下比較流行的深度學(xué)習(xí)技術(shù),包括深度前饋神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、自編碼器等經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu); 最后討論了其他常見的智能數(shù)據(jù)建模方法,如強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)、元學(xué)習(xí)、聯(lián)邦學(xué)習(xí)等。
第6章主要介紹在數(shù)字化轉(zhuǎn)型中企業(yè)的IT建設(shè)工作,討論在具體的技術(shù)落地層面所涉及的主要軟件系統(tǒng)及所依賴的底層技術(shù)框架。本章首先介紹了支撐企業(yè)級數(shù)據(jù)資源管理、共享和應(yīng)用的中臺概念,以及相關(guān)的技術(shù)應(yīng)用系統(tǒng); 其次介紹了為企業(yè)數(shù)字化提供基礎(chǔ)服務(wù)能力保障的大數(shù)據(jù)技術(shù)棧,并從大數(shù)據(jù)存儲、大數(shù)據(jù)收集、大數(shù)據(jù)計(jì)算、大數(shù)據(jù)集群管理等方面進(jìn)行了詳細(xì)解讀; 最后梳理了企業(yè)獲取數(shù)字技術(shù)能力的主要實(shí)施途徑,其中包括軟件服務(wù)化的總體技術(shù)架構(gòu)趨勢,以及云計(jì)算的經(jīng)典服務(wù)模型與部署模型。
技術(shù)的目的是支撐業(yè)務(wù)活動,幫助企業(yè)完成業(yè)務(wù)的轉(zhuǎn)型和組織的轉(zhuǎn)型。在業(yè)務(wù)層級板塊,重點(diǎn)關(guān)注數(shù)據(jù)管理和數(shù)字化產(chǎn)業(yè)實(shí)踐兩方面的內(nèi)容,分別對應(yīng)本書的第7章和第8章。
第7章主要介紹企業(yè)的數(shù)據(jù)管理活動。首先介紹了數(shù)據(jù)管理活動的總體內(nèi)容框架,特別是數(shù)據(jù)治理的概念和數(shù)據(jù)生命周期管理的主要工作范疇; 其次介紹了如何建立企業(yè)的數(shù)據(jù)體系,包括對數(shù)據(jù)架構(gòu)的設(shè)計(jì)思路和數(shù)據(jù)建模的主要方法; 最后針對企業(yè)中主要的數(shù)據(jù)類型及相應(yīng)的管理方法進(jìn)行了詳細(xì)說明,包括常規(guī)數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、主數(shù)據(jù)、參考數(shù)據(jù),以及元數(shù)據(jù)等。
第8章主要介紹企業(yè)數(shù)字化產(chǎn)業(yè)實(shí)踐中的典型問題和應(yīng)用案例,其中分別介紹了大型和中小型非數(shù)字原生企業(yè)在轉(zhuǎn)型中的困難和常見的解決方法,并從組織和人才的層面描述了數(shù)字化企業(yè)的主要特點(diǎn)。最后還專門討論了餐飲、家居、金融、制造業(yè)、能源、農(nóng)業(yè)、城市治理、醫(yī)療衛(wèi)生等重要行業(yè)領(lǐng)域的產(chǎn)業(yè)實(shí)踐應(yīng)用成果。
在業(yè)務(wù)層級板塊的基礎(chǔ)上,最終是要實(shí)現(xiàn)數(shù)字經(jīng)濟(jì)的上層目標(biāo),這也是本書在第1章最開始討論的內(nèi)容。
本書內(nèi)容適用于廣大對數(shù)據(jù)科學(xué)感興趣的技術(shù)從業(yè)人員,幫助技術(shù)人員更好地突破懂技術(shù),但不落地的痛點(diǎn),讓讀者在掌握核心大數(shù)據(jù)技術(shù)的同時(shí),找準(zhǔn)數(shù)字產(chǎn)業(yè)的應(yīng)用方向,通過數(shù)字化創(chuàng)新的業(yè)務(wù)場景實(shí)現(xiàn)技術(shù)價(jià)值發(fā)揮。本書同時(shí)也適用于所有致力于在數(shù)字化轉(zhuǎn)型中有更多技術(shù)維度思考的管理人員和業(yè)務(wù)專家,幫助其深入理解數(shù)據(jù)科學(xué)技術(shù)的前沿動態(tài),提升自身數(shù)據(jù)素質(zhì)和數(shù)據(jù)產(chǎn)品規(guī)劃能力,從而更有效地組織技術(shù)人員開展數(shù)字化項(xiàng)目的實(shí)施推進(jìn)。
作者
2023年6月
第一部分?jǐn)?shù)字化產(chǎn)業(yè)目標(biāo)
第1章走進(jìn)數(shù)字經(jīng)濟(jì)時(shí)代00
1.1大數(shù)據(jù)與互聯(lián)網(wǎng): 觸動數(shù)字經(jīng)濟(jì)快捷鍵00
1.1.1數(shù)字經(jīng)濟(jì)到來,產(chǎn)業(yè)革命加速00
1.1.2大數(shù)據(jù)技術(shù): 從實(shí)驗(yàn)環(huán)境走向現(xiàn)實(shí)環(huán)境00
1.1.3互聯(lián)網(wǎng)發(fā)展加速數(shù)據(jù)閉環(huán)融合0
1.2熵減: 數(shù)據(jù)能量引入新秩序0
1.2.1從熵的角度看數(shù)據(jù)價(jià)值0
1.2.2數(shù)字化的本質(zhì)是引入經(jīng)濟(jì)活動秩序0
1.3通往數(shù)據(jù)自由: 數(shù)字經(jīng)濟(jì)之現(xiàn)狀0
1.3.1信息化浪潮: 數(shù)字經(jīng)濟(jì)發(fā)展的必經(jīng)之路0
1.3.2當(dāng)數(shù)據(jù)科學(xué)走向?qū)嵱没?數(shù)字化創(chuàng)新0
1.3.3數(shù)字化產(chǎn)業(yè)服務(wù): 轉(zhuǎn)型的技術(shù)落地0
第二部分?jǐn)?shù)據(jù)科學(xué)原理
第2章關(guān)于數(shù)據(jù)的真相0
2.1數(shù)據(jù)的價(jià)值: 事實(shí)還是知識0
2.1.1數(shù)據(jù)的事實(shí)價(jià)值0
2.1.2數(shù)據(jù)的知識價(jià)值0
2.2數(shù)據(jù)怎么用,就看維度與規(guī)模0
2.2.1數(shù)據(jù)維度決定創(chuàng)新性0
2.2.2數(shù)據(jù)規(guī)模決定可靠性0
2.3數(shù)據(jù)科學(xué)家關(guān)心的那些事兒0
2.3.1數(shù)據(jù)采集與管理0
2.3.2數(shù)據(jù)存儲與計(jì)算0
2.3.3數(shù)據(jù)分析與應(yīng)用0
第三部分?jǐn)?shù)據(jù)科學(xué)技術(shù)
第3章如何獲取有用的數(shù)據(jù)0
3.1數(shù)據(jù)感知: 業(yè)務(wù)活動到數(shù)字世界的映射0
3.1.1數(shù)據(jù)硬感知0
3.1.2數(shù)據(jù)軟感知0
3.2信息提。 讓數(shù)據(jù)長成看得懂的樣子0
3.2.1自然語言處理0
3.2.2語音識別0
3.2.3計(jì)算機(jī)視覺0
3.3信息檢索: 大數(shù)據(jù)世界的淘金0
3.3.1結(jié)構(gòu)化信息檢索0
3.3.2非結(jié)構(gòu)化信息檢索
3.3.3問答系統(tǒng)
第4章從數(shù)據(jù)中尋找規(guī)律
4.1對數(shù)據(jù)的客觀描述: 統(tǒng)計(jì)分析
4.1.1基本分析
4.1.2二維度分析
4.1.3位置分析
4.2從數(shù)據(jù)中提取知識: 規(guī)則挖掘
4.2.1知識規(guī)則挖掘方法
4.2.2知識規(guī)則業(yè)務(wù)應(yīng)用
4.3看圖說話: 數(shù)據(jù)可視化之美
4.3.1數(shù)據(jù)可視化應(yīng)用場景
4.3.2數(shù)據(jù)可視化相關(guān)技術(shù)
第5章從數(shù)據(jù)獲得智能
5.1機(jī)器學(xué)習(xí)方法及常見模型
5.1.1機(jī)器學(xué)習(xí)基本概念
5.1.2機(jī)器學(xué)習(xí)基本要素
5.1.3機(jī)器學(xué)習(xí)常見模型
5.2深度學(xué)習(xí)方法及常見模型
5.2.1深度學(xué)習(xí)基本概念
5.2.2深度學(xué)習(xí)常見模型
5.3其他建模技術(shù)
5.3.1強(qiáng)化學(xué)習(xí)
5.3.2從智能到智慧: 學(xué)習(xí)任務(wù)泛化
5.3.3其他機(jī)器學(xué)習(xí)策略
第6章企業(yè)數(shù)字化建設(shè)
6.1中臺: 數(shù)字創(chuàng)新的內(nèi)核發(fā)動機(jī)
6.1.1中臺對企業(yè)的意義
6.1.2數(shù)據(jù)中臺的發(fā)展階段
6.1.3數(shù)據(jù)中臺的組成部分
6.2大數(shù)據(jù)框架: 數(shù)字化應(yīng)用的服務(wù)能力保障
6.2.1大數(shù)據(jù)存儲
6.2.2大數(shù)據(jù)收集
6.2.3大數(shù)據(jù)計(jì)算
6.2.4大數(shù)據(jù)集群管理
6.3云計(jì)算: 讓企業(yè)快速構(gòu)建數(shù)字化能力
6.3.1軟件服務(wù)化
6.3.2云計(jì)算
第四部分?jǐn)?shù)字化業(yè)務(wù)實(shí)踐
第7章企業(yè)數(shù)字化管理
7.1數(shù)據(jù)管理活動框架
7.1.1數(shù)據(jù)治理
7.1.2數(shù)據(jù)生命周期管理
7.1.3基礎(chǔ)活動
7.2數(shù)據(jù)體系規(guī)劃
7.2.1數(shù)據(jù)架構(gòu)
7.2.2數(shù)據(jù)建模
7.3數(shù)據(jù)內(nèi)容管理
7.3.1事務(wù)數(shù)據(jù)管理
7.3.2基礎(chǔ)數(shù)據(jù)管理
第8章數(shù)字化產(chǎn)業(yè)實(shí)踐
8.1非數(shù)字原生企業(yè)轉(zhuǎn)型之困
8.1.1大型企業(yè)的數(shù)字化轉(zhuǎn)型問題剖析
8.1.2中小企業(yè)的數(shù)字化轉(zhuǎn)型問題剖析
8.2數(shù)字化組織與人才
8.2.1數(shù)字化組織
8.2.2數(shù)字化人才
8.3數(shù)字化產(chǎn)業(yè)實(shí)踐
8.3.1消費(fèi)與金融數(shù)字化產(chǎn)業(yè)實(shí)踐
8.3.2生產(chǎn)制造數(shù)字化產(chǎn)業(yè)實(shí)踐
8.3.3公共服務(wù)數(shù)字化產(chǎn)業(yè)實(shí)踐