關(guān)于我們
書單推薦
新書推薦
|
大數(shù)據(jù)分析 這是一個(gè)大數(shù)據(jù)爆發(fā)的時(shí)代。面對(duì)信息的激流,多元化數(shù)據(jù)的涌現(xiàn),大數(shù)據(jù)已經(jīng)為個(gè)人生活、企業(yè)經(jīng)營(yíng),甚至國(guó)家與社會(huì)的發(fā)展都帶來了機(jī)遇和挑戰(zhàn),大數(shù)據(jù)已經(jīng)成為IT信息產(chǎn)業(yè)中z具潛力的藍(lán)海。 《創(chuàng)新思維與TRIZ創(chuàng)新方法》編輯委員會(huì)〖HT〗〖ST〗〖WT〗〖HJ1〗[JZ(Z][HT4H]主〓審[HTK]: 陳敏玲[HT4H]主〓編[HTK]: 周〓蘇[HT4H]副主編[HTK]: 李亮亮〓褚〓赟〓韓志科〓王〓文〖HT〗[JZ)]〖HJ〗大數(shù)據(jù)(Big Data)的力量,正在積極地影響著我們社會(huì)的方方面面。它沖擊著許多主要的行業(yè),包括零售業(yè)、電子商務(wù)和金融服務(wù)業(yè)等,也正在徹底地改變我們的學(xué)習(xí)和日常生活: 改變我們的教育方式、生活方式、工作方式。如今,通過簡(jiǎn)單、易用的移動(dòng)應(yīng)用和基于云端的數(shù)據(jù)服務(wù),我們能夠追蹤自己的行為以及飲食習(xí)慣,還能提升個(gè)人的健康狀況。因此,我們有必要真正理解大數(shù)據(jù)這個(gè)極其重要的議題。 中國(guó)是大數(shù)據(jù)最大的潛在市場(chǎng)之一。據(jù)估計(jì),中國(guó)有近六億網(wǎng)民,這就意味著中國(guó)的企業(yè)擁有絕佳的機(jī)會(huì)來更好地了解其客戶并提供更加個(gè)性化的體驗(yàn),同時(shí)為企業(yè)增加收入并提高利潤(rùn)。阿里巴巴就是一個(gè)很好的例子。阿里巴巴不但在商業(yè)模式上具有顛覆性,而且掌握了與購買行為、產(chǎn)品需求和庫存供應(yīng)相關(guān)的海量數(shù)據(jù)。除了阿里巴巴高層的領(lǐng)導(dǎo)能力之外,大數(shù)據(jù)是其成功的一個(gè)關(guān)鍵因素。 然而,僅有數(shù)據(jù)是不夠的。對(duì)于身處大數(shù)據(jù)時(shí)代的企業(yè)而言,成功的關(guān)鍵還在于找出大數(shù)據(jù)所隱含的真知灼見!耙郧,人們總說信息就是力量,如今,對(duì)數(shù)據(jù)進(jìn)行分析、利用和挖掘才是力量之所在! 在不同行業(yè)中,那些專門從事行業(yè)數(shù)據(jù)的收集、整理,進(jìn)行深度分析,并依據(jù)分析結(jié)果做出行業(yè)研究、評(píng)估和預(yù)測(cè)的工作被稱為數(shù)據(jù)分析。所謂大數(shù)據(jù)分析,是指用適當(dāng)?shù)姆椒▽?duì)收集來的大量數(shù)據(jù)進(jìn)行分析,提取有用信息和形成結(jié)論,從而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程;蛘,顧名思義,大數(shù)據(jù)分析是指對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析,是大數(shù)據(jù)到信息,再到知識(shí)的關(guān)鍵步驟。大數(shù)據(jù)分析結(jié)合了傳統(tǒng)統(tǒng)計(jì)分析方法和計(jì)算分析方法,在研究大量數(shù)據(jù)的過程中尋找模式、相關(guān)性和其他有用信息,幫助企業(yè)更好地適應(yīng)變化并做出更明智的決策。 對(duì)于大數(shù)據(jù)技術(shù)及其相關(guān)專業(yè)的大學(xué)生來說,大數(shù)據(jù)分析的理念、技術(shù)與應(yīng)用是一門理論性和實(shí)踐性都很強(qiáng)的核心課程。在長(zhǎng)期的教學(xué)實(shí)踐中,我們體會(huì)到,堅(jiān)持“因材施教”的重要原則,把實(shí)踐環(huán)節(jié)與理論教學(xué)相融合,抓實(shí)踐教學(xué)促進(jìn)理論知識(shí)的學(xué)習(xí),是有效地改善教學(xué)效果和提高教學(xué)水平的重要方法之一。本書的主要特色是: 理論聯(lián)系實(shí)際,結(jié)合一系列了解和熟悉大數(shù)據(jù)分析理念、技術(shù)與應(yīng)用的學(xué)習(xí)和實(shí)踐活動(dòng),把大數(shù)據(jù)分析的概念、知識(shí)和技術(shù)融入實(shí)踐,使學(xué)生保持濃厚的學(xué)習(xí)熱情,加深對(duì)大數(shù)據(jù)分析的興趣,認(rèn)識(shí)、理解和掌握核心知識(shí)。 本書是為高等院校相關(guān)專業(yè)開設(shè)“大數(shù)據(jù)分析”課程而設(shè)計(jì)編寫,具有豐富實(shí)踐特色的主教材,也可供有一定實(shí)踐經(jīng)驗(yàn)的IT應(yīng)用人員、管理人員參考,或作為繼續(xù)教育的教材。 本書系統(tǒng)、全面地介紹了大數(shù)據(jù)分析的基本知識(shí)和應(yīng)用技能,詳細(xì)介紹了大數(shù)據(jù)基礎(chǔ)、大數(shù)據(jù)分析基礎(chǔ)、大數(shù)據(jù)分析生命周期、大數(shù)據(jù)分析基本原則、構(gòu)建分析路線、大數(shù)據(jù)分析的運(yùn)用、大數(shù)據(jù)分析的用例、預(yù)測(cè)分析方法、預(yù)測(cè)分析技術(shù)、用戶角色與分析工具、大數(shù)據(jù)分析平臺(tái)、社交網(wǎng)絡(luò)與推薦系統(tǒng)、組織分析團(tuán)隊(duì)等內(nèi)容。附錄中提供了課程作業(yè)參考答案,還為大數(shù)據(jù)分析的學(xué)習(xí)設(shè)計(jì)了一個(gè)課程實(shí)踐項(xiàng)目。全書具有較強(qiáng)的系統(tǒng)性、可讀性和實(shí)用性。 結(jié)合課堂教學(xué)方法改革的要求,全書各章有針對(duì)性地安排了課前導(dǎo)讀案例,要求和指導(dǎo)學(xué)生在課前閱讀案例和課后完成作業(yè),深入理解課程知識(shí)內(nèi)涵。 雖然已經(jīng)進(jìn)入電子時(shí)代,但我們?nèi)匀唤吡Τ珜?dǎo)讀書。為每章設(shè)計(jì)的作業(yè)(四選一標(biāo)準(zhǔn)選擇題)其實(shí)并不難,學(xué)生只要認(rèn)真閱讀教材,都能準(zhǔn)確回答所有題目。 本課程的教學(xué)進(jìn)度設(shè)計(jì)參考詳見“課程教學(xué)進(jìn)度表”,該表可供教師授課和學(xué)生學(xué)習(xí)使用。實(shí)際執(zhí)行時(shí),應(yīng)按照教學(xué)大綱和校歷中關(guān)于本學(xué)期節(jié)假日的安排確定本課程的實(shí)際教學(xué)進(jìn)度,并做適當(dāng)剪裁。 本書的編寫得到2019年度國(guó)家級(jí)一流本科專業(yè)建設(shè)點(diǎn)(教高廳函〔2019〕46號(hào))、浙江省本科高!笆濉碧厣珜I(yè)建設(shè)項(xiàng)目(浙教高教〔2017〕29號(hào))、杭州市屬高校新型專業(yè)建設(shè)計(jì)劃項(xiàng)目(杭教高教〔2019〕5號(hào))等的支持。 本書的編寫得到浙大城市學(xué)院、浙江安防職業(yè)技術(shù)學(xué)院、浙江商業(yè)職業(yè)技術(shù)學(xué)院等多所院校師生的支持。金蒼宏、陳禮管、王文、蔡錦錦、倪寧、喬鳳鳳等參與了本書的教材設(shè)計(jì)、教學(xué)規(guī)劃、案例設(shè)計(jì)等編寫工作。與本書配套的教學(xué)PPT課件等豐富教學(xué)資源可從清華大學(xué)出版社網(wǎng)站下載,歡迎教師與作者交流并索取本書教學(xué)配套的相關(guān)資料。 周蘇2020年春 1982年計(jì)算機(jī)應(yīng)用專業(yè)本科畢業(yè),1986年由水電部研究所調(diào)入杭州大學(xué)計(jì)算機(jī)系任教,1991年破格晉升副教授,1999年調(diào)入浙江大學(xué)城市學(xué)院計(jì)算機(jī)系任教,2005年晉升教授。在杭州大學(xué)、浙江大學(xué)、浙江大學(xué)城市學(xué)院、浙江工業(yè)大學(xué)之江學(xué)院、溫州大學(xué)城市學(xué)院、嘉興學(xué)院南湖學(xué)院、溫州職業(yè)技術(shù)學(xué)院等多所院校專/兼職任教,教學(xué)經(jīng)驗(yàn)豐富。 長(zhǎng)期從事計(jì)算機(jī)等專業(yè)教學(xué)工作,擔(dān)任計(jì)算機(jī)基礎(chǔ)、計(jì)算機(jī)導(dǎo)論、軟件工程、軟件測(cè)試技術(shù)、軟件體系結(jié)構(gòu)、電子商務(wù)、移動(dòng)商務(wù)、多媒體技術(shù)、數(shù)字媒體技術(shù)、項(xiàng)目管理、管理信息系統(tǒng)、應(yīng)用統(tǒng)計(jì)學(xué)、C語言程序設(shè)計(jì)、面向?qū)ο蟪绦蛟O(shè)計(jì)、網(wǎng)絡(luò)傳播技術(shù)、網(wǎng)絡(luò)生態(tài)學(xué)、人機(jī)交互技術(shù)、藝術(shù)設(shè)計(jì)概論、藝術(shù)欣賞概論、計(jì)算機(jī)平面設(shè)計(jì)、信息管理與信息系統(tǒng)概論、信息資源管理、辦公軟件高級(jí)應(yīng)用、信息安全技術(shù)、網(wǎng)絡(luò)管理技術(shù)、科技應(yīng)用文寫作、創(chuàng)新思維與創(chuàng)新方法、大數(shù)據(jù)與數(shù)據(jù)挖掘等課程的教學(xué),對(duì)計(jì)算機(jī)學(xué)科教學(xué)以及應(yīng)用型院校教學(xué)有深刻理解。 1988年在天津科學(xué)技術(shù)出版社出版第一本教材《FoxBASE+及其程序設(shè)計(jì)技巧》并獲1991年全國(guó)優(yōu)秀科技暢銷書。1992年所著教材《軟件工程及其應(yīng)用》(天津科技出版社) 獲北方十省市科技圖書二等獎(jiǎng)。 第1章大數(shù)據(jù)基礎(chǔ)1 1.1什么是大數(shù)據(jù)4 1.1.1天文學(xué)——信息爆炸的起源5 1.1.2信息爆炸的社會(huì)5 1.1.3大數(shù)據(jù)的發(fā)展7 1.1.4大數(shù)據(jù)作為BI的進(jìn)化形式8 1.2大數(shù)據(jù)的定義9 1.2.1定義大數(shù)據(jù)9 1.2.2大數(shù)據(jù)的3V特征10 1.2.3廣義的大數(shù)據(jù)12 1.3大數(shù)據(jù)的結(jié)構(gòu)類型12 1.4大數(shù)據(jù)應(yīng)用改變生活13 1.4.1在線娛樂14 1.4.2在線廣告14 1.4.3銷售和營(yíng)銷14 1.4.4數(shù)據(jù)可視化15 1.4.5運(yùn)營(yíng)智能15 1.5大數(shù)據(jù)準(zhǔn)備度自我評(píng)分表16 作業(yè)19第2章大數(shù)據(jù)分析基礎(chǔ)22 2.1大數(shù)據(jù)的影響25 2.2數(shù)據(jù)具有內(nèi)在預(yù)測(cè)性27 2.3大數(shù)據(jù)分析的定義27 2.44種數(shù)據(jù)分析方法28 2.4.1描述性分析29 2.4.2診斷性分析30 2.4.3預(yù)測(cè)性分析30 2.4.4規(guī)范性分析32 2.4.5關(guān)鍵績(jī)效指標(biāo)33 2.5定性分析與定量分析33 2.6大數(shù)據(jù)分析的行業(yè)作用33 2.6.1大數(shù)據(jù)分析的作用33 2.6.2大數(shù)據(jù)分析的關(guān)鍵應(yīng)用35 2.6.3大數(shù)據(jù)分析的能力分析36 2.6.4大數(shù)據(jù)分析面臨的問題36 作業(yè)38第3章大數(shù)據(jù)分析生命周期40 3.1大數(shù)據(jù)分析生命周期概述43 3.2商業(yè)案例評(píng)估44 3.3數(shù)據(jù)標(biāo)識(shí)44 3.4數(shù)據(jù)獲取與過濾44 3.5數(shù)據(jù)提取45 3.6數(shù)據(jù)驗(yàn)證與清理46 3.7數(shù)據(jù)聚合與表示47 3.8數(shù)據(jù)分析48 3.9數(shù)據(jù)可視化48 3.10分析結(jié)果的使用49 作業(yè)50第4章大數(shù)據(jù)分析基本原則52 4.1大數(shù)據(jù)的現(xiàn)代分析原則54 4.2原則1: 實(shí)現(xiàn)商業(yè)價(jià)值和影響56 4.3原則2: 專注于最后一千米56 4.4原則3: 持續(xù)改善57 4.5原則4: 加速學(xué)習(xí)能力和執(zhí)行力58 4.6原則5: 差異化分析58 4.7原則6: 嵌入分析59 4.8原則7: 建立現(xiàn)代分析架構(gòu)59 4.9原則8: 構(gòu)建人力因素60 4.10原則9: 利用消費(fèi)化趨勢(shì)60 作業(yè)61第5章構(gòu)建分析路線63 5.1什么是分析路線66 5.1.1商業(yè)競(jìng)爭(zhēng)3.0時(shí)代66 5.1.2創(chuàng)建獨(dú)特的分析路線67 5.2第1步: 確定關(guān)鍵業(yè)務(wù)目標(biāo)69 5.3第2步: 定義價(jià)值鏈69 5.4第3步: 頭腦風(fēng)暴分析解決方案機(jī)會(huì)71 5.4.1應(yīng)用描述71 5.4.2分析手段71 5.5第4步: 描述分析解決方案機(jī)會(huì)74 5.6第5步: 創(chuàng)建決策模型74 5.7第6步: 評(píng)估分析解決方案機(jī)會(huì)75 5.8第7步: 建立分析路線圖77 5.9第8步: 不斷演進(jìn)分析路線圖77 作業(yè)77第6章大數(shù)據(jù)分析的運(yùn)用79 6.1企業(yè)分析的分類81 6.2戰(zhàn)略分析82 6.2.1專案分析83 6.2.2戰(zhàn)略市場(chǎng)細(xì)分84 6.2.3經(jīng)濟(jì)預(yù)測(cè)84 6.2.4業(yè)務(wù)模擬84 6.3管理分析85 6.4運(yùn)營(yíng)分析86 6.5科學(xué)分析88 6.6面向客戶的分析89 6.6.1預(yù)測(cè)服務(wù)89 6.6.2分析應(yīng)用89 6.6.3消費(fèi)分析90 6.6.4案例: 大數(shù)據(jù)促進(jìn)商業(yè)決策91 作業(yè)94第7章大數(shù)據(jù)分析的用例96 7.1什么是用例100 7.2預(yù)測(cè)用例101 7.3解釋用例104 7.4預(yù)報(bào)用例104 7.5發(fā)現(xiàn)用例106 7.6模擬用例106 7.7優(yōu)化用例107 作業(yè)107第8章預(yù)測(cè)分析方法109 8.1預(yù)測(cè)分析方法論111 8.2定義業(yè)務(wù)需求113 8.2.1理解業(yè)務(wù)問題113 8.2.2定義應(yīng)對(duì)措施113 8.2.3了解誤差成本115 8.2.4確定預(yù)測(cè)窗口116 8.2.5評(píng)估部署環(huán)境116 8.3建立分析數(shù)據(jù)集117 8.3.1配置數(shù)據(jù)117 8.3.2評(píng)估數(shù)據(jù)117 8.3.3調(diào)查異常值118 8.3.4轉(zhuǎn)換數(shù)據(jù)119 8.3.5執(zhí)行基本表操作119 8.3.6處理丟失數(shù)據(jù)120 8.4降維與特征工程120 8.4.1降維120 8.4.2特征工程120 8.4.3特征變換123 8.5建立預(yù)測(cè)模型123 8.5.1制訂建模計(jì)劃123 8.5.2細(xì)分?jǐn)?shù)據(jù)集124 8.5.3執(zhí)行模型訓(xùn)練計(jì)劃125 8.5.4測(cè)量模型效果125 8.5.5驗(yàn)證模型126 8.6部署預(yù)測(cè)模型126 8.6.1審查和批準(zhǔn)預(yù)測(cè)模型127 8.6.2執(zhí)行模型評(píng)分127 8.6.3評(píng)價(jià)模型效果128 8.6.4管理模型資產(chǎn)128 8.7預(yù)測(cè)分析軟件系統(tǒng)129 作業(yè)129第9章預(yù)測(cè)分析技術(shù)132 9.1關(guān)于預(yù)測(cè)分析技術(shù)136 9.2統(tǒng)計(jì)分析136 9.3生存分析137 9.4有監(jiān)督和無監(jiān)督學(xué)習(xí)138 9.4.1有監(jiān)督學(xué)習(xí)138 9.4.2無監(jiān)督學(xué)習(xí)140 9.4.3有監(jiān)督和無監(jiān)督學(xué)習(xí)的區(qū)別141 9.5機(jī)器學(xué)習(xí)141 9.5.1機(jī)器學(xué)習(xí)的思路141 9.5.2異常檢測(cè)142 9.5.3過濾144 9.5.4貝葉斯網(wǎng)絡(luò)145 9.5.5文本挖掘146 9.6神經(jīng)網(wǎng)絡(luò)147 9.7深度學(xué)習(xí)149 9.8語義分析151 9.8.1自然語言處理152 9.8.2文本分析152 9.8.3文本處理153 9.8.4語義檢索154 9.8.5A/B測(cè)試154 9.9視覺分析155 9.9.1熱點(diǎn)圖156 9.9.2空間數(shù)據(jù)圖156 作業(yè)157第10章大數(shù)據(jù)分析模型161 10.1什么是分析模型169 10.2關(guān)聯(lián)分析模型169 10.2.1回歸分析170 10.2.2關(guān)聯(lián)規(guī)則分析171 10.2.3相關(guān)分析172 10.2.4相關(guān)分析與回歸分析173 10.3分類分析模型173 10.3.1判別分析的原理和方法174 10.3.2基于機(jī)器學(xué)習(xí)的分類模型174 10.3.3支持向量機(jī)175 10.3.4邏輯回歸176 10.3.5決策樹176 10.3.6k近鄰177 10.3.7隨機(jī)森林178 10.3.8樸素貝葉斯180 10.4聚類分析模型180 10.4.1聚類問題分析181 10.4.2聚類分析的分類182 10.4.3聚類有效性的評(píng)價(jià)183 10.4.4聚類分析方法183 10.4.5聚類分析的應(yīng)用184 10.5結(jié)構(gòu)分析模型184 10.5.1典型的結(jié)構(gòu)分析方法184 10.5.2社團(tuán)發(fā)現(xiàn)185 10.6文本分析模型185 作業(yè)186第11章用戶角色與分析工具189 11.1用戶角色193 11.1.1超級(jí)分析師193 11.1.2數(shù)據(jù)科學(xué)家194 11.1.3業(yè)務(wù)分析師195 11.1.4分析使用者195 11.2分析的成功因素196 11.3分析編程語言197 11.3.1R語言197 11.3.2SAS編程語言199 11.3.3SQL200 11.4業(yè)務(wù)用戶工具201 11.4.1BI的常用技術(shù)201 11.4.2BI工具和方法的發(fā)展歷程202 11.4.3新的分析工具與方法204 11.4.4業(yè)務(wù)工具實(shí)例206 作業(yè)208第12章大數(shù)據(jù)分析平臺(tái)210 12.1分布式分析217 12.1.1關(guān)于并行計(jì)算217 12.1.2并行計(jì)算的三種形式218 12.1.3數(shù)據(jù)并行與“正交”218 12.1.4分布式的軟件環(huán)境219 12.2預(yù)測(cè)分析架構(gòu)220 12.2.1獨(dú)立分析220 12.2.2部分集成分析221 12.2.3基于數(shù)據(jù)庫的分析223 12.2.4基于Hadoop的分析224 12.3Apache Spark分布式分析軟件225 12.4云計(jì)算中的分析227 12.4.1公有云和私有云228 12.4.2安全和數(shù)據(jù)移動(dòng)229 12.5現(xiàn)代SQL平臺(tái)229 12.5.1什么是現(xiàn)代SQL平臺(tái)230 12.5.2現(xiàn)代SQL平臺(tái)區(qū)別于傳統(tǒng)SQL平臺(tái)231 12.5.3MPP數(shù)據(jù)庫232 12.5.4SQLonHadoop232 12.5.5NewSQL數(shù)據(jù)庫233 12.5.6現(xiàn)代SQL平臺(tái)的發(fā)展233 作業(yè)234第13章社交網(wǎng)絡(luò)與推薦系統(tǒng)236 13.1社交網(wǎng)絡(luò)的定義239 13.1.1社交網(wǎng)絡(luò)的特點(diǎn)240 13.1.2社交網(wǎng)絡(luò)度量241 13.1.3社交網(wǎng)絡(luò)學(xué)習(xí)242 13.2社交網(wǎng)絡(luò)的結(jié)構(gòu)243 13.2.1社交網(wǎng)絡(luò)的統(tǒng)計(jì)學(xué)構(gòu)成244 13.2.2社交網(wǎng)絡(luò)的群體形成245 13.2.3圖與網(wǎng)絡(luò)分析246 13.3社交網(wǎng)絡(luò)的關(guān)聯(lián)分析248 13.4推薦系統(tǒng)248 13.4.1推薦系統(tǒng)的概念248 13.4.2推薦方法的組合251 13.4.3推薦系統(tǒng)的評(píng)價(jià)252 13.5協(xié)同過濾252 13.6推薦方法254 13.6.1基于用戶評(píng)價(jià)的推薦254 13.6.2基于人的推薦255 13.6.3基于標(biāo)簽的推薦255 作業(yè)256第14章組織分析團(tuán)隊(duì)258 14.1企業(yè)的分析文化262 14.1.1管理分析團(tuán)隊(duì)的有效因素262 14.1.2繁榮分析的文化共性263 14.2數(shù)據(jù)科學(xué)家(數(shù)據(jù)工作者)264 14.2.1數(shù)據(jù)科學(xué)家角色264 14.2.2分析人才的四種角色264 14.2.3數(shù)據(jù)準(zhǔn)備專業(yè)人員266 14.2.4分析程序員266 14.2.5分析經(jīng)理267 14.2.6分析通才268 14.2.7吸引數(shù)據(jù)科學(xué)家269 14.3集中式與分散式分析團(tuán)隊(duì)270 14.4組織分析團(tuán)隊(duì)272 14.4.1卓越中心272 14.4.2首席數(shù)據(jù)官與首席分析官272 14.4.3實(shí)驗(yàn)室團(tuán)隊(duì)273 14.4.4數(shù)據(jù)科學(xué)技能自我評(píng)估273 14.5走起,大數(shù)據(jù)分析275 作業(yè)276附錄278 附錄A部分作業(yè)參考答案278 附錄B大數(shù)據(jù)分析課程實(shí)踐280 B.1大數(shù)據(jù)幫零售企業(yè)制定促銷策略280 B.2電信公司通過大數(shù)據(jù)分析挽回核心客戶280 B.3大數(shù)據(jù)幫能源企業(yè)設(shè)置發(fā)電機(jī)地點(diǎn)281 B.4電商企業(yè)通過大數(shù)據(jù)制定銷售戰(zhàn)略281 B.5案例分析與課程實(shí)踐要求281 參考文獻(xiàn)284
你還可能感興趣
我要評(píng)論
|