本書從云平臺(tái)和大數(shù)據(jù)的概念出發(fā),以當(dāng)前國(guó)內(nèi)外云平臺(tái)和大數(shù)據(jù)的發(fā)展現(xiàn)狀為背景,詳細(xì)介紹了云計(jì)算技術(shù)、云計(jì)算平臺(tái)、大數(shù)據(jù)技術(shù)、Hadoop開(kāi)發(fā)平臺(tái)、MapReduce應(yīng)用、Pig簡(jiǎn)介、HBase簡(jiǎn)介、云計(jì)算與大數(shù)據(jù)安全等知識(shí)。
本書重點(diǎn)突出,偏重在宏觀上講解云平臺(tái)和大數(shù)據(jù)的概念、用途、設(shè)計(jì)思想、應(yīng)用原理等,為云平臺(tái)和大數(shù)據(jù)專業(yè)的讀者提供了理論基礎(chǔ)。
本書適用面廣,可作為本科大數(shù)據(jù)、計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、計(jì)算機(jī)軟件、計(jì)算機(jī)信息管理、統(tǒng)計(jì)學(xué)、數(shù)學(xué)等專業(yè)的教材,也可作為云計(jì)算和大數(shù)據(jù)從業(yè)者及愛(ài)好者的參考用書。
隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的快速發(fā)展,以及智能終端、網(wǎng)絡(luò)社會(huì)、數(shù)字地球的普及和建設(shè),全球數(shù)據(jù)量出現(xiàn)爆炸式增長(zhǎng),據(jù)IDC預(yù)計(jì),到2020年全球數(shù)據(jù)量將增加50倍。毋庸置疑,云計(jì)算和大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)。
云計(jì)算和大數(shù)據(jù)的發(fā)展是相輔相成的。一方面,云計(jì)算為大數(shù)據(jù)提供存儲(chǔ)和運(yùn)算平臺(tái),并運(yùn)用人工智能技術(shù)從海量的、多樣化的數(shù)據(jù)中發(fā)現(xiàn)知識(shí)、規(guī)律和趨勢(shì),為決策提供信息參考;另一方面,大數(shù)據(jù)利用云計(jì)算的強(qiáng)大計(jì)算能力,可以提高數(shù)據(jù)分析的效率,從而更迅速地從海量數(shù)據(jù)中挖掘出有價(jià)值的信息,其不斷增加的業(yè)務(wù)需求也拓展了云計(jì)算的應(yīng)用領(lǐng)域。然而,云計(jì)算和大數(shù)據(jù)的發(fā)展也進(jìn)一步增加了信息的開(kāi)放程度,隱私數(shù)據(jù)及敏感信息的泄露事件亦隨之時(shí)有發(fā)生。面對(duì)云計(jì)算與大數(shù)據(jù)產(chǎn)業(yè)的新特點(diǎn)和新挑戰(zhàn),如何保障數(shù)據(jù)安全也逐漸成為業(yè)界內(nèi)外十分關(guān)注的重點(diǎn)課題。
目前,云計(jì)算已成為IT建設(shè)不可缺少的基礎(chǔ)技術(shù)。國(guó)際領(lǐng)先的信息技術(shù)企業(yè)(如Google、Amazon、微軟、IBM等)都構(gòu)建了自己的云平臺(tái)生態(tài)系統(tǒng)。中國(guó)的云計(jì)算市場(chǎng)經(jīng)過(guò)技術(shù)和商業(yè)模式的積累,也已進(jìn)入穩(wěn)定發(fā)展階段,云計(jì)算產(chǎn)業(yè)鏈、行業(yè)生態(tài)環(huán)境基本穩(wěn)定,其中,阿里巴巴、百度、騰訊借助自身互聯(lián)網(wǎng)業(yè)務(wù)的優(yōu)勢(shì),逐步奠定了國(guó)內(nèi)云計(jì)算市場(chǎng)的霸權(quán)地位;用友、金蝶等企業(yè)的軟件云服務(wù)也逐漸成型;在國(guó)家政策的引導(dǎo)下,政府和企事業(yè)單位的公共云服務(wù)布局也在加快建設(shè)當(dāng)中。
伴隨著云計(jì)算技術(shù)的成熟,大數(shù)據(jù)也得到了日益廣泛的應(yīng)用。國(guó)際上,IBM、微軟、Google、甲骨文、Amazon等主要大數(shù)據(jù)服務(wù)提供商的大數(shù)據(jù)業(yè)務(wù)均呈穩(wěn)步增長(zhǎng)態(tài)勢(shì);在國(guó)內(nèi),阿里巴巴、騰訊、百度等企業(yè)的大數(shù)據(jù)業(yè)務(wù)也已經(jīng)全面展開(kāi),為政府決策、日常出行、就餐購(gòu)物、休閑娛樂(lè)等提供了諸多便利。
作為引領(lǐng)實(shí)體經(jīng)濟(jì)轉(zhuǎn)型升級(jí)的重要突破口,云計(jì)算和大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展已受到國(guó)家決策層的高度關(guān)注,國(guó)務(wù)院先后出臺(tái)多個(gè)文件,支持和規(guī)范相關(guān)行業(yè)發(fā)展。2014年3月,大數(shù)據(jù)首先進(jìn)入《政府工作報(bào)告》;2015年1月,國(guó)務(wù)院印發(fā)了《關(guān)于促進(jìn)云計(jì)算創(chuàng)新發(fā)展培育信息產(chǎn)業(yè)新業(yè)態(tài)的意見(jiàn)》,以促進(jìn)云計(jì)算創(chuàng)新發(fā)展,積極培育信息產(chǎn)業(yè)新業(yè)態(tài);2015年6月,國(guó)務(wù)院常務(wù)會(huì)議決定將在重點(diǎn)領(lǐng)域引入大數(shù)據(jù)監(jiān)管系統(tǒng);2015年7月,國(guó)務(wù)院辦公廳印發(fā)《關(guān)于運(yùn)用大數(shù)據(jù)加強(qiáng)對(duì)市場(chǎng)主體服務(wù)和監(jiān)管的若干意見(jiàn)》,進(jìn)一步拓展大數(shù)據(jù)的應(yīng)用領(lǐng)域;截至2017年3月,大數(shù)據(jù)已第四次進(jìn)入《政府工作報(bào)告》,云計(jì)算和大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展已然被提升到國(guó)家戰(zhàn)略的高度,是具有廣闊發(fā)展前景和旺盛人才需求的朝陽(yáng)產(chǎn)業(yè)。
本書是面向高等院校云計(jì)算和大數(shù)據(jù)專業(yè)方向的標(biāo)準(zhǔn)化教材,兼顧完善的理論性和較強(qiáng)的實(shí)用性。前三章主要介紹了云計(jì)算技術(shù),包括云計(jì)算的概念、云計(jì)算的核心技術(shù)、當(dāng)前主流的云計(jì)算平臺(tái)等內(nèi)容;第4章至第8章主要介紹了大數(shù)據(jù)技術(shù),包括大數(shù)據(jù)的概念、大數(shù)據(jù)的關(guān)鍵技術(shù)、當(dāng)前的主流大數(shù)據(jù)服務(wù)和開(kāi)源開(kāi)發(fā)平臺(tái)等內(nèi)容;最后一章重點(diǎn)介紹了云計(jì)算與大數(shù)據(jù)當(dāng)前面臨的主要安全問(wèn)題及解決方案。希望讀者能夠通過(guò)對(duì)本書的學(xué)習(xí),了解云計(jì)算和大數(shù)據(jù)的發(fā)展概況,掌握云計(jì)算技術(shù)及其體系架構(gòu),了解Hadoop等主流云計(jì)算平臺(tái),掌握大數(shù)據(jù)開(kāi)發(fā)技術(shù)以及MapReduce、Pig和HBase等大數(shù)據(jù)分析工具的使用,并對(duì)云計(jì)算與大數(shù)據(jù)安全的標(biāo)準(zhǔn)和規(guī)范有一個(gè)基本的了解。
本書由青島英谷教育科技股份有限公司編寫,參與本書編寫的人員有張偉洋、張杰、王萬(wàn)琦、馬秀娟、侯方超、孟潔等。本書在編寫期間得到了各合作院校的專家及一線教師的大力支持和協(xié)作,在此要特別感謝給予我們開(kāi)發(fā)團(tuán)隊(duì)大力支持和幫助的領(lǐng)導(dǎo)及同事,感謝合作院校的師生給予我們的支持和鼓勵(lì),更要感謝開(kāi)發(fā)團(tuán)隊(duì)每一位成員所付出的艱辛
勞動(dòng)。
書中難免有錯(cuò)誤或不當(dāng)之處,讀者在閱讀過(guò)程中如有發(fā)現(xiàn),可以通過(guò)郵箱(yinggu@121ugrow.com)與我們聯(lián)系,以期進(jìn)一步完善。