日韩在线观看免费视频,欧美成在线手机版1003

Spark是業(yè)界公認(rèn)的近幾年發(fā)展快、受關(guān)注度的一體化多元化的大數(shù)據(jù)計算技術(shù)，可以同時滿足不同業(yè)務(wù)場景和不同數(shù)據(jù)規(guī)模的大數(shù)據(jù)計算的需要。
本書首先通過代碼實戰(zhàn)的方式對學(xué)習(xí)Spark前必須掌握的Scala內(nèi)容進(jìn)行講解并結(jié)合Spark源碼的閱讀來幫助讀者快速學(xué)習(xí)Scala函數(shù)式編程與面向?qū)ο笸昝澜Y(jié)合的編程藝術(shù)，接著對Hadoop和Spark集群安裝部署以及Spark在不同集成開發(fā)環(huán)境的開發(fā)實戰(zhàn)作出了詳細(xì)的講解，然后基于大量的實戰(zhàn)案例來講解Spark核心RDD編程并深度解密RDD的密碼，并且通過實戰(zhàn)的方式詳解了TopN在Spark RDD中的實現(xiàn)，為了讓讀者徹底了解Spark，本書用了大量的篇幅詳細(xì)解密了Spark的高可用性、內(nèi)核架構(gòu)、運行機(jī)制等內(nèi)容。
Spark零基礎(chǔ)實戰(zhàn)這本書定位于零基礎(chǔ)的學(xué)員，也可以作為有一定大數(shù)據(jù)Hadoop經(jīng)驗的從業(yè)者以及對大數(shù)據(jù)非常感興趣的學(xué)生的本Spark入門書籍。

大數(shù)據(jù)已經(jīng)成為公眾流行詞多年，不管在業(yè)界還是在其他領(lǐng)域都緊隨時代發(fā)展的潮流，人類社會的發(fā)展已經(jīng)進(jìn)入到大數(shù)據(jù)時代。我們生活的今天大到互聯(lián)網(wǎng)公司，小到每一個個體或者每一臺移動設(shè)備其每天都會產(chǎn)生海量的新數(shù)據(jù)，那么對于這些海量數(shù)據(jù)的處理就面臨著巨大的考驗，而在此過程中為了滿足業(yè)務(wù)需要，各類技術(shù)如雨后春筍般出現(xiàn)并得到IT企業(yè)的實踐應(yīng)用和發(fā)展，就應(yīng)對海量數(shù)據(jù)的處理框架而言，于2006年誕生的Hadoop，使業(yè)界掀起一股熱潮，它改變了企業(yè)對數(shù)據(jù)的存儲、處理和分析的過程，加速了大數(shù)據(jù)的發(fā)展，形成了自己的極其火爆的技術(shù)生態(tài)圈，并受到非常廣泛的應(yīng)用。而Spark在2009年初來源于伯克利大學(xué)的研究性項目，于美國加州大學(xué)伯克利分校的AMPLab實驗室誕生，2010年實現(xiàn)開源并在2013年成為Apache的基金孵化器項目并在不到一年的時間成為其的項目，在短短幾年的時間內(nèi)獲得極速發(fā)展并被各大互聯(lián)網(wǎng)公司應(yīng)用于實際項目中以實現(xiàn)海量數(shù)據(jù)的處理，可以毫不夸張地講Spark是大數(shù)據(jù)時代發(fā)展的必然產(chǎn)物，勢必會成為好的大數(shù)據(jù)處理框架之一。
根據(jù)Stackoverflow調(diào)查顯示Spark是2016年IT從業(yè)者獲得薪水的技術(shù)之一，從事Spark開發(fā)的IT人員年薪達(dá)到125000美元，從事Scala開發(fā)的IT人員年薪同從事Spark的IT人員保持一致的水平，可見Spark已經(jīng)成為開發(fā)人員在大數(shù)據(jù)領(lǐng)域收入好的技術(shù)之一。了解Spark或者讀過Spark源碼的人都知道Spark主要是Scala語言開發(fā)的，而Scala語言是一門面向?qū)ο笈c函數(shù)式編程完美結(jié)合的語言。因此本書主要以零基礎(chǔ)實戰(zhàn)掌握Spark運行機(jī)制為導(dǎo)向詳細(xì)對Scala的語法和重要知識點進(jìn)行實戰(zhàn)講解，通過源碼對Spark的內(nèi)核架構(gòu)進(jìn)行剖析并賦予實戰(zhàn)案例來引導(dǎo)讀者能夠在掌握Scala的同時快速進(jìn)行Spark的深入學(xué)習(xí)。
Spark基于RDD（彈性分布式數(shù)據(jù)集）實現(xiàn)了一體化、多元化的大數(shù)據(jù)處理體系，是目前熱門效的大數(shù)據(jù)領(lǐng)域的計算平臺。Spark框架完美融合了Spark SQL、Spark Streaming、MLLib、GraphX子框架，使得各子框架之間實現(xiàn)數(shù)據(jù)共享和操作，強(qiáng)大的計算能力和集成化使得Spark在大數(shù)據(jù)計算領(lǐng)域具有得天獨厚的優(yōu)勢，因此國際上很多大型互聯(lián)網(wǎng)公司均使用Spark實現(xiàn)海量數(shù)據(jù)的處理，如國內(nèi)的BAT等，有過千臺節(jié)點組成的集群高效快速地處理每日生成的海量數(shù)據(jù)。
Spark在大數(shù)據(jù)處理領(lǐng)域的迅猛發(fā)展，給了很多互聯(lián)網(wǎng)公司高效處理海量數(shù)據(jù)的方案，但是Spark人才的稀缺使得很多公司心有余而力不足，以至于不能將企業(yè)的生產(chǎn)力量化提高成了很多企業(yè)面臨的主要問題，大數(shù)據(jù)Spark工程師的缺少直接制約了很多公司的轉(zhuǎn)型和發(fā)展，在此情況下本書以零基礎(chǔ)實戰(zhàn)為主導(dǎo)，由基礎(chǔ)部分細(xì)致地帶領(lǐng)初學(xué)者從零基礎(chǔ)入門直到深入學(xué)習(xí)Spark。本書主要面向的對象是預(yù)從事大數(shù)據(jù)領(lǐng)域的初學(xué)者、高校學(xué)生以及有一定大數(shù)據(jù)從事經(jīng)驗的工作人員等。
本書以零基礎(chǔ)實戰(zhàn)Spark為主導(dǎo)，首先實戰(zhàn)講解Scala基礎(chǔ)語法與定義、Scala面向?qū)ο缶幊�、Scala函數(shù)式編程、Scala類型系統(tǒng)模式匹配、Scala因式轉(zhuǎn)換以及Scala并發(fā)編程等，基本包含了Scala所有重要內(nèi)容并且每一部分在實戰(zhàn)的同時配合Scala在Spark源碼中的應(yīng)用帶領(lǐng)讀者徹底理解Scala語言的藝術(shù)。其次對Spark源碼在不同方式下的編譯進(jìn)行演示，對Hadoop不同模式的集群搭建、Spark集群的搭建以及Spark在IDE、IntelliJ IDEA不同工具下的實戰(zhàn)和源碼導(dǎo)入均作了細(xì)致講解，相信通過源碼的學(xué)習(xí)和不同工具下對Spark程序的開發(fā)實戰(zhàn)可以幫助讀者對Spark有一個全面的理解和認(rèn)識，并能快速投入到實際開發(fā)中。然后對Spark中為重要的核心組件之一RDD（彈性分布式數(shù)據(jù)集）進(jìn)行了詳細(xì)地解析，并介紹Spark Master HA的4種策略，解密如何通過ZOOKEEPER這種企業(yè)經(jīng)常使用的策略來保證Spark Master HA。本書后一部分綜合講解了Spark內(nèi)核架構(gòu)以及實戰(zhàn)解析Spark在不同模式下的運行原理。希望本書可以引領(lǐng)讀者細(xì)致高效地學(xué)習(xí)Spark框架，并成為企業(yè)渴求的Spark高端人才。
參與本書編寫的有王家林、孔祥瑞等。本書能順利出版，離不開化學(xué)工業(yè)出版社的大力支持與幫助，包括進(jìn)度把控、技術(shù)服務(wù)、排版等各個方面，在此表示誠摯地感謝。
在本書閱讀過程中，如發(fā)現(xiàn)任何問題或有任何疑問，可以加入本書的閱讀群（QQ：302306504）提出討論，會有專人幫忙答疑。同時，該群中也會提供本書所用案例代碼。
如果讀者想要了解或者學(xué)習(xí)更多大數(shù)據(jù)的相關(guān)技術(shù)，可以關(guān)注DT大數(shù)據(jù)夢工廠微信公眾號DT_Spark及QQ群437123764，或者掃描下方二維碼咨詢，也可以通過YY客戶端登錄68917580頻道直接體驗。王家林老師的新浪微博是http://weibocom/ilovepains/ 歡迎大家在微博上進(jìn)行互動。
由于時間倉促，書中難免存在不妥之處，請讀者諒解，并提出寶貴意見。

王家林 2016.8.13于北京

王家林，DT大數(shù)據(jù)夢工廠/Spark亞太研究院，DT大數(shù)據(jù)夢工廠創(chuàng)始人/Spark亞太研究院院長及首席專家，DT 大數(shù)據(jù)夢工廠創(chuàng)始人和首席專家，Spark 亞太研究院院長和首席專家，移動互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)領(lǐng)域集大成者，多家公司的技術(shù)顧問，業(yè)界技術(shù)培訓(xùn)專家。
大數(shù)據(jù)技術(shù)公益推廣人，大數(shù)據(jù)在線教育世界技術(shù)專家，Spark 大數(shù)據(jù)中國區(qū)培訓(xùn)專家。徹底研究了Spark 從0.5.0 到1.6.1 中共22 個版本的Spark 源碼，目前致力于開發(fā)全球優(yōu)化的Spark 中國版本。尤其擅長Spark 在生產(chǎn)環(huán)境下各種類型和場景故障的排除和解決，癡迷于Spark 生產(chǎn)環(huán)境下任意類型(例如Shuffle 和各種內(nèi)存問題)的Spark 程序的深度性能優(yōu)化。
從2014 年6 月24 日起，已開啟免費的Spark 公開課《決勝大數(shù)據(jù)時代Spark100 期公益大講堂》。在2015 年12 月27 日成立DT 大數(shù)據(jù)夢工廠，開啟IMF(Impossible Mission Force)行動，率先在全球開展以Spark 為核心的，免費為社會培養(yǎng)100 萬企業(yè)級實戰(zhàn)高級大數(shù)據(jù)人才行動計劃，截止目前已有數(shù)千人參與到這個行動之中。
曾負(fù)責(zé)某公司的類Hadoop 框架開發(fā)工作，是Hadoop 一站式解決方案的提供者，同時也是云計算和分布式大數(shù)據(jù)處理的較早實踐者之一，在實踐中用Hadoop 解決不同領(lǐng)域的大數(shù)據(jù)的高效處理和存儲。致力于Android、HTML5、Hadoop 等的軟、硬、云整合的一站式解決方案專家。
2007 年國內(nèi)較早從事于Android 系統(tǒng)移植、軟硬整合、框架修改、應(yīng)用程序軟件開發(fā)以及Android 系統(tǒng)測試和應(yīng)用軟件測試的技術(shù)專家。
2015年12月,在電視媒體錄制了《大數(shù)據(jù)的奧秘》,《大數(shù)據(jù)時代的九大神器》等視頻光盤。
? 2016年1月至今,直播培訓(xùn)課程Hadoop，MySQL，Linux，Scala，Java，Spark零基礎(chǔ)到高級企業(yè)級實戰(zhàn),Spark源碼解析及性能優(yōu)化，JVM性能調(diào)優(yōu)，機(jī)器學(xué)習(xí)從零基礎(chǔ)到企業(yè)級實戰(zhàn)持續(xù)中。

你還可能感興趣

我要評論