關(guān)于我們
書(shū)單推薦
新書(shū)推薦
|
Spark性能調(diào)優(yōu)與原理分析
本書(shū)主要介紹了Spark運(yùn)行原理及性能調(diào)優(yōu)的相關(guān)實(shí)踐,
從Spark框架內(nèi)部及外部運(yùn)行環(huán)境等不同角度分析Spark性能調(diào)優(yōu)的過(guò)程。 第1章介紹了Linux系統(tǒng)中各種監(jiān)控工具的使用,對(duì)CPU、內(nèi)存、網(wǎng)絡(luò)、I/O等方面進(jìn)行介紹, 并提供了集群監(jiān)控報(bào)警的解決方案。 第2章介紹了Java虛擬機(jī)(JVM)的基本知識(shí)、垃圾回收機(jī)制,以及對(duì)JVM運(yùn)行狀態(tài)的監(jiān)控。 第3章和第4章介紹了Spark內(nèi)核架構(gòu)、任務(wù)運(yùn)行的流程,對(duì)各個(gè)組件的實(shí)現(xiàn)進(jìn)行了深入的剖析。尤其在Spark 內(nèi)存管理、存儲(chǔ)原理、Shuffle階段,詳細(xì)介紹了每個(gè)實(shí)現(xiàn)的細(xì)節(jié),這些實(shí)現(xiàn)的細(xì)節(jié)為后期Spark性能調(diào)優(yōu)提供了參數(shù)調(diào)節(jié)的理論依據(jù)。 第5章介紹了Spark性能調(diào)優(yōu)的詳細(xì)實(shí)踐過(guò)程,首先介紹了SparkUI和Spark日志的使用,通過(guò)這兩項(xiàng)可以迅速定位瓶頸問(wèn)題; 然后根據(jù)定位的問(wèn)題,分別從程序調(diào)優(yōu)、資源調(diào)優(yōu)、Shuffle過(guò)程調(diào)優(yōu)等不同角度介紹了調(diào)優(yōu)的實(shí)踐過(guò)程。 本書(shū)在理論部分提供了大量的概念原理圖、運(yùn)行流程圖,在實(shí)踐部分提供了大量的示例。讓讀者對(duì)性能的調(diào)節(jié)不 僅停留在參數(shù)調(diào)節(jié)的層面,而且能理解每個(gè)參數(shù)的修改對(duì)程序的內(nèi)部運(yùn)行產(chǎn)生 的影響。 本書(shū)既可以作為Spark開(kāi)發(fā)者的參考用書(shū),也可以作為高等院校計(jì)算機(jī)與軟件相關(guān)專(zhuān)業(yè)的教材。
你還可能感興趣
我要評(píng)論
|