為什么要寫本書
近些年來，流計算技術(shù)發(fā)展迅速，被廣泛應用于數(shù)據(jù)ETL、數(shù)據(jù)BI、實時數(shù)據(jù)倉庫建設(shè)和AI等方面。Flink作為流計算領(lǐng)域的一顆璀璨的明星，自問世以來發(fā)展迅猛，其技術(shù)生態(tài)圈也日益壯大，現(xiàn)已成為Apache開源項目中活躍的項目之一。很多企業(yè)選擇用Flink來構(gòu)建其流計算體系或流批一體體系，使用on YARN或on Kubernetes部署模式來進行大規(guī)模生產(chǎn)。
轉(zhuǎn)眼間，我從事Flink研發(fā)工作已經(jīng)4年，其間我對Flink 的1.2、1.3、1.5、1 .8、1.9、1.11 和1.13版本源代碼進行維護和改造，提供Flink 大規(guī)模集群生產(chǎn)支持，并在公司內(nèi)提供業(yè)務解決方案。在為業(yè)務方提供支持的過程中，我逐漸萌生寫一本剖析Flink內(nèi)部機制的書的想法，原因有二。
其一，隨著流計算的流行和應用于大規(guī)模生產(chǎn)，公司對Flink的性能、可用性和效能等方面的要求更加迫切，因而更加需要流計算方面的人才，尤其是擁有Flink性能調(diào)優(yōu)、可用性和效能等方面經(jīng)驗的人才。而單純查看官方文檔，對Flink機制的認識只能流于黑盒形式。只有深入源代碼才能深刻理解Flink 的內(nèi)部機制，才能更好地進行性能調(diào)優(yōu)，做好可用性保障和優(yōu)化，以及做好效能方面的優(yōu)化。
其二，市場上缺少深入剖析Flink源代碼和設(shè)計的圖書。我希望借助自己多年從事大規(guī)模生產(chǎn)以及進行多個Flink 版本維護與改造的經(jīng)驗，對Flink 的設(shè)計與實現(xiàn)進行深入剖析，幫助讀者更好地了解Flink源代碼與機制。
通過了解源代碼，讀者能有以下收獲：
編寫出更健壯的流計算代碼；
更好地對流計算作業(yè)進行調(diào)優(yōu)，使得作業(yè)性能更高；
更好地維護Flink引擎，并對Flink引擎進行二次開發(fā)。
讀者對象
本書適合以下幾類人員閱讀：
流計算開發(fā)人員、大數(shù)據(jù)開發(fā)人員；
大數(shù)據(jù)架構(gòu)人員；
對Flink計算引擎底層感興趣的相關(guān)人員。
本書特色
基于使用方式及其背后的原理、原理背后的設(shè)計及源代碼實現(xiàn)來剖析Flink內(nèi)部機制，由淺入深。
盡量用圖來展示原理和機制，以便于讀者理解。
盡可能結(jié)合實際生產(chǎn)分析Flink 內(nèi)部機制，對讀者的實際生產(chǎn)具有指導意義。
講解的設(shè)計和實現(xiàn)原理有助于讀者提升架構(gòu)設(shè)計與實現(xiàn)能力。
本書結(jié)構(gòu)與內(nèi)容
本書基于Flink 1.9版本的源代碼來解析Flink。全書共11章，主要內(nèi)容如下。
第1章　閱讀Flink源代碼前的準備
主要介紹Flink源代碼閱讀環(huán)境準備以及Flink的設(shè)計理念和基本架構(gòu)，包括Flink源代碼的導入流程和調(diào)試方式，F(xiàn)link與Hadoop MapReduce、Spark的設(shè)計差異，以及Flink的分層架構(gòu)和運行時架構(gòu)。
第2章　編程模型與API
主要介紹Flink DataStream的算子的使用和實現(xiàn)原理。首先講解DataStream底層的轉(zhuǎn)換，接著介紹常用算子（如FlatMap、Join、Aggregation、Union），后解析窗口的設(shè)計與實現(xiàn)。
第3章　運行時組件與通信
深入剖析運行時組件、組件間通信及運行時組件的高可用。首先介紹運行時組件REST、Dispatcher、ResourceManager、JobMaster和TaskExecutor，接著介紹運行時組件間通信的框架Akka，并以Slot申請為例講解運行時組件之間的通信，后介紹運行時組件高可用的功能、存在的問題及其解決方案。
第4章　狀態(tài)管理與容錯
從狀態(tài)、檢查點、狀態(tài)后端三個概念入手，對Flink狀態(tài)管理和容錯的設(shè)計與實現(xiàn)進行深度剖析。
第5章　任務提交與執(zhí)行
主要介紹Flink任務提交的整個流程，從客戶端、JobManager和TaskManager端對應任務各個階段的轉(zhuǎn)換入手進行深入的梳理與分析。
第6章　Flink網(wǎng)絡棧
首先介紹Flink的內(nèi)存管理機制，然后講解什么是Flink網(wǎng)絡棧以及網(wǎng)絡傳輸流程，其中涵蓋Flink的兩種背壓實現(xiàn)方式，后介紹流批一體的shuffle架構(gòu)的設(shè)計和實現(xiàn)。
第7章　Flink Connector的設(shè)計與實現(xiàn)
首先以Kafka Connector為切入點介紹Connector模塊設(shè)計時需要考慮的消費、分區(qū)管理、一致性語義保障等關(guān)鍵問題，然后以HBase為例介紹SQL/Table Connector的使用和實現(xiàn)原理。
第8章　部署模式
主要介紹Flink中常用的三種部署模式：Local模式、Standalone模式和第三方部署模式。首先介紹用于本地調(diào)試的Local模式、Standalone模式中Session模式的構(gòu)建與實現(xiàn)，然后介紹Flink on YARN的Session模式和Per-Job模式的設(shè)計與實現(xiàn)，后介紹Flink on Kubernetes基于YAML的實現(xiàn)。
第9章　Flink Table與SQL
主要介紹Flink Table與SQL中StreamTableEnvironment的實現(xiàn)過程、SQL的解析過程、Table Connector以及UDF和內(nèi)置算子的實現(xiàn)。
第10章　Flink CEP原理解析
主要介紹Flink CEP的基本概念和語法，如何使用Flink CEP編寫作業(yè)，以及 Flink CEP內(nèi)部基于NFA的實現(xiàn)原理。
第11章　Flink監(jiān)控
主要介紹Flink監(jiān)控指標、常用系統(tǒng)指標和監(jiān)控體系的建設(shè)，以及常用的定位手段。
勘誤與支持
由于作者的水平有限，加之寫作時間倉促，書中難免存在不妥之處。為此，我們在GitHub上創(chuàng)建了本書專屬工程（https://github.com/streaming-olap/deep-in-flink-book）來支持在線反饋。大家如有任何意見或建議，歡迎在該工程下創(chuàng)建issue，我們會