Linkedln、Netflix等知名應用都通過實時響應用戶和系統(tǒng)事件,來提高靈活度和響應速度。在大規(guī)模系統(tǒng)中,需要能高效地監(jiān)控、管理和處理大量的事件流。Kafkal具以及諸如統(tǒng)一日志處理的創(chuàng)新模式可幫助我們?yōu)榛谑录南到y(tǒng)創(chuàng)建連貫的數(shù)據(jù)處理架構。
《事件流實戰(zhàn)》講解如何使用統(tǒng)一日志模式,來聚合、存儲和處理事件流。在這本實用指南中,你將看到Lambda架構、流聚合和事件重放處理等重要的系統(tǒng)設計,還將看到擴展、彈性和高級流模式!
讀完《事件流實戰(zhàn)》,你將能設計出易于構建、部署和維護的由數(shù)據(jù)驅(qū)動的大型應用。
《事件流實戰(zhàn)》主要內(nèi)容:
校驗與監(jiān)控事件流
事件分析
事件建模
Apache Kafka與Amazon Kinesis的使用示例
讀者對象:
適合具有Java、Scala或Python編程經(jīng)驗的讀者。
“事件”對于開發(fā)者而言是個熟悉的詞,各種開發(fā)框架、編程語言中都或多或少有“事件”的概念,但很少有書籍談及如何運用事件對系統(tǒng)建模!傲鳌钡母拍钜嗍侨绱,計算機世界中充斥著各種流:輸入輸出流、網(wǎng)絡流,還有最近幾年出現(xiàn)的流計算。而《事件流實戰(zhàn)》把事件與流的概念結合在一起,展示了一種嶄新的架構;通過流這種數(shù)據(jù)架構在系統(tǒng)之間傳遞事件,不僅解除了系統(tǒng)間的耦合,也為系統(tǒng)帶來了更好的擴展性,同時數(shù)據(jù)分析師可以自由地開展各種分析。
在充斥著數(shù)據(jù)的環(huán)境中編寫一個真實可用的應用程序猶如在火焰中參加彩蛋射擊游戲。每一步都需要你組合事件流、批量歸檔,用戶與系統(tǒng)都需要實時地響應。統(tǒng)一日志處理是一種用來應對批量與準實時流數(shù)據(jù)處理、事件日志與聚合、統(tǒng)一事件流數(shù)據(jù)處理的綜合架構。通過從多個數(shù)據(jù)源高效地創(chuàng)建一個單獨的統(tǒng)一事件日志,統(tǒng)一日志處理能讓大規(guī)模的數(shù)據(jù)驅(qū)動應用變得更易于設計、部署與維護。本書讀者對象
本書適合有Java使用經(jīng)驗的程序員。Scala與Python的使用經(jīng)驗可以幫助你更好地理解書中的一些概念,但并不是必需的。
Alexander Dean開發(fā)開源的事件處理與分析平臺Snowplow。Valentin Crettaz是一名擁有25年經(jīng)驗的獨立IT咨詢顧問。
金中浩,曾在花旗銀行、中國平安、360金融擔任軟件工程師與系統(tǒng)架構師,現(xiàn)為Thought Works高級咨詢顧問。在15年的職業(yè)生涯中一直從事金融行業(yè)的軟件開發(fā)與系統(tǒng)架構工作,擅長函數(shù)式編程與數(shù)據(jù)分析,堅信技術能讓生活變得更美好。
第I部分 事件流與統(tǒng)一日志
第1章 事件流
1.1 術語定義
1.1.1 事件
1.1.2 持續(xù)事件流
1.2 探尋我們熟悉的事件流
1.2.1 應用級日志
1.2.2 站點分析
1.2.3 發(fā)布/訂閱消息
1.3 統(tǒng)一持續(xù)事件流
1.3.1 古典時代
1.3.2 混合時代
1.3.3 統(tǒng)一時代
1.4 統(tǒng)一日志的應用場景
1.4.1 用戶反饋環(huán)路
1.4.2 整體系統(tǒng)監(jiān)控
1.4.3 應用系統(tǒng)版本在線升級
1.5 本章小結
第2章 統(tǒng)一日志
2.1 深入統(tǒng)一日志
2.1.1 統(tǒng)
2.1.2 只可追加
2.1.3 分布式
2.1.4 有序性
2.2 引入我們的應用
2.2.1 識別關鍵事件
2.2.2 電子商務中的統(tǒng)一日志
2.2.3 首個事件建模
2.3 配置統(tǒng)一日志
2.3.1 下載并安裝Apache Kafka
2.3.2 創(chuàng)建流
2.3.3 發(fā)送和接收事件
2.4 本章小結
第3章 使用Apache Kafka進行事件流處理
3.1 事件流處理入門
3.1.1 為什么要處理事件流?
3.1.2 單事件處理
3.1.3 多事件處理
3.2 設計第一個流處理程序
3.2.1 將Kafka作為黏合劑
3.2.2 明確需求
3.3 編寫一個簡單的Kafka Worker
3.3.1 配置開發(fā)環(huán)境
3.3.2 應用配置
3.3.3 從Kafka讀取事件
3.3.4 向Kafka寫入事件
3.3.5 整合讀取與寫入
3.3.6 測試\"
3.4 編寫單事件處理器
3.4.1 編寫事件處理器
3.4.2 更新mam方法
3.4.3 再次測試
3.5 本章小結
第4章 使用Amazon Kinesis處理流事件
4.1 向Kinesis寫入事件
4.1.1 系統(tǒng)監(jiān)控與統(tǒng)一日志
4.1.2 與Kafka的術語差異
4.1.3 配置事件流
4.1.4 事件建模
4.1.5 編寫代理程序
4.2 從Kinesis讀取事件
4.2.1 Kinesis的框架與SDK
4.2.2 使用AWSCLI讀取事件
4.2.3 使用boto監(jiān)控Kinesis stream
4.3 本章小結
第5章 有狀態(tài)的流式處理
……
第II部分 針對流的數(shù)據(jù)工程
第III部分 事件分析