本書從消息中間件的概念和RabbitMQ的歷史切入,主要闡述RabbitMQ的安裝、使用、配置、管理、運維、原理、擴展等方面的細節(jié)。本書大致可以分為基礎(chǔ)篇、進階篇和高階篇三個部分;A(chǔ)篇首先介紹RabbitMQ的基本安裝及使用方式,方便零基礎(chǔ)的讀者以*舒適的方式融入到RabbitMQ之中。其次介紹RabbitMQ的基本概念,包括生產(chǎn)者、消費者、交換器、隊列、綁定等。之后通過Java語言講述了客戶端如何與RabbitMQ建立(關(guān)閉)連接、聲明(刪除)交換器、隊列、綁定關(guān)系,以及如何發(fā)送和消費消息等。進階篇講述RabbitMQ的 TTL、死信、延遲隊列、優(yōu)先級隊列、RPC、消息持久化、生產(chǎn)端和消費端的消息確認機制等內(nèi)容,以期讀者能夠掌握RabbitMQ的使用精髓。本書中間篇幅主要從RabbitMQ 的管理、配置、運維這三個角度來為讀者提供幫助文檔及解決問題的思路。高階篇主要闡述RabbitMQ的存儲機制、流控及鏡像隊列的原理,深入地講述RabbitMQ的一些實現(xiàn)細節(jié),便于讀者加深對RabbitMQ的理解。本書還涉及網(wǎng)絡(luò)分區(qū)的概念,此內(nèi)容可稱為魔鬼篇,需要掌握前面的所有內(nèi)容才可理解其中的門道。本書*后講述的是RabbitMQ的一些擴展內(nèi)容及附錄,供讀者參考之用。
初識RabbitMQ時,我在網(wǎng)上搜尋了大量的相關(guān)資料以求自己能夠快速地理解它,但是這些資料零零散散而又良莠不齊。后來又寄希望于RabbitMQ的相關(guān)書籍,或許是它們都非出自國人之手,里面的陳述邏輯和案例描述都不太符合我自己的思維習慣。最后選擇從頭開始自研RabbitMQ,包括閱讀相關(guān)源碼、翻閱官網(wǎng)的資料以及進行大量的實驗等。
平時我也有寫博客的習慣,通常在工作中遇到問題時會結(jié)合所學的知識整理成文。隨著一篇篇的積累,也有好幾十篇的內(nèi)容,漸漸地也就有了編撰成書的想法。
本書動筆之時我曾信心滿滿,以為能夠順其自然地完成這本書,但是寫到四分之一時,發(fā)現(xiàn)并沒有想象中的那么簡單。怎樣才能讓理解領(lǐng)悟匯聚成通俗易懂的文字表達?怎樣才能讓書中內(nèi)容前后貫通、由淺入深地闡述?有些時候可能知道怎樣做、為什么這么做,而沒有反思其他情形能不能做、怎樣做。為了解決這些問題,我會反復(fù)對書中的內(nèi)容進行迭代,對某些模糊的知識點深耕再深耕,對某些案例場景進行反復(fù)的測試,不斷地完善。
在本書編寫之時,我常常回想當初作為小白之時迫切地希望能夠了解哪些內(nèi)容,這些內(nèi)容又希望以怎樣的形式展現(xiàn)。所以本書前面幾章的內(nèi)容基本上是站在一個小白的視角來為讀者做一個細膩的講解,相信讀者在閱讀完這些內(nèi)容之后能夠具備合理使用RabbitMQ的能力。在后面的章節(jié)中知識點會慢慢地深入,每閱讀一章的內(nèi)容都會對RabbitMQ有一個更加深刻的認知。
本書中的所有內(nèi)容都具備理論基礎(chǔ)并全部實踐過,書中的內(nèi)容也是我在工作中的實踐積累,希望本書能夠讓初學者對RabbitMQ有一個全面的認知,也希望有相關(guān)經(jīng)驗的人士可以從本書中得到一些啟發(fā),汲取一些經(jīng)驗。
內(nèi)容大綱
本書共11章,前后章節(jié)都有相關(guān)的聯(lián)系,基本上按照由淺入深、由表及里的層次逐層進行講解。如果讀者對其中的某些內(nèi)容已經(jīng)掌握,可以選擇跳過而翻閱后面的內(nèi)容,不過還是建議讀者按照先后順序進行閱讀。
第1章主要針對消息中間件做一個摘要性介紹,包括什么是消息中間件、消息中間件的作用及特點等。之后引入RabbitMQ,對其歷史和相關(guān)特點做一個簡要概述。本章最后介紹RabbitMQ的安裝及生產(chǎn)、消費的使用示例。
第2章主要講述RabbitMQ的入門知識,包括生產(chǎn)者、消費者、隊列、交換器、路由鍵、綁定、連接及信道等基本術(shù)語。本章還闡述了RabbitMQ與AMQP協(xié)議的對應(yīng)關(guān)系。
第3章主要介紹RabbitMQ客戶端開發(fā)的簡單使用,按照一個生命周期對連接、創(chuàng)建、生產(chǎn)、消費及關(guān)閉等幾個方面進行宏觀的介紹。
第4章介紹數(shù)據(jù)可靠性的一些細節(jié),并展示RabbitMQ的幾種已具備或衍生的高級特性,包括TTL、死信隊列、延遲隊列、優(yōu)先級隊列、RPC等,這些功能在實際使用中可以讓某些應(yīng)用的實現(xiàn)變得事半功倍。
第5章主要圍繞RabbitMQ管理這個主題展開,包括多租戶、權(quán)限、用戶、應(yīng)用和集群管理、服務(wù)端狀態(tài)等方面,并且從側(cè)面講述rabbitmqctl工具和rabbitmq_management插件的使用。
第6章主要講述RabbitMQ的配置,以此可以通過環(huán)境變量、配置文件、運行時參數(shù)(和策略)等三種方式來定制化相應(yīng)的服務(wù)。
第7章主要圍繞運維層面展開論述,主要包括集群搭建、日志查看、故障恢復(fù)、集群遷移、集群監(jiān)控這幾個方面。
第8章主要講述Federation和Shovel這兩個插件的使用、細節(jié)及相關(guān)原理。區(qū)別于第7章中集群的部署方式,F(xiàn)ederation和Shovel可以部署在廣域網(wǎng)中,為RabbitMQ提供更廣泛的應(yīng)用空間。
第9章介紹RabbitMQ相關(guān)的一些原理,主要內(nèi)容包括RabbitMQ存儲機制、磁盤和內(nèi)存告警、流控機制、鏡像隊列。了解這些實現(xiàn)的細節(jié)及原理十分必要,它們可以讓讀者在遇到問題時能夠透過現(xiàn)象看本質(zhì)。
第10章主要圍繞網(wǎng)絡(luò)分區(qū)進行展開,具體闡述網(wǎng)絡(luò)分區(qū)的意義,如何查看和處理網(wǎng)絡(luò)分區(qū),以及網(wǎng)絡(luò)分區(qū)所帶來的影響。
第11章主要探討RabbitMQ的兩個擴展內(nèi)容:消息追蹤及負載均衡。消息追蹤可以有效地定位消息丟失的問題。負載均衡本身屬于運維層面,但是負載均衡一般需要借助第三方的工具HAProxy、LVS等實現(xiàn),故本書將其視為擴展內(nèi)容。
讀者討論
由于作者水平有限,書中難免有錯誤之處。在本書出版后的任何時間,若你對本書有任何的疑問,都可以通過 zhuzhonghua.ideal@qq.com 發(fā)送郵件給作者,也可以到作者的個人博客http://blog.csdn.net/u013256816留言,向作者闡述你的建議和想法。如若收到相關(guān)信息,作者都會回復(fù)。
致謝
首先要感謝我身處的平臺,讓我有機會深入地接觸RabbitMQ。同時也要感謝我身邊的同事,正因為有了你們的鼓勵和幫助,才讓我能夠迅速成長,本書的問世,離不開與你們在工作中積累的點點滴滴。
感謝在我博客中提問、留言的網(wǎng)友,有了你們的意見和建議才能讓本書更加完善。
感謝博文視點的編輯們,本書能夠順利、迅速地出版,多虧了你們的敬業(yè)精神和一絲不茍的工作態(tài)度。
最后還要感謝我的家人,在我占用絕大部分的業(yè)余時間進行寫作的時候,能夠給予我極大的寬容、理解和支持,讓我能夠全身心地投入到寫作之中。
朱忠華
計算機碩士畢業(yè),在互聯(lián)網(wǎng)公司擔任高級開發(fā)工程師,從事消息中間件的研究及開發(fā),主要包括RabbitMQ和Kafka。
第1章 RabbitMQ簡介1
1.1 什么是消息中間件2
1.2 消息中間件的作用3
1.3 RabbitMQ的起源4
1.4 RabbitMQ的安裝及簡單使用6
1.4.1 安裝Erlang7
1.4.2 RabbitMQ的安裝8
1.4.3 RabbitMQ的運行8
1.4.4 生產(chǎn)和消費消息10
1.5 小結(jié)14
第2章 RabbitMQ入門15
2.1 相關(guān)概念介紹16
2.1.1 生產(chǎn)者和消費者16
2.1.2 隊列18
2.1.3 交換器、路由鍵、綁定19
2.1.4 交換器類型21
2.1.5 RabbitMQ運轉(zhuǎn)流程23
2.2 AMQP協(xié)議介紹26
2.2.1 AMQP生產(chǎn)者流轉(zhuǎn)過程27
2.2.2 AMQP消費者流轉(zhuǎn)過程29
2.2.3 AMQP命令概覽30
2.3 小結(jié)32
第3章 客戶端開發(fā)向?qū)?3
3.1 連接RabbitMQ34
3.2 使用交換器和隊列36
3.2.1 exchangeDeclare方法詳解37
3.2.2 queueDeclare方法詳解39
3.2.3 queueBind方法詳解41
3.2.4 exchangeBind方法詳解42
3.2.5 何時創(chuàng)建43
3.3 發(fā)送消息44
3.4 消費消息46
3.4.1 推模式46
3.4.2 拉模式49
3.5 消費端的確認與拒絕50
3.6 關(guān)閉連接52
3.7 小結(jié)54
第4章 RabbitMQ進階55
4.1 消息何去何從56
4.1.1 mandatory參數(shù)56
4.1.2 immediate參數(shù)57
4.1.3 備份交換器58
4.2 過期時間(TTL)60
4.2.1 設(shè)置消息的TTL60
4.2.2 設(shè)置隊列的TTL62
4.3 死信隊列63
4.4 延遲隊列65
4.5 優(yōu)先級隊列67
4.6 RPC實現(xiàn)68
4.7 持久化72
4.8 生產(chǎn)者確認74
4.8.1 事務(wù)機制74
4.8.2 發(fā)送方確認機制77
4.9 消費端要點介紹84
4.9.1 消息分發(fā)85
4.9.2 消息順序性87
4.9.3 棄用QueueingConsumer88
4.10 消息傳輸保障90
4.11 小結(jié)91
第5章 RabbitMQ管理92
5.1 多租戶與權(quán)限93
5.2 用戶管理97
5.3 Web端管理99
5.4 應(yīng)用與集群管理105
5.4.1 應(yīng)用管理105
5.4.2 集群管理108
5.5 服務(wù)端狀態(tài)111
5.6 HTTP API接口管理121
5.7 小結(jié)130
第6章 RabbitMQ配置131
6.1 環(huán)境變量132
6.2 配置文件136
6.2.1 配置項137
6.2.2 配置加密140
6.2.3 優(yōu)化網(wǎng)絡(luò)配置142
6.3 參數(shù)及策略146
6.4 小結(jié)151
第7章 RabbitMQ運維152
7.1 集群搭建153
7.1.1 多機多節(jié)點配置154
7.1.2 集群節(jié)點類型158
7.1.3 剔除單個節(jié)點160
7.1.4 集群節(jié)點的升級162
7.1.5 單機多節(jié)點配置163
7.2 查看服務(wù)日志164
7.3 單節(jié)點故障恢復(fù)172
7.4 集群遷移173
7.4.1 元數(shù)據(jù)重建174
7.4.2 數(shù)據(jù)遷移和客戶端連接的切換183
7.4.3 自動化遷移185
7.5 集群監(jiān)控189
7.5.1 通過HTTP API接口提供監(jiān)控數(shù)據(jù)189
7.5.2 通過客戶端提供監(jiān)控數(shù)據(jù)196
7.5.3 檢測RabbitMQ服務(wù)是否健康199
7.5.4 元數(shù)據(jù)管理與監(jiān)控203
7.6 小結(jié)205
第8章 跨越集群的界限206
8.1 Federation207
8.1.1 聯(lián)邦交換器207
8.1.2 聯(lián)邦隊列214
8.1.3 Federation的使用216
8.2 Shovel223
8.2.1 Shovel的原理224
8.2.2 Shovel的使用227
8.2.3 案例:消息堆積的治理233
8.3 小結(jié)235
第9章 RabbitMQ高階237
9.1 存儲機制238
9.1.1 隊列的結(jié)構(gòu)240
9.1.2 惰性隊列243
9.2 內(nèi)存及磁盤告警245
9.2.1 內(nèi)存告警246
9.2.2 磁盤告警249
9.3 流控250
9.3.1 流控的原理250
9.3.2 案例:打破隊列的瓶頸253
9.4 鏡像隊列263
9.5 小結(jié)269
第10章 網(wǎng)絡(luò)分區(qū)270
10.1 網(wǎng)絡(luò)分區(qū)的意義271
10.2 網(wǎng)絡(luò)分區(qū)的判定272
10.3 網(wǎng)絡(luò)分區(qū)的模擬275
10.4 網(wǎng)絡(luò)分區(qū)的影響279
10.4.1 未配置鏡像279
10.4.2 已配置鏡像282
10.5 手動處理網(wǎng)絡(luò)分區(qū)284
10.6 自動處理網(wǎng)絡(luò)分區(qū)289
10.6.1 pause-minority模式289
10.6.2 pause-if-all-down模式290
10.6.3 autoheal模式291
10.6.4 挑選哪種模式292
10.7 案例:多分區(qū)情形293
10.8 小結(jié)296
第11章 RabbitMQ擴展297
11.1 消息追蹤298
11.1.1 Firehose298
11.1.2 rabbitmq_tracing插件301
11.1.3 案例:可靠性檢測305
11.2 負載均衡310
11.2.1 客戶端內(nèi)部實現(xiàn)負載均衡312
11.2.2 使用HAProxy實現(xiàn)負載均衡314
11.2.3 使用Keepalived實現(xiàn)高可靠負載均衡318
11.2.4 使用Keepalived LVS實現(xiàn)負載均衡325
11.3 小結(jié)330
附錄A 集群元數(shù)據(jù)信息示例331
附錄B /api/nodes接口詳細內(nèi)容333
附錄C 網(wǎng)絡(luò)分區(qū)圖譜336