本書主要分析了Kubernetes核心功能的實現(xiàn)原理,是一本幫助讀者了解Kubernetes架構設計及內部原理實現(xiàn)的書。由于Kubernetes代碼量較大,源碼不容易理解,所以本書將梳理相關知識點,幫助讀者快速學習。
本書共分為8章,第1章簡要介紹了Kubernetes架構的核心組件,以及每個核心組件在架構中的作用;第2章主要介紹了Kubernetes構建過程中的源碼實現(xiàn);第3章主要介紹了Kubernetes的核心數據結構定義及圍繞資源展開的核心功能;第4章主要介紹了kubectl命令行交互工具的實現(xiàn)機制;第5章主要介紹了client-go編程式交互工具的實現(xiàn)機制;第6章主要介紹了Etcd存儲的核心實現(xiàn);第7章主要介紹了kube-apiserver組件的核心實現(xiàn);第8章主要介紹了kube-scheduler組件的核心實現(xiàn)。
適讀人群 :本書適合云計算領域的相關技術人員、Kubernetes開發(fā)者、Go語言開發(fā)者等閱讀。 1 業(yè)內專家來煒、楊思杰、孫宏亮、宋凈超聯(lián)袂力薦。
2 這是一本從源碼層面介紹Kubernetes的技術圖書,從架構到源碼,細致入微,全面詳盡。
3 本書主要介紹了Kubernetes構建中的源碼實現(xiàn)、Kubernetes核心數據結構、kubectl命令行交互工具、client-go編程式交互工具、Etcd存儲、kube-apiserver組件和kube-scheduler組件的核心實現(xiàn)等內容。
4 本書適合云計算領域的相關技術人員、Kubernetes開發(fā)者、Go語言開發(fā)者等閱讀。
前言
近幾年,容器技術越來越普及。據Gartner預估,到2022年,全球將有75%的公司使用容器技術,而在2017年,這個比例還不到20%,這說明容器技術的發(fā)展非常迅速。容器技術的火熱引發(fā)了容器編排技術的發(fā)展,目前最受歡迎的容器編排系統(tǒng)是Kubernetes,其引領著技術潮流,用于應對生產環(huán)境中編排容器所需的額外復雜度及成本。Kubernetes系統(tǒng)幫助企業(yè)加快了容器編排的速度,并實現(xiàn)了對多容器集群的大規(guī)模管理。它允許持續(xù)集成和交付、網絡處理、服務發(fā)現(xiàn)及存儲服務等,并具有在多云環(huán)境下進行操作的能力。
很多人都在說掌控了Kubernetes等于掌控了云計算的未來,這是為什么呢?在過去的幾年里,Kubernetes發(fā)展飛速,社區(qū)也隨之壯大,截至本書截稿時,Kubernetes項目在GitHub上已有接近6萬個Star,擁有8萬多次提交量。
Kubernetes系統(tǒng)已經越來越成熟,很多企業(yè)對它的應用從試水階段逐步走向大規(guī)模落地階段,但隨著Kubernetes系統(tǒng)越來越穩(wěn)定、成熟,代碼的迭代能力逐漸變弱了。底層代碼的成熟和健壯能夠支撐更大的上層應用,這便讓更多優(yōu)秀的生態(tài)應用圍繞著Kubernetes系統(tǒng)各自發(fā)展。這得益于Kubernetes系統(tǒng)的高擴展性,Kubernetes越來越像一個系統(tǒng)核心,對外提供通用接口,實現(xiàn)了眾多標準化。另外,Kubernetes得到了許多云服務提供商(Cloud Provider)的支持,例如Google、Cisco、VMware、Microsoft、Amazon及許多其他大型公司。
建議讀者在閱讀Kubernetes源碼的過程中,學習一些關于設計模式(Design Pattern)的知識,這樣有助于大家理解源碼的實現(xiàn)原理,而非只是泛泛地看代碼。例如,在Go語言中常用NewXXX函數來實例化相關類,在設計模式中,其被稱為簡單工廠模式,該設計模式在Go語言中替代了其他語言中的構造函數功能。不同語言的設計模式原理基本相同,只是在語法實現(xiàn)方式上有所不同。對于Go語言的設計模式,大家可以參考Go Design Pattern(參見鏈接[1])。
學習Kubernetes代碼庫并不容易,它擁有大量的源碼,學習過程會比較枯燥,但通過對源碼的學習,我們一定會收益良多。本書將基于Kubernetes 1.14.0版本來深入研究和分析Kubernetes源碼的關鍵部分,希望能對讀者有所幫助。建議讀者在閱讀本書的同時參考Kubernetes源碼文件,這樣學習效果更佳。
最后,謹以此書獻給我的愛人和我剛出世的女兒。
聯(lián)系作者
由于作者時間與水平有限,因此書中難免出現(xiàn)遺漏或錯誤,如果讀者發(fā)現(xiàn)相關問題,請及時與我聯(lián)系,聯(lián)系方式為shanhu5739@gmail.com。非常希望與大家共同學習和交流。
本書涉及的鏈接說明
為了保證書中涉及的相關鏈接可以實時更新,特地將“鏈接地址”文檔放于博文視點官方網站,如書中標有“參見鏈接[1]”“參見鏈接[2]”等字樣時,可在該文檔中查詢相關鏈接。讀者可在http://www.broadview.com.cn/38914頁面下載或通過“讀者服務”中提供的方式獲取 “鏈接地址”文檔。
讀者服務
掃碼回復:38914
√獲取博文視點學院20元付費內容抵扣券
√加入讀者交流群,與更多讀者互動
√獲取本書配套下載文件(“鏈接地址”文檔)
√獲取免費增值資源
第1章Kubernetes架構1
1.1Kubernetes的發(fā)展歷史1
1.2Kubernetes架構圖2
1.3Kubernetes各組件的功能4
1.3.1kubectl5
1.3.2client-go5
1.3.3kube-apiserver5
1.3.4kube-controller-manager6
1.3.5kube-scheduler7
1.3.6kubelet7
1.3.7kube-proxy8
1.4KubernetesProjectLayout設計9
第2章Kubernetes構建過程13
2.1構建方式13
2.2本地環(huán)境構建15
2.2.1一切都始于Makefile16
2.2.2本地構建過程17
2.3容器環(huán)境構建18
2.4Bazel環(huán)境構建22
2.4.1使用Bazel構建和測試Kubernetes源碼23
2.4.2Bazel的工作原理25
2.5代碼生成器26
2.5.1Tags27
2.5.2deepcopy-gen代碼生成器29
2.5.3defaulter-gen代碼生成器30
2.5.4conversion-gen代碼生成器32
2.5.5openapi-gen代碼生成器34
2.5.6go-bindata代碼生成器36
2.6代碼生成過程37
2.7gengo代碼生成核心實現(xiàn)40
2.7.1代碼生成邏輯與編譯器原理41
2.7.2收集Go包信息42
2.7.3代碼解析45
2.7.4類型系統(tǒng)48
2.7.5代碼生成51
第3章Kubernetes核心數據結構57
3.1Group、Version、Resource核心數據結構57
3.2ResourceList59
3.3Group62
3.4Version63
3.5Resource65
3.5.1資源外部版本與內部版本66
3.5.2資源代碼定義68
3.5.3將資源注冊到資源注冊表中71
3.5.4資源首選版本71
3.5.5資源操作方法72
3.5.6資源與命名空間75
3.5.7自定義資源77
3.5.8資源對象描述文件定義78
3.6Kubernetes內置資源全圖79
3.7runtime.Object類型基石83
3.8Unstructured數據85
3.9Scheme資源注冊表87
3.9.1Scheme資源注冊表數據結構87
3.9.2資源注冊表注冊方法91
3.9.3資源注冊表查詢方法92
3.10Codec編解碼器92
3.10.1Codec編解碼實例化94
3.10.2jsonSerializer與yamlSerializer序列化器95
3.10.3protobufSerializer序列化器98
3.11Converter資源版本轉換器100
3.11.1Converter轉換器數據結構101
3.11.2Converter注冊轉換函數102
3.11.3Converter資源版本轉換原理104
第4章kubectl命令行交互111
4.1kubectl命令行參數詳解111
4.2Cobra命令行參數解析114
4.3創(chuàng)建資源對象的過程119
4.3.1編寫資源對象描述文件120
4.3.2實例化Factory接口120
4.3.3Builder構建資源對象121
4.3.4Visitor多層匿名函數嵌套122
第5章client-go編程式交互128
5.1client-go源碼結構128
5.2Client客戶端對象129
5.2.1kubeconfig配置管理130
5.2.2RESTClient客戶端134
5.2.3ClientSet客戶端137
5.2.4DynamicClient客戶端139
5.2.5DiscoveryClient客戶端141
5.3Informer機制144
5.3.1Informer機制架構設計145
5.3.2Reflector149
5.3.3DeltaFIFO154
5.3.4Indexer158
5.4WorkQueue162
5.4.1FIFO隊列163
5.4.2延遲隊列165
5.4.3限速隊列166
5.5EventBroadcaster事件管理器170
5.6代碼生成器176
5.6.1client-gen代碼生成器176
5.6.2lister-gen代碼生成器180
5.6.3informer-gen代碼生成器182
5.7其他客戶端185
第6章Etcd存儲核心實現(xiàn)187
6.1Etcd存儲架構設計187
6.2RESTStorage存儲服務通用接口189
6.3RegistryStore存儲服務通用操作190
6.4Storage.Interface通用存儲接口192
6.5CacherStorage緩存層194
6.5.1CacherStorage緩存層設計195
6.5.2ResourceVersion資源版本號199
6.5.3watchCache緩存滑動窗口201
6.6UnderlyingStorage底層存儲對象204
6.7Codec編解碼數據206
6.8Strategy預處理209
6.8.1創(chuàng)建資源對象時的預處理操作209
6.8.2更新資源對象時的預處理操作211
6.8.3刪除資源對象時的預處理操作212
6.8.4導出資源對象時的預處理操作213
第7章kube-apiserver核心實現(xiàn)214
7.1熱身概念215
7.1.1go-restful核心原理215
7.1.2一次HTTP請求的完整生命周期218
7.1.3OpenAPI/Swagger核心原理219
7.1.4HTTPS核心原理222
7.1.5gRPC核心原理224
7.1.6go-to-protobuf代碼生成器225
7.2kube-apiserver命令行參數詳解231
7.3kube-apiserver架構設計詳解243
7.4kube-apiserver啟動流程244
7.4.1資源注冊245
7.4.2Cobra命令行參數解析248
7.4.3創(chuàng)建APIServer通用配置249
7.4.4創(chuàng)建APIExtensionsServer257
7.4.5創(chuàng)建KubeAPIServer261
7.4.6創(chuàng)建AggregatorServer266
7.4.7創(chuàng)建GenericAPIServer269
7.4.8啟動HTTP服務270
7.4.9啟動HTTPS服務272
7.5權限控制272
7.6認證273
7.6.1BasicAuth認證276
7.6.2ClientCA認證277
7.6.3TokenAuth認證278
7.6.4BootstrapToken認證279
7.6.5RequestHeader認證281
7.6.6WebhookTokenAuth認證282
7.6.7Anonymous認證284
7.6.8OIDC認證285
7.6.9ServiceAccountAuth認證288
7.7授權291
7.7.1AlwaysAllow授權295
7.7.2AlwaysDeny授權296
7.7.3ABAC授權297
7.7.4Webhook授權298
7.7.5RBAC授權300
7.7.6Node授權309
7.8準入控制器310
7.8.1AlwaysPullImages準入控制器315
7.8.2PodNodeSelector準入控制器316
7.9進程信號處理機制318
7.9.1常駐進程實現(xiàn)318
7.9.2進程的優(yōu)雅關閉319
7.9.3向systemd報告進程狀態(tài)320
第8章kube-scheduler核心實現(xiàn)321
8.1kube-scheduler命令行參數詳解321
8.2kube-scheduler架構設計詳解324
8.3kube-scheduler組件的啟動流程326
8.3.1內置調度算法的注冊327
8.3.2Cobra命令行參數解析328
8.3.3實例化Scheduler對象329
8.3.4運行EventBroadcaster事件管理器331
8.3.5運行HTTP或HTTPS服務331
8.3.6運行Informer同步資源332
8.3.7領導者選舉實例化332
8.3.8運行sched.Run調度器333
8.4優(yōu)先級與搶占機制333
8.5親和性調度335
8.5.1NodeAffinity336
8.5.2PodAffinity337
8.5.3PodAntiAffinity338
8.6內置調度算法339
8.6.1預選調度算法339
8.6.2優(yōu)選調度算法340
8.7調度器核心實現(xiàn)342
8.7.1調度器運行流程342
8.7.2調度過程343
8.7.3Preempt搶占機制351
8.7.4bind綁定機制356
8.8領導者選舉機制357
8.8.1資源鎖358
8.8.2領導者選舉過程360