本書(shū)從實(shí)踐出發(fā)講解Go語(yǔ)言的進(jìn)階知識(shí)。本書(shū)共6章，第1章簡(jiǎn)單回顧Go語(yǔ)言的發(fā)展歷史；第2章和第3章系統(tǒng)地介紹CGO編程和Go匯編語(yǔ)言的用法；第4章對(duì)RPC和Protobuf技術(shù)進(jìn)行深入介紹，并講述如何打造一個(gè)自己的RPC系統(tǒng)；第5章介紹工業(yè)級(jí)環(huán)境的Web系統(tǒng)的設(shè)計(jì)和相關(guān)技術(shù)；第6章介紹Go語(yǔ)言在分布式領(lǐng)域的一些編程技術(shù)。書(shū)中還涉及CGO和匯編方面的知識(shí)，其中CGO能夠幫助讀者繼承的軟件遺產(chǎn)，而在深入學(xué)習(xí)Go運(yùn)行時(shí)，匯編對(duì)于理解各種語(yǔ)法設(shè)計(jì)的底層實(shí)現(xiàn)是必不可少的知識(shí)。此外，本書(shū)還包含一些緊跟潮流的內(nèi)容，介紹開(kāi)源界流行的gRPC及其相關(guān)應(yīng)用，講述Go Web框架中的基本實(shí)現(xiàn)原理和大型Web項(xiàng)目中的技術(shù)要點(diǎn)，引導(dǎo)讀者對(duì)Go語(yǔ)言進(jìn)行更深入的應(yīng)用。 本書(shū)適合對(duì)Go語(yǔ)言的應(yīng)用已經(jīng)有一些心得，并希望能夠深入理解底層實(shí)現(xiàn)原理或者是希望能夠在Web開(kāi)發(fā)方面結(jié)合Go語(yǔ)言來(lái)實(shí)現(xiàn)進(jìn)階學(xué)習(xí)的技術(shù)人員學(xué)習(xí)和參考。
截至2019年，Go語(yǔ)言已歷經(jīng)10 年，國(guó)內(nèi)互聯(lián)網(wǎng)公司的新興項(xiàng)目已經(jīng)在逐漸向Go語(yǔ)言生態(tài)轉(zhuǎn)移。隨著用戶(hù)的不斷積累，Go語(yǔ)言相關(guān)教程隨之增加，這些教程主要涵蓋Go語(yǔ)言基礎(chǔ)編程、Web編程、并發(fā)編程和內(nèi)部源碼剖析等諸多內(nèi)容。 本書(shū)聚焦于主流Go語(yǔ)言書(shū)中缺失的或刻意回避的部分主題，主要面向希望深入了解Go語(yǔ)言，特別是對(duì)Go語(yǔ)言和其他語(yǔ)言的混合編程、Go匯編語(yǔ)言的工作機(jī)制、構(gòu)造Web框架和分布式開(kāi)發(fā)等領(lǐng)域感興趣的學(xué)生、工程師和研究人員。閱讀本書(shū)需要讀者對(duì)Go語(yǔ)言有一定的認(rèn)識(shí)和使用經(jīng)驗(yàn)。 本書(shū)關(guān)于CGO編程和Go匯編語(yǔ)言的講解在中國(guó)乃至全球Go語(yǔ)言出版物中是非常有特色的。 本書(shū)主要內(nèi)容 ● Go語(yǔ)言演化歷史。 ● CGO編程技術(shù)。 ● Go匯編語(yǔ)言。 ● RPC和gRPC。 ● 構(gòu)造Web框架的方法。 ● 分布式系統(tǒng)。
序一
互聯(lián)網(wǎng)時(shí)代的來(lái)臨，改變甚至顛覆了很多東西。從前，一臺(tái)主機(jī)就能搞定一切；而在互聯(lián)網(wǎng)時(shí)代，后臺(tái)由大量分布式系統(tǒng)構(gòu)成，任何單個(gè)后臺(tái)服務(wù)器節(jié)點(diǎn)的故障都不會(huì)影響整個(gè)系統(tǒng)的正常運(yùn)行。以七牛云、阿里云和騰訊云為代表的云廠商的出現(xiàn)和崛起，標(biāo)志著云時(shí)代的到來(lái)。在云時(shí)代，掌握分布式編程已經(jīng)成為軟件工程師的基本技能，而基于Go語(yǔ)言構(gòu)建的Docker、Kubernetes等系統(tǒng)正是將云時(shí)代推向頂峰的關(guān)鍵力量。
今天，Go語(yǔ)言已歷經(jīng)十年，最初的追隨者也已經(jīng)逐漸成長(zhǎng)為Go語(yǔ)言資深用戶(hù)。隨著資深用戶(hù)的不斷積累，Go語(yǔ)言相關(guān)教程隨之增加，在內(nèi)容層面主要涵蓋Go語(yǔ)言基礎(chǔ)編程、Web編程、并發(fā)編程和內(nèi)部源碼剖析等諸多領(lǐng)域。
本書(shū)作者是國(guó)內(nèi)第一批Go語(yǔ)言實(shí)踐者和Go語(yǔ)言代碼貢獻(xiàn)者，創(chuàng)建了Go語(yǔ)言中國(guó)討論組，并組織了早期Go語(yǔ)言相關(guān)中文文檔的翻譯工作。作者從2011年開(kāi)始分享Go語(yǔ)言和C/C 語(yǔ)言混合編程技術(shù)。本書(shū)匯集了作者多年來(lái)學(xué)習(xí)和使用Go語(yǔ)言的經(jīng)驗(yàn)，內(nèi)容涵蓋CGO特性、Go匯編語(yǔ)言、RPC實(shí)現(xiàn)、Protobuf插件實(shí)現(xiàn)、Web框架實(shí)現(xiàn)、分布式系統(tǒng)等高階主題。其中，CGO特性實(shí)現(xiàn)了Go語(yǔ)言對(duì)C語(yǔ)言和C 語(yǔ)言混合編程的支持，使Go語(yǔ)言可以無(wú)縫繼承C/C 世界數(shù)十年來(lái)積累的巨大軟件資產(chǎn)。Go匯編語(yǔ)言更是提供了直接調(diào)用底層機(jī)器指令的方法，讓我們可以最大限度地提升程序中熱點(diǎn)代碼的性能。
目前，國(guó)內(nèi)互聯(lián)網(wǎng)公司的新興項(xiàng)目已經(jīng)在逐漸向Go語(yǔ)言生態(tài)轉(zhuǎn)移，大型分布式系統(tǒng)的開(kāi)發(fā)實(shí)戰(zhàn)經(jīng)驗(yàn)也是大家關(guān)心的熱點(diǎn)。這些高階或前沿特性正是本書(shū)所關(guān)注的課題，在這些方面作者通過(guò)不斷鉆研和實(shí)踐積累了很多寶貴經(jīng)驗(yàn)。
總體來(lái)說(shuō)，本書(shū)適合有一定Go語(yǔ)言經(jīng)驗(yàn)，并想深入了解Go語(yǔ)言各種高級(jí)用法的開(kāi)發(fā)人員。對(duì)于Go語(yǔ)言新手，建議在閱讀本書(shū)前先閱讀一些基礎(chǔ)Go語(yǔ)言編程圖書(shū)，例如D&K的The Go Programming Language。
最后，感謝作者在Go語(yǔ)言領(lǐng)域的筆耕不輟和突出貢獻(xiàn)，時(shí)代需要的正是這樣對(duì)于新興技術(shù)不斷關(guān)注、鉆研和推動(dòng)的布道者。七牛云作為一家技術(shù)領(lǐng)先的科技公司，也將在這條布道者的道路上不斷前進(jìn)，為推動(dòng)科技的發(fā)展、中國(guó)企業(yè)的云落地和行業(yè)的數(shù)字化轉(zhuǎn)型貢獻(xiàn)自己的力量。
許式偉，七牛云CEO
2019年5月于上海
柴樹(shù)杉，國(guó)內(nèi)較早的一批Go語(yǔ)言愛(ài)好者，Go語(yǔ)言代碼貢獻(xiàn)者。對(duì)WebAssembly技術(shù)有一定研究，除本書(shū)外還著有《WebAssembly標(biāo)準(zhǔn)入門(mén)》一書(shū)。GitHub賬號(hào)為chai2010。 曹春暉，在Web 領(lǐng)域工作多年，開(kāi)源愛(ài)好者。對(duì)大型網(wǎng)站系統(tǒng)的架構(gòu)和相關(guān)工具的實(shí)現(xiàn)很感興趣，并且有一些研究成果。目前在滴滴平臺(tái)技術(shù)部工作。
目 錄
第 1章 語(yǔ)言基礎(chǔ) 1
1.1 Go語(yǔ)言創(chuàng)世紀(jì) 1
1.1.1 來(lái)自貝爾實(shí)驗(yàn)室特有基因 3
1.1.2 你好，世界 4
1.2 Hello, World的革命 5
1.2.1 B語(yǔ)言Ken Thompson, 1969 5
1.2.2 C語(yǔ)言Dennis Ritchie，19721989 5
1.2.3 NewsqueakRob Pike, 1989 7
1.2.4 AlefPhil Winterbottom, 1993 9
1.2.5 LimboSean Dorward, Phil Winterbottom, Rob Pike, 1995 10
1.2.6 Go語(yǔ)言20072009 11
1.2.7 你好，世界!V2.0 13
1.3 數(shù)組、字符串和切片 13
1.3.1 數(shù)組 14
1.3.2 字符串 17
1.3.3 切片 21
1.4 函數(shù)、方法和接口 27
1.4.1 函數(shù) 27
1.4.2 方法 31
1.4.3 接口 35
1.5 面向并發(fā)的內(nèi)存模型 39
1.5.1 Goroutine和系統(tǒng)線程 40
1.5.2 原子操作 40
1.5.3 順序一致性?xún)?nèi)存模型 44
1.5.4 初始化順序 45
1.5.5 Goroutine的創(chuàng)建 46
1.5.6 基于通道的通信 46
1.5.7 不靠譜的同步 48
1.6 常見(jiàn)的并發(fā)模式 49
1.6.1 并發(fā)版本的Hello, World 50
1.6.2 生產(chǎn)者/消費(fèi)者模型 52
1.6.3 發(fā)布/訂閱模型 53
1.6.4 控制并發(fā)數(shù) 56
1.6.5 贏者為王 57
1.6.6 素?cái)?shù)篩 58
1.6.7 并發(fā)的安全退出 59
1.6.8 context包 62
1.7 錯(cuò)誤和異�！�64
1.7.1 錯(cuò)誤處理策略 65
1.7.2 獲取錯(cuò)誤的上下文 67
1.7.3 錯(cuò)誤的錯(cuò)誤返回 69
1.7.4 剖析異常 70
1.8 補(bǔ)充說(shuō)明 73
第 2章 CGO編程 74
2.1 快速入門(mén) 74
2.1.1 最簡(jiǎn)CGO程序 74
2.1.2 基于C標(biāo)準(zhǔn)庫(kù)函數(shù)輸出字符串 75
2.1.3 使用自己的C函數(shù) 75
2.1.4 C代碼的模塊化 76
2.1.5 用Go重新實(shí)現(xiàn)C函數(shù) 77
2.1.6 面向C接口的Go編程 78
2.2 CGO基礎(chǔ) 79
2.2.1 import "C"語(yǔ)句 79
2.2.2 #cgo語(yǔ)句 81
2.2.3 build標(biāo)志條件編譯 82
2.3 類(lèi)型轉(zhuǎn)換 83
2.3.1 數(shù)值類(lèi)型 83
2.3.2 Go字符串和切片 85
2.3.3 結(jié)構(gòu)體、聯(lián)合和枚舉類(lèi)型 86
2.3.4 數(shù)組、字符串和切片 89
2.3.5 指針間的轉(zhuǎn)換 91
2.3.6 數(shù)值和指針的轉(zhuǎn)換 92
2.3.7 切片間的轉(zhuǎn)換 93
2.4 函數(shù)調(diào)用 94
2.4.1 Go調(diào)用C函數(shù) 94
2.4.2 C函數(shù)的返回值 94
2.4.3 void函數(shù)的返回值 95
2.4.4 C調(diào)用Go導(dǎo)出函數(shù) 96
2.5 內(nèi)部機(jī)制 97
2.5.1 CGO生成的中間文件 97
2.5.2 Go調(diào)用C函數(shù) 98
2.5.3 C調(diào)用Go函數(shù) 101
2.6 實(shí)戰(zhàn)：封裝qsort 103
2.6.1 認(rèn)識(shí)qsort()函數(shù) 103
2.6.2 將qsort()函數(shù)從Go包導(dǎo)出 104
2.6.3 改進(jìn)：閉包函數(shù)作為比較函數(shù) 106
2.6.4 改進(jìn)：消除用戶(hù)對(duì)unsafe包的依賴(lài) 108
2.7 CGO內(nèi)存模型 110
2.7.1 Go訪問(wèn)C內(nèi)存 110
2.7.2 C臨時(shí)訪問(wèn)傳入的Go內(nèi)存 111
2.7.3 C長(zhǎng)期持有Go指針對(duì)象 113
2.7.4 導(dǎo)出C函數(shù)不能返回Go內(nèi)存 115
2.8 C 類(lèi)包裝 117
2.8.1 C 類(lèi)到Go語(yǔ)言對(duì)象 117
2.8.2 Go語(yǔ)言對(duì)象到C 類(lèi) 121
2.8.3 徹底解放C 的this指針 125
2.9 靜態(tài)庫(kù)和動(dòng)態(tài)庫(kù) 126
2.9.1 使用C靜態(tài)庫(kù) 126
2.9.2 使用C動(dòng)態(tài)庫(kù) 128
2.9.3 導(dǎo)出C靜態(tài)庫(kù) 129
2.9.4 導(dǎo)出C動(dòng)態(tài)庫(kù) 131
2.9.5 導(dǎo)出非main包的函數(shù) 131
2.10 編譯和鏈接參數(shù) 133
2.10.1 編譯參數(shù)：CFLAGS/CPPFLAGS/CXXFLAGS 133
2.10.2 鏈接參數(shù)：LDFLAGS 133
2.10.3 pkg-config 133
2.10.4 go get鏈 134
2.10.5 多個(gè)非main包中導(dǎo)出C函數(shù) 135
2.11 補(bǔ)充說(shuō)明 135
第3章 Go匯編語(yǔ)言 136
3.1 快速入門(mén) 136
3.1.1 實(shí)現(xiàn)和聲明 136
3.1.2 定義整數(shù)變量 137
3.1.3 定義字符串變量 138
3.1.4 定義main()函數(shù) 141
3.1.5 特殊字符 141
3.1.6 沒(méi)有分號(hào) 142
3.2 計(jì)算機(jī)結(jié)構(gòu) 142
3.2.1 圖靈機(jī)和BrainFuck語(yǔ)言 143
3.2.2 《人力資源機(jī)器》游戲 144
3.2.3 X86-64體系結(jié)構(gòu) 145
3.2.4 Go匯編中的偽寄存器 146
3.2.5 X86-64指令集 147
3.3 常量和全局變量 150
3.3.1 常量 150
3.3.2 全局變量 150
3.3.3 變量的內(nèi)存布局 156
3.3.4 標(biāo)識(shí)符規(guī)則和特殊標(biāo)志 157
3.3.5 小結(jié) 158
3.4 函數(shù) 158
3.4.1 基本語(yǔ)法 158
3.4.2 函數(shù)參數(shù)和返回值 160
3.4.3 參數(shù)和返回值的內(nèi)存布局 161
3.4.4 函數(shù)中的局部變量 163
3.4.5 調(diào)用其他函數(shù) 165
3.4.6 宏函數(shù) 166
3.5 控制流 167
3.5.1 順序執(zhí)行 167
3.5.2 if/goto跳轉(zhuǎn) 169
3.5.3 for循環(huán) 171
3.6 再論函數(shù) 172
3.6.1 函數(shù)調(diào)用規(guī)范 172
3.6.2 高級(jí)匯編語(yǔ)言 173
3.6.3 PCDATA和FUNCDATA 176
3.6.4 方法函數(shù) 177
3.6.5 遞歸函數(shù): 1到n求和 178
3.6.6 閉包函數(shù) 180
3.7 匯編語(yǔ)言的威力 182
3.7.1 系統(tǒng)調(diào)用 182
3.7.2 直接調(diào)用C函數(shù) 184
3.7.3 AVX指令 185
3.8 例子：Goroutine ID 187
3.8.1 故意設(shè)計(jì)沒(méi)有g(shù)oid 187
3.8.2 純Go方式獲取goid 187
3.8.3 從g結(jié)構(gòu)體獲取goid 189
3.8.4 獲取g結(jié)構(gòu)體對(duì)應(yīng)的接口對(duì)象 190
3.8.5 goid的應(yīng)用：局部存儲(chǔ) 192
3.9 Delve調(diào)試器 194
3.9.1 Delve入門(mén) 194
3.9.2 調(diào)試匯編程序 198
3.10 補(bǔ)充說(shuō)明 201
第4章 RPC和Protobuf 203
4.1 RPC入門(mén) 203
4.1.1 RPC版Hello, World 203
4.1.2 更安全的RPC接口 205
4.1.3 跨語(yǔ)言的RPC 207
4.1.4 HTTP上的RPC 209
4.2 Protobuf 210
4.2.1 Protobuf入門(mén) 210
4.2.2 定制代碼生成插件 212
4.2.3 自動(dòng)生成完整的RPC代碼 215
4.3 玩轉(zhuǎn)RPC 218
4.3.1 客戶(hù)端RPC的實(shí)現(xiàn)原理 218
4.3.2 基于RPC實(shí)現(xiàn)監(jiān)視功能 220
4.3.3 反向RPC 222
4.3.4 上下文信息 223
4.4 gRPC入門(mén) 224
4.4.1 gRPC技術(shù)�！�225
4.4.2 gRPC入門(mén) 225
4.4.3 gRPC流 227
4.4.4 發(fā)布和訂閱模式 229
4.5 gRPC進(jìn)階 233
4.5.1 證書(shū)認(rèn)證 233
4.5.2 Token認(rèn)證 236
4.5.3 截取器 238
4.5.4 和Web服務(wù)共存 240
4.6 gRPC和Protobuf擴(kuò)展 241
4.6.1 驗(yàn)證器 241
4.6.2 REST接口 244
4.6.3 Nginx 246
4.7 pbgo：基于Protobuf的框架 246
4.7.1 Protobuf擴(kuò)展語(yǔ)法 246
4.7.2 插件中讀取擴(kuò)展信息 248
4.7.3 生成REST代碼 249
4.7.4 啟動(dòng)REST服務(wù) 250
4.8 grpcurl工具 251
4.8.1 啟動(dòng)反射服務(wù) 251
4.8.2 查看服務(wù)列表 252
4.8.3 服務(wù)的方法列表 253
4.8.4 獲取類(lèi)型信息 253
4.8.5 調(diào)用方法 254
4.9 補(bǔ)充說(shuō)明 255
第5章 Go和Web 256
5.1 Web開(kāi)發(fā)簡(jiǎn)介 256
5.2 請(qǐng)求路由 260
5.2.1 httprouter 260
5.2.2 原理 262
5.2.3 壓縮檢索樹(shù)創(chuàng)建過(guò)程 263
5.3 中間件 267
5.3.1 代碼泥潭 267
5.3.2 使用中間件剝離非業(yè)務(wù)邏輯 269
5.3.3 更優(yōu)雅的中間件寫(xiě)法 272
5.3.4 哪些事情適合在中間件中做 273
5.4 請(qǐng)求校驗(yàn) 274
5.4.1 重構(gòu)請(qǐng)求校驗(yàn)函數(shù) 275
5.4.2 用請(qǐng)求校驗(yàn)器解放體力勞動(dòng) 276
5.4.3 原理 277
5.5 Database 和數(shù)據(jù)庫(kù)打交道 279
5.5.1 從database/sql講起 279
5.5.2 提高生產(chǎn)效率的ORM和
SQL Builder 281
5.5.3 脆弱的數(shù)據(jù)庫(kù) 283
5.6 服務(wù)流量限制 285
5.6.1 常見(jiàn)的流量限制手段 287
5.6.2 原理 289
5.6.3 服務(wù)瓶頸和 QoS 291
5.7 常見(jiàn)大型Web項(xiàng)目分層 291
5.8 接口和表驅(qū)動(dòng)開(kāi)發(fā) 297
5.8.1 業(yè)務(wù)系統(tǒng)的發(fā)展過(guò)程 297
5.8.2 使用函數(shù)封裝業(yè)務(wù)流程 298
5.8.3 使用接口來(lái)做抽象 298
5.8.4 接口的優(yōu)缺點(diǎn) 301
5.8.5 表驅(qū)動(dòng)開(kāi)發(fā) 303
5.9 灰度發(fā)布和A/B測(cè)試 303
5.9.1 通過(guò)分批次部署實(shí)現(xiàn)灰度發(fā)布 304
5.9.2 通過(guò)業(yè)務(wù)規(guī)則進(jìn)行灰度發(fā)布 305
5.9.3 如何實(shí)現(xiàn)一套灰度發(fā)布系統(tǒng) 306
5.10 補(bǔ)充說(shuō)明 310
第6章 分布式系統(tǒng) 311
6.1 分布式ID生成器 311
6.1.1 worker_id分配 312
6.1.2 開(kāi)源實(shí)例 313
6.2 分布式鎖 316
6.2.1 進(jìn)程內(nèi)加鎖 317
6.2.2 嘗試鎖 317
6.2.3 基于Redis的setnx 319
6.2.4 基于ZooKeeper 321
6.2.5 基于etcd 321
6.2.6 如何選擇合適的鎖 322
6.3 延時(shí)任務(wù)系統(tǒng) 323
6.3.1 定時(shí)器的實(shí)現(xiàn) 323
6.3.2 任務(wù)分發(fā) 325
6.3.3 數(shù)據(jù)再平衡和冪等考量 326
6.4 分布式搜索引擎 327
6.4.1 搜索引擎 328
6.4.2 異構(gòu)數(shù)據(jù)同步 336
6.5 負(fù)載均衡 337
6.5.1 常見(jiàn)的負(fù)載均衡思路 337
6.5.2 基于洗牌算法的負(fù)載均衡 338
6.5.3 ZooKeeper集群的隨機(jī)節(jié)點(diǎn)挑選問(wèn)題 340
6.5.4 負(fù)載均衡算法效果驗(yàn)證 340
6.6 分布式配置管理 341
6.6.1 場(chǎng)景舉例 341
6.6.2 使用etcd實(shí)現(xiàn)配置更新 342
6.6.3 配置膨脹 345
6.6.4 配置版本管理 345
6.6.5 客戶(hù)端容錯(cuò) 345
6.7 分布式爬蟲(chóng) 346
6.7.1 基于colly的單機(jī)爬蟲(chóng) 346
6.7.2 分布式爬蟲(chóng) 347
6.7.3 結(jié)合nats和colly的消息生產(chǎn) 350
6.7.4 結(jié)合colly的消息消費(fèi) 352
6.8 補(bǔ)充說(shuō)明 353
附錄A 使用Go語(yǔ)言常遇到的問(wèn)題 354
附錄B 有趣的代碼片段 363
書(shū)單推薦
