【為什么寫作本書】
Java語言可謂程序語言界的常青藤,自1996年誕生以來,長期在受歡迎的編程語言排行榜中占據(jù)領(lǐng)先地位。除了語言本身的優(yōu)秀特性之外,Java語言持續(xù)演進、不斷發(fā)展也是它能夠保持長盛不衰的重要原因。
近年來,隨著云原生浪潮的興起,越來越多的應(yīng)用被部署在了云廠商的云服務(wù)環(huán)境中,以計算資源的形式為用戶提供服務(wù)。在這種趨勢下,應(yīng)用本身越來越小,對跨平臺的需求越來越弱(因為平臺問題已經(jīng)由云廠商解決了),但是對應(yīng)用快速啟動、即起即用和高性能執(zhí)行的需求越來越強。Java程序的冷啟動問題在這種場景下就顯得格外突出,成為開發(fā)人員在選擇編程語言時的主要減分項。根據(jù)著名的TIOBE編程語言流行趨勢索引統(tǒng)計,Java語言的市場占有率從2016年1月的21.4%跌至2021年8月的10%,在C和Python之后,排名第三。
難道使用Java語言就只能忍受冷啟動問題嗎?Java社區(qū)和工業(yè)界一直在探索冷啟動問題的解決之道,希望使用Java的用戶在享受Java豐富生態(tài)的同時,還能獲得良好的啟動性能。比如OpenJDK提出的AppCDS(Application Class Data Sharing)技術(shù),可以將已經(jīng)加載的類的元數(shù)據(jù)導(dǎo)出到文件,在下次啟動時直接從文件導(dǎo)入這些數(shù)據(jù),無須再次經(jīng)過類的解析和加載等過程,由此削減啟動時的類加載開銷。但是,因為Java的冷啟動問題的根源在于JVM本身,所以在JVM之上做的各種優(yōu)化的效果都是有限的,難以實現(xiàn)質(zhì)的飛躍。
從根本上審視Java冷啟動問題可以發(fā)現(xiàn),啟動一個Java程序并讓它達到性能的峰值需要經(jīng)過VM初始化應(yīng)用程序初始化字節(jié)碼解釋執(zhí)行JIT編譯熱點函數(shù)執(zhí)行JIT編譯后的本地代碼(native code)等環(huán)節(jié),且不論在這些環(huán)節(jié)上能夠做出何種優(yōu)化,單這么長的一條鏈路已足以說明冷啟動問題之復(fù)雜、難解。如果不能打破這條鏈路,而只是在各個環(huán)節(jié)上進行優(yōu)化,恐怕很難達到理想的效果。那么是否能夠打破這條長鏈,越過中間環(huán)節(jié)直達后一步,像C語言一樣直接將Java代碼編譯為本地代碼執(zhí)行呢?
答案是肯定的,這就是本書要為讀者展現(xiàn)的Java靜態(tài)編譯技術(shù)。Oracle公司推出的開源高性能多語言運行平臺項目GraalVM,打造了一個包括靜態(tài)編譯器和輕量級運行時的Java靜態(tài)編譯框架,可以將Java程序從字節(jié)碼直接編譯為本地可執(zhí)行應(yīng)用程序。與在JVM下執(zhí)行相比,靜態(tài)編譯后的Java程序的啟動速度能夠提升兩個數(shù)量級,完全解決了冷啟動問題,實現(xiàn)了Java應(yīng)用程序啟動性能的質(zhì)的突破。目前關(guān)于GraalVM靜態(tài)編譯的大多數(shù)資料都是開發(fā)團隊發(fā)布的技術(shù)文檔、博客和GitHub上的開發(fā)相關(guān)問題討論,而缺少系統(tǒng)全面性的資料介紹,尤其缺乏中文資料。因此國內(nèi)的廣大程序開發(fā)者和技術(shù)愛好者對其并不了解。本書旨在填補這方面的空白,使讀者能夠系統(tǒng)性了解并掌握GraalVM靜態(tài)編譯技術(shù)。
【本書特色】
本書將為讀者詳細解釋GraalVM中的Java靜態(tài)編譯技術(shù),不僅帶你了解GraalVM的靜態(tài)編譯框架的使用方法,更重要的是向你介紹其背后的實現(xiàn)原理。有興趣的讀者在閱讀完本書后可以獨立閱讀甚至修改GraalVM中的源碼,并向社區(qū)提出自己的功能改進建議或Bug修復(fù)的補丁,幫助GraalVM更好地發(fā)展。本書側(cè)重介紹GraalVM靜態(tài)編譯框架和運行時的應(yīng)用與原理,而不太涉及編譯部分。
原因如下:其一,GraalVM的靜態(tài)編譯中使用的編譯器并不專用于Java靜態(tài)編譯,如可用于代替HotSpot的C2編譯器,其內(nèi)容博大精深,足以單獨成書,所以不會過多闡述;其二,Java靜態(tài)編譯的難點并不在于編譯本身,而是在于確定編譯的范圍以及對JVM原本動態(tài)運行時的改造適配等,因為JVM的實時編譯器早已實現(xiàn)對Java字節(jié)碼的編譯。
【如何閱讀本書】
本書分為三部分,分別從應(yīng)用、實現(xiàn)原理和具體實例三個方面進行闡述。
部分(第1~4章)從整體上介紹GraalVM項目及其靜態(tài)編譯子項目Substrate VM。
第1章向讀者介紹Java靜態(tài)編譯產(chǎn)生的技術(shù)原因Java冷啟動問題的產(chǎn)生和由來。
第2章首先對GraalVM做概要介紹,然后分別介紹Substrate VM和方舟編譯器這兩種實現(xiàn)方案,并對比它們的技術(shù)特點。
第3章向讀者介紹Oracle GraalVM項目的整體結(jié)構(gòu)。
第4章介紹使用GraalVM靜態(tài)編譯Java應(yīng)用的詳細步驟。
第二部分(第5~12章)主要介紹GraalVM中靜態(tài)編譯框架子項目Substrate VM的實現(xiàn)原理。
第5章介紹Substrate VM靜態(tài)編譯框架的實現(xiàn)與總體流程。
第6章介紹Substrate VM中的功能擴展機制Feature機制,框架中的各個具體功能點都是通過該機制實現(xiàn)的。
第7章介紹編譯時的程序元素替換功能Substitution機制,該機制實現(xiàn)了無侵入性的程序元素替換能力,在靜態(tài)編譯框架的運行時實現(xiàn)中有基礎(chǔ)性的地位。
第8章介紹Substrate VM的類提前初始化優(yōu)化技術(shù),該技術(shù)將符合條件的類在編譯時初始化,不但節(jié)省了運行時初始化的開銷,而且無須分析已經(jīng)運行過的類初始化函數(shù),因此降低了編譯時的靜態(tài)分析開銷。
第9章和第10章分別介紹兩種具有代表性的Java動態(tài)特性反射和序列化的靜態(tài)化實現(xiàn)過程。
第11章和第12章介紹Substrate VM的跨語言編程能力。
第三部分(第13~15章)通過兩個實例介紹Java靜態(tài)編譯技術(shù)的實踐,并在后介紹程序在靜態(tài)編譯后的產(chǎn)物native image的調(diào)試方法。
第13章介紹云原生應(yīng)用的靜態(tài)編譯和部署實例,側(cè)重云服務(wù)平臺的部署和性能比較。
第14章介紹用Java實現(xiàn)JVMTI Agent的實例,側(cè)重Substrate VM框架對JVMTI編程的支持。
第15章介紹對native image的調(diào)試支持,靜態(tài)編譯后的Java程序已經(jīng)是本地程序,不再支持原先的Java調(diào)試方式,而只能通過GDB調(diào)試。本章介紹如何用GDB調(diào)試native image程序。
【部分 從解釋執(zhí)行到靜態(tài)編譯:Java的編譯發(fā)展之路】
第1章 Java靜態(tài)編譯技術(shù)的誕生2
1.1 Java程序的運行生命周期3
1.1.1 初始化4
1.1.2 程序預(yù)熱5
1.2 冷啟動問題8
1.3 初識Java靜態(tài)編譯技術(shù)11
1.3.1 什么是Java靜態(tài)編譯11
1.3.2 靜態(tài)編譯的優(yōu)勢12
1.3.3 靜態(tài)編譯的局限性13
1.4 小結(jié)15
第2章 Java靜態(tài)編譯的業(yè)界實現(xiàn)16
2.1 Oracle GraalVM16
2.1.1 GraalVM是什么17
2.1.2 GraalVM靜態(tài)編譯優(yōu)點19
2.1.3 GraalVM靜態(tài)編譯缺點20
2.1.4 GraalVM發(fā)展分析21
2.2 華為方舟編譯器22
2.3 小結(jié)24
第3章 GraalVM整體結(jié)構(gòu)25
3.1 子項目與組件25
3.2 GraalVM編譯系統(tǒng)工具mx29
3.3 在IDE中打開GraalVM32
3.4 小結(jié)33
第4章 從Java程序到本地代碼:靜態(tài)編譯應(yīng)用流程34
4.1 獲取GraalVM JDK35
4.1.1 下載發(fā)布版35
4.1.2 下載Docker鏡像37
4.2 從源碼編譯37
4.2.1 編譯準(zhǔn)備37
4.2.2 編譯38
4.3 獲取依賴庫40
4.4 預(yù)執(zhí)行目標(biāo)應(yīng)用程序41
4.5 靜態(tài)編譯目標(biāo)應(yīng)用程序43
4.5.1 命令行模式編譯43
4.5.2 配置文件模式45
4.5.3 Maven插件模式46
4.5.4 Gradle插件模式47
4.6 靜態(tài)編譯Java程序?qū)嵗?8
4.6.1 靜態(tài)編譯HelloWorld49
4.6.2 靜態(tài)編譯Spring Boot應(yīng)用實例50
4.7 小結(jié)52
【第二部分 靜態(tài)編譯實現(xiàn)原理】
第5章 Substrate VM靜態(tài)編譯框架54
5.1 靜態(tài)編譯啟動器55
5.2 靜態(tài)編譯實現(xiàn)流程57
5.2.1 類載入59
5.2.2 準(zhǔn)備60
5.2.3 靜態(tài)分析61
5.2.4 全局構(gòu)建63
5.2.5 編譯64
5.2.6 生成image65
5.2.7 寫文件65
5.3 Substrate VM運行時支持67
5.3.1 內(nèi)存管理67
5.3.2 系統(tǒng)信號處理機制69
5.4 小結(jié)70
第6章 Feature機制71
6.1 Feature機制概覽71
6.2 Feature管理73
6.2.1 注冊與調(diào)用Feature73
6.2.2 Feature依賴74
6.3 Feature影響編譯流程75
6.3.1 Feature函數(shù)的入?yún)⒒卣{(diào)75
6.3.2 訪問ImageSingletons單例庫76
6.4 GraalFeature實現(xiàn)靜態(tài)編譯優(yōu)化77
6.4.1 GraalVM編譯器基礎(chǔ)知識77
6.4.2 擴展lowering79
6.4.3 注冊圖的擴展插件79
6.5 Feature接口函數(shù)80
6.6 小結(jié)82
第7章 編譯時替換機制83
7.1 替換機制在Substrate VM中的應(yīng)用84
7.2 基于注解的替換85
7.2.1 替換類85
7.2.2 替換枚舉類型87
7.2.3 替換函數(shù)88
7.2.4 替換構(gòu)造函數(shù)89
7.2.5 替換類中的域90
7.2.6 替換類的靜態(tài)初始化函數(shù)92
7.3 實現(xiàn)原理93
7.3.1 替換機制責(zé)任鏈93
7.3.2 確定待替換元素集合96
7.3.3 自定義替換內(nèi)容98
7.4 小結(jié)98
第8章 類提前初始化優(yōu)化100
8.1 Java中的類初始化100
8.2 編譯時的類初始化101
8.2.1 類提前初始化的性能分析102
8.2.2 類提前初始化的安全性分析103
8.3 優(yōu)化實現(xiàn)原理106
8.3.1 早期階段分析107
8.3.2 中期階段分析109
8.3.3 后期階段分析111
8.4 手動設(shè)置類初始化時機112
8.5 小結(jié)113
第9章 反射的實現(xiàn)與優(yōu)化114
9.1 反射在傳統(tǒng)Java中的實現(xiàn)115
9.2 基于配置的支持119
9.2.1 反射配置文件119
9.2.2 配置局限性121
9.3 Substrate VM的反射實現(xiàn)122
9.3.1 解析配置并注冊反射信息123
9.3.2 反射函數(shù)常量折疊優(yōu)化124
9.3.3 函數(shù)反射調(diào)用過程優(yōu)化125
9.4 其他類似動態(tài)特性的支持126
9.4.1 JNI調(diào)用127
9.4.2 動態(tài)代理127
9.4.3 資源訪問128
9.4.4 序列化特性129
9.5 小結(jié)129
第10章 序列化131
10.1 序列化特性的JDK原生實現(xiàn)131
10.1.1 序列化/反序列化基本流程132
10.1.2 序列化中的靜態(tài)編譯不友好特性133
10.2 靜態(tài)編譯的序列化實現(xiàn)136
10.2.1 解決動態(tài)類加載問題136
10.2.2 解決new抽象類問題138
10.2.3 靜態(tài)初始化函數(shù)檢查139
10.3 局限性139
10.4 小結(jié)141
第11章 跨語言編程:用Java語言編寫共享庫142
11.1 樣例項目cinterfacetutorial 143
11.2 共享庫的Java實現(xiàn)源碼解析145
11.2.1 聲明共享庫上下文145
11.2.2 實現(xiàn)C基本數(shù)據(jù)結(jié)構(gòu)146
11.2.3 實現(xiàn)C的結(jié)構(gòu)體繼承149
11.2.4 暴露共享庫API149
11.2.5 直接調(diào)用C函數(shù)152
11.2.6 共享庫函數(shù)的返回值153
11.3 靜態(tài)編譯JNI共享庫153
11.3.1 JNIDemo項目組織結(jié)構(gòu)153
11.3.2 JNI庫API函數(shù)的聲明155
11.3.3 JNI函數(shù)編程基本過程156
11.3.4 JNI函數(shù)參數(shù)傳入String157
11.3.5 自定義JNI函數(shù)指針類型158
11.3.6 調(diào)用Java函數(shù)159
11.4 小結(jié)160
第12章 CLibrary機制161
12.1 isolate161
12.1.1 錯誤的多線程調(diào)用:簡單復(fù)用isolate162
12.1.2 正確的多線程調(diào)用:為每個線程新建isolate163
12.1.3 正確的多線程調(diào)用:映射線程與isolate164
12.2 WordBase接口系統(tǒng)165
12.3 注解系統(tǒng)167
12.3.1 @CContext注解167
12.3.2 @CEntryPoint注解172
12.3.3 @InvokeCFunctionPointer注解173
12.4 正確釋放內(nèi)存173
12.5 小結(jié)175
【第三部分 靜態(tài)編譯實戰(zhàn)】
第13章 靜態(tài)編譯Serverless應(yīng)用到阿里云函數(shù)計算平臺178
13.1 阿里云函數(shù)計算平臺178
13.2 靜態(tài)編譯基于Micronaut的Spring-Boot示例項目179
13.3 部署到阿里云180
13.4 性能比較180
13.5 小結(jié)182
第14章 native-image-agent的實現(xiàn)183
14.1 native-image-agent與JVMTI183
14.2 實現(xiàn)靜態(tài)編譯的JVMTI Agent185
14.3 native-image-agent的可用選項188
14.4 小結(jié)190
第15章 調(diào)試191
15.1 編譯debug版本的native image191
15.2 使用GDB調(diào)試native image193
15.2.1 啟動GDB194
15.2.2 增加函數(shù)斷點194
15.2.3 GDB TUI分屏界面195
15.2.4 單步調(diào)試197
15.2.5 查看Java對象的值197
15.3 小結(jié)199