換一種方式學(xué)習(xí)存儲(chǔ)系統(tǒng)
你好，我是李玥，很高興在這里遇見(jiàn)你。
我的從業(yè)經(jīng)歷比較豐富，曾在傳統(tǒng)IT行業(yè)做過(guò)大量的企業(yè)級(jí)toB系統(tǒng)，轉(zhuǎn)戰(zhàn)互聯(lián)網(wǎng)后，又曾帶領(lǐng)創(chuàng)業(yè)團(tuán)隊(duì)體驗(yàn)過(guò)從0到1創(chuàng)業(yè)的艱辛，見(jiàn)證過(guò)互聯(lián)網(wǎng)高速增長(zhǎng)的高光時(shí)刻，也經(jīng)歷過(guò)數(shù)年電商大促的洗禮。近年來(lái)，我主要從事基礎(chǔ)架構(gòu)領(lǐng)域（包括一些存儲(chǔ)系統(tǒng)和中間件等）的技術(shù)工作。簡(jiǎn)單地說(shuō)，我是一個(gè)造輪子的程序員。
在工作過(guò)程中，我接觸過(guò)很多系統(tǒng)。不同系統(tǒng)的業(yè)務(wù)各不相同，有做社交的，有做電商的，還有做內(nèi)容的。規(guī)模也大小不一，有的系統(tǒng)規(guī)模很小，也有像BAT使用的巨無(wú)霸系統(tǒng)。在構(gòu)建這些系統(tǒng)時(shí)，我遇到過(guò)各種各樣的問(wèn)題。但總結(jié)之后我發(fā)現(xiàn)了一個(gè)神奇的規(guī)律：凡是那些特別難解決的、需要付出巨大代價(jià)的，或者損失慘重的技術(shù)問(wèn)題，幾乎都可以歸結(jié)為存儲(chǔ)系統(tǒng)的問(wèn)題。
其實(shí)，這個(gè)規(guī)律并不神奇，它也是有原因的。
總體來(lái)說(shuō)，各種業(yè)務(wù)系統(tǒng)幾乎都屬于MIS（管理信息系統(tǒng)，有的大學(xué)還開(kāi)設(shè)了這個(gè)專業(yè)）范疇。顧名思義，管理信息系統(tǒng)就是管理信息的系統(tǒng)。這里的信息其實(shí)就是數(shù)據(jù)。不管系統(tǒng)的業(yè)務(wù)是什么，終都要落到對(duì)信息的管理上，通俗地說(shuō)，系統(tǒng)終的業(yè)務(wù)功能都會(huì)落到數(shù)據(jù)上。
只要數(shù)據(jù)是正確的，其他的問(wèn)題基本上都是小問(wèn)題。數(shù)據(jù)錯(cuò)了、丟了，以及數(shù)據(jù)處理不及時(shí)，才是會(huì)造成慘重?fù)p失的大問(wèn)題。
可見(jiàn)，用于承載數(shù)據(jù)的存儲(chǔ)系統(tǒng)非常重要，如果能夠構(gòu)建一個(gè)安全可靠、快速穩(wěn)定的存儲(chǔ)系統(tǒng)，那么在該基礎(chǔ)之上構(gòu)建的業(yè)務(wù)系統(tǒng)，才能讓人更為放心。
綜上所述，存儲(chǔ)是系統(tǒng)中重要、關(guān)鍵的組成部分，沒(méi)有之一。
需要關(guān)注存儲(chǔ)系統(tǒng)的哪些特點(diǎn)
我們常用的存儲(chǔ)系統(tǒng)種類非常多，有單機(jī)的也有分布式的，有的是數(shù)據(jù)庫(kù)，有的是文件系統(tǒng)，還有介于二者之間的。無(wú)論是哪種存儲(chǔ)系統(tǒng)（比如，MySQL、Redis、Elasticsearch，等等），它們都具有如下三個(gè)特點(diǎn)。
個(gè)特點(diǎn)是難用。難用體現(xiàn)在哪些方面呢？對(duì)于應(yīng)用程序來(lái)說(shuō)，存儲(chǔ)的作用是安全可靠地保存數(shù)據(jù)，在我們需要的時(shí)候能夠快速存取。遺憾的是，目前幾乎沒(méi)有一種存儲(chǔ)系統(tǒng)能夠滿足這個(gè)簡(jiǎn)單的要求。
對(duì)于存儲(chǔ)系統(tǒng)難用的特性，業(yè)內(nèi)有一個(gè)非常形象的比喻：開(kāi)著車去商場(chǎng)購(gòu)物，到了停車場(chǎng)發(fā)現(xiàn)這里不能存車，只能存零件，必須先把車子拆散，然后把這些零件分門別類地打上標(biāo)簽存放到停車場(chǎng)對(duì)應(yīng)的貨架上，走的時(shí)候再把零件逐一取出來(lái)進(jìn)行組裝。
聽(tīng)起來(lái)似乎很可笑，但是仔細(xì)想想我們正在使用的這些存儲(chǔ)系統(tǒng)，其提供的功能就是如此。應(yīng)用程序里管理的數(shù)據(jù)都是對(duì)象，但是，大多數(shù)存儲(chǔ)系統(tǒng)不能直接存儲(chǔ)對(duì)象。下面就以MySQL為例進(jìn)行說(shuō)明。存取一個(gè)對(duì)象時(shí)，必須把對(duì)象轉(zhuǎn)換成MySQL表中的行，還得編寫SQL語(yǔ)句才能完成存取操作。是不是很難用？不僅難用，而且還必須用好。要想用好，需要學(xué)習(xí)和掌握其中的方法和技巧。
第二個(gè)特點(diǎn)是慢。近年來(lái)，分布式存儲(chǔ)在業(yè)內(nèi)的發(fā)展非常迅速，每隔一段時(shí)間就會(huì)誕生一種新的數(shù)據(jù)庫(kù)，不管功能如何，它們無(wú)一例外都會(huì)與MySQL這樣的傳統(tǒng)數(shù)據(jù)庫(kù)進(jìn)行性能測(cè)試對(duì)比，以彰顯自己速度快、性能好。
不過(guò)，有句俗話：一個(gè)人越炫耀什么，說(shuō)明內(nèi)心越缺少什么。這句話也同樣適用于技術(shù)圈。不斷有新的存儲(chǔ)系統(tǒng)刷新性能紀(jì)錄，恰恰說(shuō)明了現(xiàn)有的存儲(chǔ)系統(tǒng)性能不盡如人意。經(jīng)過(guò)良好優(yōu)化的業(yè)務(wù)系統(tǒng)，其性能瓶頸一定是存儲(chǔ)。從性能的角度來(lái)說(shuō)，存儲(chǔ)系統(tǒng)就是整個(gè)系統(tǒng)中短的那塊板，存儲(chǔ)系統(tǒng)有多慢，整個(gè)系統(tǒng)就會(huì)有多慢。如何優(yōu)化存儲(chǔ)性能，從而讓整個(gè)系統(tǒng)運(yùn)轉(zhuǎn)如飛，這其中包含了很多方法、技巧和經(jīng)驗(yàn)，需要我們學(xué)習(xí)和掌握。
第三個(gè)特點(diǎn)是雜。存儲(chǔ)與其他成熟的技術(shù)領(lǐng)域不同，后者基本上都是以一兩種方案為主，比如，Java開(kāi)發(fā)基本上是以Spring為主，再比如，開(kāi)發(fā)中使用的Web容器，存放靜態(tài)頁(yè)面以Nginx為主，存放動(dòng)態(tài)頁(yè)面以Tomcat為主。但存儲(chǔ)大不相同，目前已有的廣泛應(yīng)用于生產(chǎn)系統(tǒng)中的存儲(chǔ)系統(tǒng)的種類非常多。
MySQL、Redis、Elasticsearch、HBase、Hive、MongoDB、CockroachDB和S3等，這些存儲(chǔ)系統(tǒng)誰(shuí)都替代不了誰(shuí)，每一種都有其所擅長(zhǎng)的地方和適用的場(chǎng)景，當(dāng)然也有其突出的短板。因此，我們需要學(xué)習(xí)和掌握如何根據(jù)業(yè)務(wù)系統(tǒng)的特點(diǎn)選擇合適的存儲(chǔ)系統(tǒng)來(lái)構(gòu)建我們的系統(tǒng)。
學(xué)習(xí)存儲(chǔ)系統(tǒng)的實(shí)踐
由于存儲(chǔ)系統(tǒng)具有難用、慢、雜這幾大特點(diǎn)，因此我們學(xué)習(xí)起來(lái)更需要注重方法。如何學(xué)習(xí)才能更為高效呢？答案是實(shí)踐，從問(wèn)題入手。
存儲(chǔ)涉及大量的理論知識(shí)和概念，比如，構(gòu)成存儲(chǔ)引擎的哈希表、樹(shù)等數(shù)據(jù)結(jié)構(gòu)，以及這些數(shù)據(jù)結(jié)構(gòu)的時(shí)間復(fù)雜度，這些往往都是偏理論范疇的知識(shí)，學(xué)習(xí)起來(lái)不容易理解和記憶。并且，理論和實(shí)踐之間往往存在非常大的差距，懂了一堆道理，卻還是寫不好代碼是一個(gè)很普遍的現(xiàn)象。
我撰寫的這本書將會(huì)為大家講解實(shí)踐中經(jīng)常會(huì)遇到的各種問(wèn)題，以及對(duì)應(yīng)的解決方法，同時(shí)還會(huì)穿插相應(yīng)的知識(shí)和原理解說(shuō)。希望這種學(xué)習(xí)方式，既可以幫讀者快速解決實(shí)際問(wèn)題，又能幫讀者提升相應(yīng)的技能，進(jìn)而在存儲(chǔ)系統(tǒng)的技術(shù)領(lǐng)域構(gòu)建自己的知識(shí)框架。
本書將以電商應(yīng)用場(chǎng)景為例，從0到1講解應(yīng)該如何構(gòu)建不同規(guī)模的存儲(chǔ)系統(tǒng)。
書中每章都會(huì)解決一兩個(gè)實(shí)戰(zhàn)問(wèn)題，比如：為什么在數(shù)據(jù)量和訪問(wèn)量都不大的情況下，MySQL還是很慢？數(shù)據(jù)庫(kù)宕機(jī)了應(yīng)該怎么辦？等等。
為什么本書要以電商系統(tǒng)為例進(jìn)行講解呢？因?yàn)殡娚滔到y(tǒng)具有很強(qiáng)的代表性，特別適合作為研究和學(xué)習(xí)的案例。不僅是本書，很多培訓(xùn)學(xué)校、技術(shù)論壇也都特別喜歡討論電商系統(tǒng)。
首先，電商系統(tǒng)的覆蓋面足夠廣。特別是在互聯(lián)網(wǎng)行業(yè)，幾乎所有的公司都在做兩件事情：電商和社交。
其次，以電商系統(tǒng)作為案例，直接就能學(xué)以致用。因?yàn)殡娚滔到y(tǒng)具有很高的復(fù)雜性，所以你在其他業(yè)務(wù)中可能遇到的技術(shù)問(wèn)題，在電商系統(tǒng)中基本上都會(huì)遇到，即使你面對(duì)的業(yè)務(wù)與電商關(guān)系不大，也一樣具有借鑒意義。
后，所有人都很熟悉電商業(yè)務(wù)領(lǐng)域。以電商系統(tǒng)作為案例，基本上不需要再講解相關(guān)的業(yè)務(wù)知識(shí)，我們可以快速專注于技術(shù)問(wèn)題本身。
即使是同一個(gè)電商系統(tǒng)，不同的規(guī)模所需要解決的問(wèn)題也不一樣。不少技術(shù)人員崇尚海量數(shù)據(jù)和高并發(fā)，認(rèn)為只有大企業(yè)的高并發(fā)、海量數(shù)據(jù)的核心系統(tǒng)或者底層存儲(chǔ)系統(tǒng)，才是真正有技術(shù)含量的系統(tǒng)，能勝任這種系統(tǒng)的開(kāi)發(fā)者，才是真正的技術(shù)能人。這其實(shí)是一種對(duì)技術(shù)認(rèn)知的誤解。為什么這么說(shuō)呢？因?yàn)椴⒉皇且?guī)模小的系統(tǒng)就簡(jiǎn)單，規(guī)模大的系統(tǒng)才有難度。
創(chuàng)業(yè)團(tuán)隊(duì)需要快速、低成本地實(shí)現(xiàn)完整的系統(tǒng)，以便快速驗(yàn)證其商業(yè)模式。處于高速增長(zhǎng)期的團(tuán)隊(duì)，所面臨的問(wèn)題主要是業(yè)務(wù)的高速增長(zhǎng)和不斷變化，相應(yīng)地，團(tuán)隊(duì)也要對(duì)系統(tǒng)不停地進(jìn)行升級(jí)改造來(lái)適應(yīng)變化，并且在變化的過(guò)程中要確保系統(tǒng)的穩(wěn)定性。至于業(yè)務(wù)規(guī)模足夠大的企業(yè)，它們需要解決的問(wèn)題是如何應(yīng)對(duì)高并發(fā)的海量數(shù)據(jù)。
所以說(shuō)，不同規(guī)模的系統(tǒng)，在技術(shù)上并沒(méi)有難易之說(shuō)，更沒(méi)有高低貴賤之分，它們的建設(shè)目標(biāo)不一樣，所面臨的挑戰(zhàn)不一樣，需要解決的問(wèn)題也不一樣，對(duì)于存儲(chǔ)系統(tǒng)的選擇和架構(gòu)設(shè)計(jì)自然也是不一樣的。
本書的章節(jié)設(shè)計(jì)就是按照系統(tǒng)的發(fā)展過(guò)程，分成設(shè)計(jì)、高速增長(zhǎng)、海量數(shù)據(jù)和技術(shù)展望四篇。
在設(shè)計(jì)篇中，我們將重點(diǎn)解決從0到1的問(wèn)題。例如，如何低成本、高質(zhì)量地快速構(gòu)建一個(gè)小規(guī)模的訂單存儲(chǔ)系統(tǒng)。
在高速增長(zhǎng)篇中，我們將重點(diǎn)關(guān)注在快速變化的過(guò)程中系統(tǒng)所遇到的共通問(wèn)題，以及應(yīng)對(duì)這些問(wèn)題的方法。例如，如何從單機(jī)存儲(chǔ)系統(tǒng)逐步演進(jìn)為分布式存儲(chǔ)系統(tǒng)，如何在線平滑地?cái)U(kuò)容存儲(chǔ)系統(tǒng)。
在海量數(shù)據(jù)篇中，我們將重點(diǎn)解決在高并發(fā)、海量數(shù)據(jù)的情況下應(yīng)該如何設(shè)計(jì)存儲(chǔ)系統(tǒng)的問(wèn)題。例如，如何存儲(chǔ)海量的埋點(diǎn)數(shù)據(jù)，如何在各種數(shù)據(jù)庫(kù)之間實(shí)時(shí)地遷移和同步海量數(shù)據(jù)，等等。
在技術(shù)展望篇中，我們將重點(diǎn)探討在存儲(chǔ)技術(shù)領(lǐng)域，有哪些新技術(shù)值得關(guān)注，哪些技術(shù)可能會(huì)成為未來(lái)的發(fā)展趨勢(shì)，等等。畢竟，不斷創(chuàng)新是技術(shù)發(fā)展的原動(dòng)力。
讀完本書后，你不僅可以學(xué)習(xí)到案例中那些解決具體問(wèn)題的方法，而且在電商系統(tǒng)架構(gòu)、存儲(chǔ)系統(tǒng)的設(shè)計(jì)等方面，也會(huì)有所收獲。
更重要的是，通過(guò)案例來(lái)學(xué)習(xí)常用的數(shù)據(jù)庫(kù)和存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)與使用方法，有助于我們更好地總結(jié)存儲(chǔ)系統(tǒng)通用、本質(zhì)的技術(shù)原理。了解了存儲(chǔ)系統(tǒng)的本質(zhì)，我們不僅會(huì)在應(yīng)對(duì)問(wèn)題時(shí)更加從容，而且會(huì)對(duì)存儲(chǔ)的理解上升一個(gè)層次，從知道怎么用升級(jí)為知道為什么這樣用，終做到活學(xué)活用。
一段新旅程即將開(kāi)始，在開(kāi)始正式學(xué)習(xí)之前，我還想再說(shuō)一下我的想法：技術(shù)的發(fā)展使技術(shù)的使用變得越來(lái)越簡(jiǎn)單，但是作為有理想、有情懷的開(kāi)發(fā)者，不能讓技術(shù)把我們變得越來(lái)越簡(jiǎn)單。很開(kāi)心能與大家一起開(kāi)始這段旅程，持續(xù)地豐富自己，也希望我們都能不負(fù)時(shí)光，認(rèn)真對(duì)待這段學(xué)習(xí)之旅。