前　　言
從算法角度看，神經(jīng)網(wǎng)絡(luò)分Training（訓(xùn)練）和Inference（推理）兩個過程，本書主要討論Inference過程。從技術(shù)類別看，本書主要討論神經(jīng)網(wǎng)絡(luò)硬件，尤其是芯片設(shè)計(jì)層面的內(nèi)容，如何訓(xùn)練出優(yōu)秀的模型、如何設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)加速器的驅(qū)動程序和編譯器等內(nèi)容均非本書重點(diǎn)。
本書內(nèi)容主要分三部分：神經(jīng)網(wǎng)絡(luò)的分析、神經(jīng)網(wǎng)絡(luò)加速器的設(shè)計(jì)及具體的實(shí)現(xiàn)技術(shù)。通過閱讀本書，讀者可以深入了解主流的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，掌握如何從零開始設(shè)計(jì)一個能用、好用的產(chǎn)品級加速器。
兵馬未動，糧草先行，在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)加速器之前，需要對主流的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、常見算子，以及各個算子運(yùn)算細(xì)節(jié)有深入的理解。第1章介紹了目前主流圖像處理領(lǐng)域神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，提取出各個網(wǎng)絡(luò)的基本塊、網(wǎng)絡(luò)算子及其參數(shù)量和運(yùn)算量，闡述了加速器的編程模型和硬件架構(gòu)分類。
程序=數(shù)據(jù)結(jié)構(gòu) 算法，第2、3章分別討論了加速器運(yùn)算子系統(tǒng)和存儲子系統(tǒng)的設(shè)計(jì)，并對NVDLA、TPU、GPU實(shí)現(xiàn)卷積運(yùn)算的過程進(jìn)行了詳細(xì)的推演，以便讀者對加速器架構(gòu)設(shè)計(jì)有初步的了解。
加速器設(shè)計(jì)需要綜合能力，僅靠零碎的靈感和天馬行空的創(chuàng)意，設(shè)計(jì)不出能用、好用的加速器產(chǎn)品。第4～6章用大量篇幅討論了加速器設(shè)計(jì)中可能遇到的問題及解決方法。
生活不止眼前的茍且，還有詩和遠(yuǎn)方，在加速器的設(shè)計(jì)過程中，閉門造車不可取，在埋頭苦干的間歇，仰頭望望天空和遠(yuǎn)方，或許有意想不到的收獲。第7章對加速器進(jìn)行盤點(diǎn)，展望了神經(jīng)網(wǎng)絡(luò)加速器的未來，希望對讀者有所啟發(fā)。
一圖勝千言，很多復(fù)雜的邏輯用一張圖就能輕松解釋，很多煩瑣的言語用一張圖就能直觀表達(dá)。本書包含100余幅圖，希望將講述的內(nèi)容清晰地傳達(dá)給讀者。
一切皆有可能，本書在討論具體設(shè)計(jì)問題時，一般會先給出多種建議，然后篩選出合理的方案，意在傳達(dá)硬件架構(gòu)設(shè)計(jì)的思維方式。很多思維方式不僅限于神經(jīng)網(wǎng)絡(luò)加速器，由此及彼，可推而廣之。
感謝我的朋友姜君、周焱、王瑋琪，他們總是耐心地鼓勵和幫助我，我從他們身上學(xué)到很多。感謝我的太太張金艷和女兒甄溪，她們也為這本書付出了很多。
閱讀本書不需要太多預(yù)備知識，需要的是求知探索的勇氣和耐心。如果讀者有任何問題和建議，歡迎與我聯(lián)系：rill_zhen@126.com。

甄建勇
2023年3月于上海