1987年，我在伊利諾伊大學(xué)攻讀博士學(xué)位時，有一個難得的機(jī)會去聽加州理工學(xué)院的John Hopfield教授給厄巴納香檳分校魯姆斯物理實驗室的學(xué)生講述他在神經(jīng)網(wǎng)絡(luò)上的開創(chuàng)性研究。他繪聲繪色地講述了如何設(shè)計和制作一個循環(huán)神經(jīng)網(wǎng)絡(luò)芯片來快速解決基準(zhǔn)旅行商問題（TSP）。TSP是指：當(dāng)TSP中的城市數(shù)量增加到一個非常大的數(shù)目時，沒有物理計算機(jī)能夠在漸近有界的多項式時間內(nèi)解決這個問題，從這個意義上說，TSP是一個可證明的NP完全問題。
神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個重要里程碑是，發(fā)現(xiàn)了可以解決復(fù)雜組合問題的硬件算法，因為現(xiàn)有的感知器型前饋神經(jīng)網(wǎng)絡(luò)技術(shù)只能對有限的簡單模式進(jìn)行分類。盡管如此，神經(jīng)計算的創(chuàng)始人康奈爾大學(xué)的Frank Rosenblatt教授在20世紀(jì)50年代末建造了一臺感知計算機(jī)，當(dāng)時諸如IBM 650這樣的波數(shù)字計算機(jī)剛剛商業(yè)化。后續(xù)的神經(jīng)硬件設(shè)計進(jìn)展受阻，主要是由于當(dāng)時的技術(shù)（包括真空管、繼電器和無源元件如電阻、電容和電感等）不具備集成實現(xiàn)大型突觸網(wǎng)絡(luò)的能力。1985年，美國貝爾實驗室利用MOS技術(shù)制造出個固態(tài)電子晶體芯片，在概念上驗證了John Hopfield教授解決TSP的神經(jīng)網(wǎng)絡(luò)架構(gòu)，從而為在硅片上解決非布爾型計算和類腦計算開辟了道路。
John Hopfield教授的開創(chuàng)性工作表明，如果組合算法中的目標(biāo)函數(shù)可以用二次型表示，循環(huán)神經(jīng)網(wǎng)絡(luò)中的突觸連接可以相應(yīng)地通過將大量神經(jīng)元的連接進(jìn)行編程來降低目標(biāo)函數(shù)的值(即局部小值)。Hopfield的神經(jīng)網(wǎng)絡(luò)由橫向連接的神經(jīng)元組成，這些神經(jīng)元可以被隨機(jī)初始化。隨后，該網(wǎng)絡(luò)可以迭代地減少網(wǎng)絡(luò)固有的Lyapunov能量函數(shù)值，使其達(dá)到局部小狀態(tài)。值得注意的是，Lyapunov函數(shù)在循環(huán)神經(jīng)網(wǎng)絡(luò)的動態(tài)作用下呈單調(diào)下降，神經(jīng)元不具有自反饋��。　

在Mazumder和Yih的著作中[1]，我們證明了Hopfield網(wǎng)絡(luò)所獲得的解的質(zhì)量可以通過選擇性地提供自反饋使神經(jīng)元遠(yuǎn)離局部小值而得到顯著改善。這種方法類似于梯度下降搜索中的爬坡，通常會陷入局部小點。由于神經(jīng)元的自反饋會影響Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，所以在網(wǎng)絡(luò)收斂到局部小狀態(tài)之前，我們沒有對神經(jīng)元施加任何自反饋。然后，通過爬坡機(jī)制提高網(wǎng)絡(luò)的能量，將網(wǎng)絡(luò)從局部小值中拉出。我們在上述文章中表明，通過使用這項創(chuàng)新技術(shù)，芯片修復(fù)提高約25％，改善了VLSI存儲器的良率。

Hopfield教授使用四個獨立二次函數(shù)的組合來表示TSP的目標(biāo)函數(shù)。目標(biāo)函數(shù)的部分確保若旅行商恰好一次穿越城市則能量函數(shù)小；第二部分確保旅行商訪問行程中的所有城市；第三部分確保不同時訪問兩個城市；第四部分確定連接TSP中所有城市的短路徑。因為神經(jīng)元之間通過連接的突觸有大量的同步交互作用，這些突觸被精確地調(diào)整以滿足上述二次函數(shù)的約束，所以簡單的循環(huán)神經(jīng)網(wǎng)絡(luò)可以迅速生成質(zhì)量非常好的解。然而神經(jīng)網(wǎng)絡(luò)由于其簡單的連接結(jié)構(gòu)，與經(jīng)過良好測試的軟件處理（例如模擬退火、動態(tài)規(guī)劃和分支定界算法）不同，它通常無法找到解決方案。
在聽了Hopfield教授的精彩演講之后，我對他這種創(chuàng)新的感觸頗深。一方面，我很高興地從他的演講中了解到，通過使用具有非常小的硬件開銷的簡單神經(jīng)形態(tài)CMOS電路，可以快速地解決計算上困難的算法問題。另一方面，我認(rèn)為Hopfield教授為了證明神經(jīng)網(wǎng)絡(luò)解決組合優(yōu)化問題的能力而選擇的TSP應(yīng)用程序并不合適，因為精心設(shè)計的軟件算法，可以獲得神經(jīng)網(wǎng)絡(luò)幾乎無法得到的解決方案。我開始考慮開發(fā)可自愈的超大規(guī)模集成電路（VLSI）芯片，利用受神經(jīng)網(wǎng)絡(luò)啟發(fā)的自修復(fù)算法的力量來自動重組有缺陷的VLSI芯片。低開銷和通過神經(jīng)元之間的并行交互同時解決問題的能力是兩點顯著的特性，可以用來巧妙地通過內(nèi)置的神經(jīng)網(wǎng)絡(luò)電路來自動修復(fù)VLSI芯片。
不久之后，我作為助理教授來到密歇根大學(xué)，與我的一個博士生\[2\]一起工作，起初，我們設(shè)計了一款具有異步狀態(tài)更新的CMOS模擬神經(jīng)網(wǎng)絡(luò)電路，因晶元內(nèi)部工藝變化等因素導(dǎo)致這個芯片魯棒性不夠好。為了提高自修復(fù)電路工作的可靠性，我和一名理科碩士\[3\]設(shè)計了一個同步狀態(tài)更新的數(shù)字神經(jīng)網(wǎng)絡(luò)電路。這些神經(jīng)網(wǎng)絡(luò)電路通過在二分圖中尋找節(jié)點覆蓋、邊覆蓋或節(jié)點對匹配來確定修復(fù)問題，從而能夠用于修復(fù)VLSI芯片。在我們的圖的形式體系中，二分圖中的一組頂點表示故障電路元件，另一組頂點表示備用電路元件。為了將故障VLSI芯片改造成無故障的可操作芯片，在通過嵌入式內(nèi)置自檢電路識別出故障元件之后，再通過可編程開關(guān)元件自動調(diào)用備用電路元件。
重要的是，與TSP一樣，二維數(shù)組修復(fù)可以證明是一個NP完全問題，因為修復(fù)算法尋找的多余的行、列數(shù)，它們可以被分配以繞過故障組件（比如記憶細(xì)胞、字線和位線驅(qū)動），以及位于存儲器陣列內(nèi)部的讀出放大器隊列。因此，由計數(shù)器和其他塊組成的簡單數(shù)字電路無法解決這種棘手的自修復(fù)問題。值得注意的是，由于無法部署VLSI芯片的輸入和輸出引腳來查詢深度內(nèi)嵌的嵌入式陣列中的故障模式，因此無法使用外部數(shù)字計算機(jī)來確定如何修復(fù)嵌入式陣列。
在1989年和1992年，我獲得了美國國家科學(xué)基金會的兩項資助，將神經(jīng)形態(tài)自愈設(shè)計風(fēng)格擴(kuò)展到更廣泛的嵌入式VLSI模塊，如內(nèi)存陣列\(zhòng)[4\]、處理器陣列\(zhòng)[5\]、可編程邏輯陣列\(zhòng)[6\]等。但是，這種通過內(nèi)置的自檢和自修復(fù)提高VLSI芯片產(chǎn)量的方法比VLSI芯片應(yīng)用的時代早了一點，因為在20世紀(jì)90年代初期，的微處理器僅包含數(shù)十萬個晶體管。因此，在開發(fā)了基于神經(jīng)網(wǎng)絡(luò)的自愈VLSI芯片設(shè)計方法以用于各種類型的嵌入式電路模塊之后，我停止了對CMOS神經(jīng)網(wǎng)絡(luò)的研究。我對神經(jīng)網(wǎng)絡(luò)應(yīng)用于其他類型的工程問題并不是特別感興趣，因為我想繼續(xù)專注于解決VLSI研究中出現(xiàn)的問題。
另外，在20世紀(jì)80年代末，CMOS技術(shù)的預(yù)言者越來越擔(dān)心，即將到來的紅磚墻效應(yīng)預(yù)示著CMOS縮小時代的結(jié)束。因此，為了促進(jìn)幾種可能推動VLSI技術(shù)前沿的新興技術(shù)，美國國防部高級研究計劃局（DARPA）在1990年左右啟動了超電子：超密集、超快速計算元件研究計劃。與此同時，日本的國際貿(mào)易工業(yè)部（MITI）推出了量子功能器件（QFD）項目。這兩個研究項目早期的成功與大量的創(chuàng)新non-CMOS技術(shù)推動了美國國家納米技術(shù)項目（NNI）的創(chuàng)建，這是一個美國政府研究和開發(fā)（R&D）計劃，包括20個部門和獨立機(jī)構(gòu)，將帶來納米技術(shù)的革命，從而影響整個行業(yè)和社會。
在1995年到2010年期間，我的課題組初專注于基于量子物理的器件和量子隧穿器件的電路建模，然后我們廣泛研究了基于一維（雙障礙共振隧穿器件）、二維（自組裝納米線）和三維（量子點陣列）受限量子設(shè)備的細(xì)胞神經(jīng)網(wǎng)絡(luò)（CNN）圖像和視頻處理電路。隨后，我們使用電阻突觸裝置（通常稱為憶阻器）和CMOS神經(jīng)元開發(fā)了基于學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)電路。通過在二維處理元件（PE）集成的計算節(jié)點中混合量子隧穿和記憶器件，我們還開發(fā)了模擬電壓可編程納米計算體系結(jié)構(gòu)。我們對納米神經(jīng)形態(tài)電路的研究發(fā)表在我們的新書Neuromorphic Circuits for Nanoscale Devices中，由英國River出版社在2019年出版。
在用各種新興納米電子和自旋電子器件開發(fā)了十多年的神經(jīng)形態(tài)電路之后，我決定開始研究基于學(xué)習(xí)的數(shù)字VLSI神經(jīng)形態(tài)芯片，在亞閾值和超閾值兩種操作模式中使用納米CMOS技術(shù)。我的學(xué)生和這本書的合著者Nan Zheng博士，完成了有關(guān)數(shù)字神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)和算法的博士學(xué)位論文。我們從機(jī)器學(xué)習(xí)和生物學(xué)習(xí)的角度出發(fā)，設(shè)計和制造了基于TSMC 65nm CMOS技術(shù)的高效節(jié)能VLSI芯片。
我們從機(jī)器學(xué)習(xí)的角度捕獲了演員評論家類型的強(qiáng)化學(xué)習(xí)（RL）\[7\]和一個采用離線策略更新的時間差（TD）學(xué)習(xí)示例，稱為VLSI芯片上的Q學(xué)習(xí)\[8\]。此外，我們還捕捉到生物無監(jiān)督學(xué)習(xí)應(yīng)用中常用的基于脈沖相關(guān)的突觸可塑性。我們還制定了硬件友好的基于脈沖時間依賴可塑性（STDP）學(xué)習(xí)規(guī)則\[9\]，在修改后的MNIST數(shù)據(jù)庫基準(zhǔn)上，單隱藏層和雙隱藏層神經(jīng)網(wǎng)絡(luò)的分類正確率分別為97.2%和97.8%。硬件友好的學(xué)習(xí)規(guī)則支持高效節(jié)能的硬件設(shè)計\[10\]以及對與芯片制造\[11\]相關(guān)的過程電壓溫度（PVT）變化的魯棒實現(xiàn)。通過仿真RL軟件程序的核心自適應(yīng)動態(tài)規(guī)劃（ADP），證明了用于演員評論家網(wǎng)絡(luò)的硬件加速器VLSI芯片可解決一些控制理論基準(zhǔn)問題。此外，與在通用處理器上運(yùn)行的傳統(tǒng)軟件強(qiáng)化學(xué)習(xí)相比，在175MHz下運(yùn)行的VLSI芯片加速器在計算時間上縮短了兩個數(shù)量級，同時只消耗了25mW[12]。
圖1中的芯片布局圖包含了大量使用CMOS技術(shù)的數(shù)字神經(jīng)網(wǎng)絡(luò)芯片的樣本，這是我的研究小組在過去35年中設(shè)計的。圖1的左欄是1991年設(shè)計的一個自愈芯片，通過在一個二分圖上運(yùn)行節(jié)點覆蓋算法來自動修復(fù)有缺陷的VLSI內(nèi)存陣列，二分圖代表有缺陷的組件集和可用的備用電路元件。2013年設(shè)計的STDP芯片，用于控制虛擬昆蟲從初始起點到預(yù)定目的地的運(yùn)動，避免了在一組任意形狀的阻塞空間中導(dǎo)航時的碰撞。前一段描述的深度學(xué)習(xí)芯片是2016年設(shè)計的。
圖1的右欄為2016年設(shè)計的RL芯片。其中還包括兩個超低功耗（ULP）CMOS芯片，利用亞閾值技術(shù)，用于可穿戴的醫(yī)療保健應(yīng)用。在其中一個應(yīng)用中，利用神經(jīng)網(wǎng)絡(luò)的Kohonen的自組織映射（SOM）對心電圖（ECG）波形進(jìn)行分類，設(shè)計了一種帶有無線收發(fā)器的人體傳感網(wǎng)絡(luò)，利用可植入的多極傳感器對模擬神經(jīng)元信號進(jìn)行感知，并通過內(nèi)置的喚醒收發(fā)器向醫(yī)生提供數(shù)字化數(shù)據(jù)，幫助醫(yī)生對精神分裂癥、慢性抑郁癥、阿爾茨海默病等腦相關(guān)疾病中神經(jīng)元和突觸層面上對藥物的療效進(jìn)行監(jiān)測。
初，當(dāng)我們決定以CMOS類腦計算的神經(jīng)形態(tài)芯片的形式出版一本強(qiáng)調(diào)我們工作的專著時，我們想要匯總在前言中引用的論文的各種結(jié)果，從而構(gòu)成這本書的內(nèi)容。但是，在準(zhǔn)備手稿的過程中，我們修改了初較狹隘的目標(biāo)，因為在常規(guī)課程中采用本書來向大學(xué)生和研究生講授具有學(xué)習(xí)能力的一代神經(jīng)網(wǎng)絡(luò)將是有局限性的。

圖　1
后來我們決定寫一本全面的關(guān)于具有各種學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)高能效硬件設(shè)計的書，討論正在進(jìn)行的神經(jīng)硬件的擴(kuò)展研究。這顯然是一項艱巨的任務(wù)，需要仔細(xì)研究數(shù)百個參考文獻(xiàn)的存檔來源，描述能夠?qū)W習(xí)執(zhí)行各種任務(wù)的硬件神經(jīng)網(wǎng)絡(luò)的協(xié)同設(shè)計和協(xié)同優(yōu)化方法。我們試圖提供一個全面的視角，從高級算法到低級硬件實現(xiàn)細(xì)節(jié)，涵蓋神經(jīng)網(wǎng)絡(luò)的許多基礎(chǔ)和要素（如深度學(xué)習(xí)），以及神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)。簡而言之，本書目前的版本有以下幾個顯著特點：
●包括神經(jīng)形態(tài)算法硬件加速器的多層次全面評述。
●涵蓋架構(gòu)與算法的協(xié)同設(shè)計，并采用新興器件來極大地提升計算效率。
●關(guān)注算法與硬件的協(xié)同設(shè)計，這是在神經(jīng)形態(tài)計算中應(yīng)用新興器件（如傳統(tǒng)憶阻器和擴(kuò)散型憶阻器）的關(guān)鍵。
后，由于完成這本書有嚴(yán)格的時間限制，所以本書目前的版本沒有像教科書那樣以教學(xué)的方式描述教學(xué)材料，在每一章的結(jié)尾也沒有習(xí)題。在收集了來自學(xué)生、教師、實踐工程師和其他讀者的寶貴反饋后，這些目標(biāo)有望在下一版中實現(xiàn)。如果你能提供正面和負(fù)面的指導(dǎo)性反饋，我將非常感激，這將使我能夠準(zhǔn)備本書的第2版。我的聯(lián)系方式如下：
Pinaki Mazumder
地址：4765 BBB Building Division of Computer Science and Engineering Department of Electrical Engineering and Computer Science University of Michigan, Ann Arbor,MI 48109-2122
電話：734-763-2107
郵箱：mazum@eecs.umich.edu，pinakimazum@gmail.com
網(wǎng)址：http://www.eecs.umich.edu/~mazum
參考文獻(xiàn)