(相關(guān)資料圖)
深度學(xué)習(xí)技術(shù)作為AI的重要引擎，近年來受到廣泛關(guān)注和飛速發(fā)展。圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network）是一種較新的深度學(xué)習(xí)技術(shù)，可用于處理更復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)，廣泛應(yīng)用于社交網(wǎng)絡(luò)、電子購物、藥物預(yù)測、人機(jī)交互等應(yīng)用場景。隨著數(shù)據(jù)量的急速膨脹，傳統(tǒng)CMOS數(shù)字硬件系統(tǒng)中運(yùn)行圖神經(jīng)網(wǎng)絡(luò)的效率急待提升，圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程日趨復(fù)雜使得訓(xùn)練能耗居高不下?；谧枳儜涀杵鳎≧RAM）的存內(nèi)計(jì)算技術(shù)雖可顯著緩解傳統(tǒng)數(shù)字硬件系統(tǒng)中的馮·諾依曼瓶頸、進(jìn)一步提升計(jì)算效率，但仍受到高擦寫功耗、延時(shí)及一定的編程阻值隨機(jī)性等器件非理想特性的限制。
針對上述問題，微電子所微電子器件與集成技術(shù)重點(diǎn)實(shí)驗(yàn)室劉明院士團(tuán)隊(duì)尚大山研究員與香港大學(xué)電子工程系王中銳博士合作，開發(fā)了一種利用儲(chǔ)池計(jì)算（Reservoir Computing）技術(shù)實(shí)現(xiàn)圖結(jié)構(gòu)化數(shù)據(jù)分類的技術(shù)——回聲狀態(tài)圖網(wǎng)絡(luò)（ESGNN）。儲(chǔ)池計(jì)算是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種簡化形式，能夠?qū)r(shí)序輸入信號(hào)通過神經(jīng)元的非線性激活函數(shù)轉(zhuǎn)換到一個(gè)高維空間中，再通過一個(gè)簡單線性回歸方法有效地讀出。儲(chǔ)池計(jì)算中循環(huán)連接層的權(quán)重始終固定不變，只需訓(xùn)練輸出層權(quán)重，可最大限度降低訓(xùn)練復(fù)雜度和訓(xùn)練時(shí)間。在硬件方面，團(tuán)隊(duì)利用RRAM的本征隨機(jī)性構(gòu)建大規(guī)模隨機(jī)電阻陣列（圖1a-b），將其作為儲(chǔ)池網(wǎng)絡(luò)的初始化權(quán)重，具有低成本、可擴(kuò)展優(yōu)勢。在軟件方面，ESGNN巧妙運(yùn)用了隨機(jī)電阻陣列帶來的物理隨機(jī)投影，以存內(nèi)計(jì)算的方式完成圖嵌入過程，大大降低了圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成本。團(tuán)隊(duì)還通過軟—硬協(xié)同優(yōu)化技術(shù)，在基于FPGA的板級(jí)測試平臺(tái)上實(shí)現(xiàn)了對MUTAG、COLLAB數(shù)據(jù)集的圖分類，進(jìn)行了更大規(guī)模CORA數(shù)據(jù)集的節(jié)點(diǎn)分類仿真。相比傳統(tǒng)數(shù)字硬件系統(tǒng)，能效分別提升了2.16、35.42和40.37倍。該工作展現(xiàn)了RRAM陣列在構(gòu)建邊緣圖學(xué)習(xí)系統(tǒng)方面的巨大潛力，也為利用自然界豐富的物理、化學(xué)性質(zhì)開發(fā)更高效的智能硬件系統(tǒng)提供了參考。
該項(xiàng)目得到了科技部、國家自然科學(xué)基金委、中科院和香港大學(xué)的支持。成果近期發(fā)表在《自然·機(jī)器智能》期刊上（Nature Machine Intelligence, DOI: 10.1038/s42256-023-00609-5），并入選當(dāng)期封面文章。微電子所訪問學(xué)生、香港大學(xué)博士研究生王少聰、微電子所博士研究生李熠為文章的共同第一作者，香港大學(xué)王中銳博士、微電子所尚大山研究員為該文章的通訊作者。此外，參與本工作的主要研究人員還包括微電子所許曉欣研究員、復(fù)旦大學(xué)劉琦教授和張續(xù)猛博士、浙江大學(xué)林芃教授、意大利比薩大學(xué)Gallicchio博士和香港科技大學(xué)鄭光廷教授等。
文章鏈接：https://www.nature.com/articles/s42256-023-00609-5
Echo state graph neural networks with analogue random resistive memory arrays
S. Wang, Y. Li, D. Wang, W. Zhang, X. Chen, D. Dong, S. Wang, X. Zhang, P. Lin, C. Gallicchio, X. Xu, Q. Liu, K. Chen, Z. Wang*, D. S. Shang*, M. Liu
Nature Machine Intelligence (2023) DOI: 10.1038/s42256-023-00609-5
標(biāo)簽： 圖神經(jīng)網(wǎng)絡(luò) 存內(nèi)計(jì)算 中科院微電子所
