日前,北京理工大學(xué)AETAS實(shí)驗(yàn)室聯(lián)合先進(jìn)類(lèi)腦智能及大算力平臺(tái)公司優(yōu)智創(chuàng)芯,并與清華大學(xué)和北京師范大學(xué)研究團(tuán)隊(duì)共同開(kāi)源發(fā)布了一種創(chuàng)新的低功耗脈沖神經(jīng)網(wǎng)絡(luò)類(lèi)腦仿真訓(xùn)練框架——SNNGrow生長(zhǎng)。這是國(guó)際上繼英特爾Lava類(lèi)腦訓(xùn)練框架和國(guó)內(nèi)鵬城實(shí)驗(yàn)室SpikingJelly類(lèi)腦框架發(fā)布以后,又一個(gè)類(lèi)腦仿真訓(xùn)練框架,該框架已實(shí)現(xiàn)全面開(kāi)源,旨在推動(dòng)類(lèi)腦智能技術(shù)在產(chǎn)業(yè)界的廣泛應(yīng)用。
在人工智能領(lǐng)域,目前大模型正當(dāng)其時(shí),但是能耗和算力制約著大模型的更高維度的發(fā)展,如何低能耗地構(gòu)建下一代大模型成為關(guān)鍵。類(lèi)腦智能通過(guò)模擬生物大腦的工作方式,為實(shí)現(xiàn)低功耗、低成本且能夠?qū)崟r(shí)在線學(xué)習(xí)的人工智能系統(tǒng)提供了一種革命性的方案。脈沖神經(jīng)網(wǎng)絡(luò)作為類(lèi)腦智能的核心計(jì)算架構(gòu),其工作原理更接近生物神經(jīng)元的信號(hào)傳遞,以脈沖形式的信號(hào)和時(shí)間序列信息進(jìn)行通訊,支持異步且稀疏的事件驅(qū)動(dòng)方式。然而,盡管脈沖神經(jīng)網(wǎng)絡(luò)在理論上具有顯著的低能耗優(yōu)勢(shì),現(xiàn)有的實(shí)現(xiàn)框架往往無(wú)法充分利用其類(lèi)腦稀疏計(jì)算的特性,使得在實(shí)際應(yīng)用中達(dá)到理想的能效比仍面臨挑戰(zhàn)。
SNNGrow生長(zhǎng)致力于打破這一瓶頸,通過(guò)基于深入研究脈沖神經(jīng)網(wǎng)絡(luò)和類(lèi)腦稀疏計(jì)算特性的成果,利用自研的稀疏脈沖矩陣計(jì)算技術(shù),SNNGrow生長(zhǎng)能夠顯著降低運(yùn)算過(guò)程中的能耗,同時(shí)保持高效的計(jì)算性能。稀疏脈沖矩陣計(jì)算技術(shù)不僅提高了脈沖神經(jīng)網(wǎng)絡(luò)的能效比,也為實(shí)際應(yīng)用中的類(lèi)腦計(jì)算提供了可行性。此外,通過(guò)將Pytorch集成為前端接口,SNNGrow生長(zhǎng)極大地降低了開(kāi)發(fā)者的入門(mén)門(mén)檻,使得廣大研究者和開(kāi)發(fā)者能夠輕松地利用這一框架進(jìn)行脈沖神經(jīng)網(wǎng)絡(luò)的研究和開(kāi)發(fā)工作。這一創(chuàng)新不僅加速了類(lèi)腦智能技術(shù)的研究進(jìn)展,也為其在各行各業(yè)的應(yīng)用提供了強(qiáng)大的顛覆性動(dòng)力。SNNGrow生長(zhǎng)現(xiàn)已支持脈沖神經(jīng)網(wǎng)絡(luò)建模、訓(xùn)練和推理。
技術(shù)原理
框架生態(tài)位
據(jù)了解,SNNGrow生長(zhǎng)正處于快速發(fā)展階段,未來(lái)計(jì)劃實(shí)現(xiàn)對(duì)千億級(jí)類(lèi)腦神經(jīng)元的仿真計(jì)算,并促進(jìn)軟硬件一體化應(yīng)用的發(fā)展。該項(xiàng)目科研負(fù)責(zé)人北京理工大學(xué)計(jì)算機(jī)學(xué)院副教授楊旭說(shuō):“我們期待這一框架能夠深化神經(jīng)科學(xué)與人工智能領(lǐng)域的融合,促進(jìn)兩個(gè)領(lǐng)域之間的交流與合作,共同探索類(lèi)腦智能的無(wú)限可能。”
SNNGrow生長(zhǎng)采用Apache2.0開(kāi)源協(xié)議
主要鏈接:
Github鏈接:https://github.com/snngrow
文檔鏈接:https://snngrow.readthedocs.io/
開(kāi)源鏈接:https://snngrow.opensnn.com
