清華大學新突破：“太極-Ⅱ”光芯片首次實現(xiàn)大規(guī)模光訓練

小編今天整理了一些清華大學新突破：“太極-Ⅱ”光芯片首次實現(xiàn)大規(guī)模光訓練相關(guān)內(nèi)容，希望能夠幫到大家。

　　據(jù)清華大學官方消息，該校電子工程系方璐教授課題組、自動化系戴瓊海院士課題組另辟蹊徑，首創(chuàng)了全前向智能光計算訓練架構(gòu)，研制了“太極-II”光訓練芯片，實現(xiàn)了光計算系統(tǒng)大規(guī)模神經(jīng)網(wǎng)絡(luò)的高效精準訓練。

　　該研究成果以“光神經(jīng)網(wǎng)絡(luò)全前向訓練”為題，于北京時間 8月7日在線發(fā)表于《自然》期刊。

　　該論文由清華大學電子系作為第一單位，方璐教授和戴瓊海教授擔任通訊作者，博士生薛智威和博士后周天貺為共同第一作者，博士生徐智昊和之江實驗室虞紹良博士參與研究。課題得到國家科技部、國家自然科學基金委、北京信息科學與技術(shù)國家研究中心、清華大學-之江實驗室聯(lián)合研究中心的支持。

　　Nature審稿人在審稿評述中指出“本文中提出的想法非常新穎，此類光學神經(jīng)網(wǎng)絡(luò)(ONN)的訓練過程是前所未有的。所提出的方法不僅有效，而且容易實現(xiàn)。因此，它有望成為訓練光學神經(jīng)網(wǎng)絡(luò)和其他光學計算系統(tǒng)的廣泛采用的工具?！?/p>

　　該研究利用光子傳播對稱性，將神經(jīng)網(wǎng)絡(luò)訓練中的前向與反向傳播都等效為光的前向傳播。在太極-II架構(gòu)下，梯度下降的反向傳播轉(zhuǎn)化為光學系統(tǒng)的前向傳播，訓練過程僅需兩次前向傳播，具有天然對齊特性，確保了物理梯度的精確計算。這種訓練方法精度高，支持大規(guī)模網(wǎng)絡(luò)訓練，且不再依賴電計算進行離線建模與訓練。

　　太極-II光訓練芯片以光為計算媒介，利用光的全前向傳播實現(xiàn)訓練，大幅提升了光網(wǎng)絡(luò)訓練的速度與能效。研究表明，太極-II能夠?qū)Χ喾N不同光學系統(tǒng)進行訓練，并在各種任務(wù)下表現(xiàn)出卓越性能。在大規(guī)模學習領(lǐng)域，太極-II將數(shù)百萬參數(shù)的光網(wǎng)絡(luò)訓練速度提升了1個數(shù)量級，智能分類任務(wù)的準確率提升了40%。在復(fù)雜場景智能成像方面，太極-II在弱光環(huán)境下實現(xiàn)了5.40×10^6 TOPS/W的全光處理，系統(tǒng)級能效提升了6個數(shù)量級。在非視域場景下，實現(xiàn)了千赫茲幀率的智能成像，效率提升了2個數(shù)量級。在拓撲光子學領(lǐng)域，太極-II能夠自動搜索非厄米奇異點，為解析復(fù)雜拓撲系統(tǒng)提供了新思路。

　　太極-II的問世，進一步揭示了智能光計算的巨大潛力。太極I和II分別實現(xiàn)了高能效AI推理與訓練，共同構(gòu)成了大規(guī)模智能計算的完整生命周期。方璐表示，太極系列將為未來AI大模型注入算力發(fā)展的新動力，構(gòu)建光算力的新基座。

　　目前，研究團隊正積極推進智能光芯片產(chǎn)業(yè)化，在多種端側(cè)智能系統(tǒng)上進行了應(yīng)用部署。預(yù)計智能光計算平臺將以更低的資源消耗和更小的邊際成本，為人工智能大模型、通用人工智能、復(fù)雜智能系統(tǒng)的高速高能效計算開辟新路徑。

以上就是大學路小編為大家?guī)淼膬?nèi)容了，想要了解更多相關(guān)信息，請關(guān)注大學路。