據清(qing)華(hua)大(da)學官方(fang)消息,該校電(dian)子工(gong)程系(xi)方(fang)璐教(jiao)授課題(ti)(ti)組(zu)、自動(dong)化系(xi)戴瓊海院(yuan)士(shi)課題(ti)(ti)組(zu)另辟蹊徑,首創了(le)全(quan)前向智能光(guang)計算訓練(lian)(lian)架構,研制了(le)“太極-II”光(guang)訓練(lian)(lian)芯(xin)片(pian),實現了(le)光(guang)計算系(xi)統大(da)規模神(shen)經網絡(luo)的高效精準訓練(lian)(lian)。

該研究成果以“光神(shen)經網絡(luo)全前向(xiang)訓練”為題,于北京時間(jian) 8月7日在線發(fa)表于《自然》期刊。
該(gai)論(lun)文由(you)清(qing)華大學電子系作為(wei)第一(yi)單(dan)位,方(fang)璐教授和(he)戴(dai)瓊海教授擔任通訊作者,博士生薛(xue)智威和(he)博士后周天貺(kuang)為(wei)共同第一(yi)作者,博士生徐智昊和(he)之江實(shi)驗(yan)(yan)室虞紹良博士參與(yu)研究。課(ke)題得到國(guo)家(jia)科(ke)技(ji)部、國(guo)家(jia)自然科(ke)學基(ji)金委、北京信(xin)息科(ke)學與(yu)技(ji)術(shu)國(guo)家(jia)研究中心(xin)、清(qing)華大學-之江實(shi)驗(yan)(yan)室聯合研究中心(xin)的(de)支持。
Nature審稿(gao)人在審稿(gao)評述中指出(chu)“本文中提出(chu)的(de)(de)想法(fa)非常新穎,此(ci)類光(guang)學(xue)神(shen)(shen)經網(wang)絡(ONN)的(de)(de)訓(xun)練過程(cheng)是前(qian)所未有的(de)(de)。所提出(chu)的(de)(de)方法(fa)不僅有效,而且容易(yi)實現。因此(ci),它有望成為訓(xun)練光(guang)學(xue)神(shen)(shen)經網(wang)絡和其他(ta)光(guang)學(xue)計算系統的(de)(de)廣(guang)泛采用的(de)(de)工具。”
該研究(jiu)利用光子傳播(bo)對(dui)稱性,將神經網絡訓(xun)(xun)(xun)練中的(de)前向與反(fan)向傳播(bo)都(dou)等效為光的(de)前向傳播(bo)。在太極-II架構(gou)下(xia),梯度(du)下(xia)降的(de)反(fan)向傳播(bo)轉化為光學系統的(de)前向傳播(bo),訓(xun)(xun)(xun)練過(guo)程僅需兩次(ci)前向傳播(bo),具(ju)有天(tian)然對(dui)齊特性,確保(bao)了物理(li)梯度(du)的(de)精確計(ji)算。這種訓(xun)(xun)(xun)練方(fang)法精度(du)高,支持大規模網絡訓(xun)(xun)(xun)練,且不再依賴電計(ji)算進行離線(xian)建模與訓(xun)(xun)(xun)練。
太(tai)極(ji)(ji)-II光(guang)(guang)(guang)(guang)訓(xun)練(lian)芯片以光(guang)(guang)(guang)(guang)為計算媒介,利用光(guang)(guang)(guang)(guang)的全前向傳播實現訓(xun)練(lian),大幅提(ti)(ti)升(sheng)了(le)光(guang)(guang)(guang)(guang)網(wang)絡訓(xun)練(lian)的速度與能(neng)效(xiao)。研究表(biao)明,太(tai)極(ji)(ji)-II能(neng)夠(gou)對多種(zhong)不同(tong)光(guang)(guang)(guang)(guang)學(xue)系(xi)統(tong)(tong)進行訓(xun)練(lian),并(bing)在各種(zhong)任務下表(biao)現出卓越性能(neng)。在大規模學(xue)習領(ling)域(yu),太(tai)極(ji)(ji)-II將(jiang)數百萬參數的光(guang)(guang)(guang)(guang)網(wang)絡訓(xun)練(lian)速度提(ti)(ti)升(sheng)了(le)1個(ge)數量(liang)級,智能(neng)分類任務的準確率(lv)提(ti)(ti)升(sheng)了(le)40%。在復雜(za)(za)場(chang)景智能(neng)成像方面,太(tai)極(ji)(ji)-II在弱光(guang)(guang)(guang)(guang)環境(jing)下實現了(le)5.40×10^6 TOPS/W的全光(guang)(guang)(guang)(guang)處理,系(xi)統(tong)(tong)級能(neng)效(xiao)提(ti)(ti)升(sheng)了(le)6個(ge)數量(liang)級。在非視域(yu)場(chang)景下,實現了(le)千赫茲幀率(lv)的智能(neng)成像,效(xiao)率(lv)提(ti)(ti)升(sheng)了(le)2個(ge)數量(liang)級。在拓撲光(guang)(guang)(guang)(guang)子學(xue)領(ling)域(yu),太(tai)極(ji)(ji)-II能(neng)夠(gou)自(zi)動搜索非厄米奇異點(dian),為解析復雜(za)(za)拓撲系(xi)統(tong)(tong)提(ti)(ti)供了(le)新思路(lu)。
太(tai)極(ji)-II的(de)問世,進一步揭(jie)示(shi)了(le)智能光計算的(de)巨大(da)潛力(li)。太(tai)極(ji)I和II分別實現了(le)高能效AI推(tui)理與訓練,共同構成了(le)大(da)規模(mo)智能計算的(de)完(wan)整生命周期。方璐表(biao)示(shi),太(tai)極(ji)系(xi)列將(jiang)為未來AI大(da)模(mo)型注入算力(li)發展的(de)新(xin)(xin)動力(li),構建光算力(li)的(de)新(xin)(xin)基座。
目前,研(yan)究團隊正積極(ji)推(tui)進智能(neng)(neng)光(guang)芯片產業化(hua),在(zai)多種端側智能(neng)(neng)系統(tong)上(shang)進行了應用(yong)部署。預計(ji)智能(neng)(neng)光(guang)計(ji)算(suan)平臺將以更低的資(zi)源消耗和更小的邊際成(cheng)本,為人工智能(neng)(neng)大模型、通(tong)用(yong)人工智能(neng)(neng)、復雜智能(neng)(neng)系統(tong)的高速高能(neng)(neng)效計(ji)算(suan)開辟新路(lu)徑(jing)。
① 凡本(ben)站(zhan)(zhan)(zhan)注明(ming)“稿(gao)件來源:中國教(jiao)育在線(xian)”的所(suo)有(you)文字、圖片和音視(shi)頻(pin)稿(gao)件,版權均屬本(ben)網(wang)所(suo)有(you),任何媒(mei)體、網(wang)站(zhan)(zhan)(zhan)或(huo)(huo)個人未(wei)經(jing)本(ben)網(wang)協議授權不得轉(zhuan)(zhuan)載(zai)、鏈接、轉(zhuan)(zhuan)貼(tie)或(huo)(huo)以其他方(fang)式復制發(fa)表。已經(jing)本(ben)站(zhan)(zhan)(zhan)協議授權的媒(mei)體、網(wang)站(zhan)(zhan)(zhan),在下(xia)載(zai)使(shi)用時(shi)必(bi)須注明(ming)“稿(gao)件來源:中國教(jiao)育在線(xian)”,違(wei)者本(ben)站(zhan)(zhan)(zhan)將依(yi)法追(zhui)究責任。
② 本(ben)站注明(ming)稿件來(lai)源為其他媒(mei)體的文/圖(tu)等稿件均為轉載稿,本(ben)站轉載出于非商業性的教育和科(ke)研(yan)之目(mu)的,并不意味著贊同其觀(guan)點或證實(shi)其內容的真(zhen)實(shi)性。如轉載稿涉及版權等問(wen)題(ti),請作者在(zai)兩周內速來(lai)電或來(lai)函(han)聯系。




中國教育在線
