光芯片可用于訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練并更具優(yōu)勢

  ICCSZ訊 美國斯坦福大學(xué)的研究人員在《Optica》上發(fā)表研究成果，展示了直接在光芯片上使用光模擬“反向傳播”算法的方式可訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，證實直接在一個光芯片上訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的可能性。該重大突破性進(jìn)展展示了光電路能夠?qū)崿F(xiàn)基于電子的人工神經(jīng)網(wǎng)絡(luò)的重要功能，并能夠以更廉價、更快和更高能效的方式來執(zhí)行類似語音或圖像識別等復(fù)雜任務(wù)。“反向傳播”算法是訓(xùn)練傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)方式。

      需求背景

  人工智能神經(jīng)網(wǎng)絡(luò)是一個通過使用互連單元以類似人腦的方式來處理信息的一種人工智能。人工智能神經(jīng)網(wǎng)絡(luò)可用來執(zhí)行復(fù)雜任務(wù)，如在語音識別中，需要重要步驟來訓(xùn)練算法來為不同單詞等輸入進(jìn)行分類。

  盡管神經(jīng)網(wǎng)絡(luò)處理通常在傳統(tǒng)計算機(jī)進(jìn)行，但在設(shè)計神經(jīng)網(wǎng)絡(luò)計算專用硬件上也投入了巨大精力。以光器件實現(xiàn)對人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練獲得了大量關(guān)注，因為其能夠使用比電子器件更少的能量及并行方式執(zhí)行計算。

  論文的第一作者Tyler W. Hughes說：“使用一個物理器件而不是一個計算機(jī)模型來進(jìn)行訓(xùn)練，可使訓(xùn)練過程更加精確。而且，因為訓(xùn)練是實現(xiàn)神經(jīng)網(wǎng)絡(luò)的一個高計算密集型過程，以光學(xué)方式執(zhí)行該過程是改進(jìn)人工智能網(wǎng)絡(luò)計算效率、速度、功耗的關(guān)鍵?！?

  雖然光人工神經(jīng)網(wǎng)絡(luò)最近以實驗方式進(jìn)行了展示，但訓(xùn)練步驟使用的仍是在傳統(tǒng)數(shù)字計算機(jī)上的模型，然后將最后的設(shè)置輸入到光電電路中。

       核心進(jìn)展

  在此次進(jìn)展中，研究人員設(shè)計了一款能夠復(fù)制傳統(tǒng)計算機(jī)訓(xùn)練神經(jīng)網(wǎng)絡(luò)方法的光芯片，克服了實現(xiàn)一個全光神經(jīng)網(wǎng)絡(luò)所面臨的重大挑戰(zhàn)。

  一個人工神經(jīng)網(wǎng)絡(luò)可以被認(rèn)為是一個帶有很多旋鈕的黑盒子。在訓(xùn)練階段，這些旋鈕轉(zhuǎn)動一點，然后對整個系統(tǒng)進(jìn)行測試，看看算法的性能是否改進(jìn)了。Hughes說：“我們的方法不僅能夠幫助預(yù)測旋鈕轉(zhuǎn)動的方向，還能預(yù)測每個旋鈕應(yīng)該旋轉(zhuǎn)多少以盡可能獲得想要的性能。我們的方法能夠顯著加速訓(xùn)練，尤其是大的網(wǎng)絡(luò)，因為我們并行地獲得每個旋鈕的信息?！?

       成果展示

  研究人員已經(jīng)展示了可使用一個光芯片(圖中藍(lán)色長方形區(qū)域)來訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)。在完整網(wǎng)絡(luò)中，有幾個這樣的光芯片連接到一起。激光輸入(綠色)對信息進(jìn)行編碼，然后由光電波導(dǎo)(黑色)傳過芯片。芯片使用可調(diào)分光器執(zhí)行對人工神經(jīng)網(wǎng)絡(luò)關(guān)鍵的操作，這些通過波導(dǎo)中的彎曲部分來表現(xiàn)，耦合兩個相鄰的波導(dǎo)，通過調(diào)整光移相器的設(shè)置來調(diào)整(紅色和藍(lán)色閃光部分)，它像“旋鈕”一樣工作，在訓(xùn)練過程中調(diào)整來執(zhí)行給定的任務(wù)。(圖片來源：Tyler W. Hughes, Stanford University)

       過程說明

  新的訓(xùn)練協(xié)議在帶有可調(diào)分光器的光電電路上運(yùn)行，這些分光器可通過改變光移相器來改變設(shè)置。激光編碼信息傳遞到光芯片進(jìn)行處理，并由光波導(dǎo)傳遞通過分光器，這些分光器像旋鈕一樣調(diào)整來訓(xùn)練神經(jīng)網(wǎng)絡(luò)算法。

  在新的訓(xùn)練協(xié)議中，激光首先通過光芯片。當(dāng)離開器件時，就可計算出與預(yù)期輸出的差異。然后使用該信息來產(chǎn)生新的光信號，這個信號然后以相反的方向送回并穿過光電網(wǎng)絡(luò)。通過測量在這個過程中每一個分光器的光電密度，研究人員展示了對神經(jīng)網(wǎng)絡(luò)性能的并行測量是如何根據(jù)每個分光器設(shè)置發(fā)生改變。移相器設(shè)置能夠基于該信息發(fā)生改變，該過程將重復(fù)進(jìn)行直到神經(jīng)網(wǎng)絡(luò)產(chǎn)生所需的輸出。

  結(jié)果測試

  研究人員使用一個光電仿真測試了他們的訓(xùn)練技術(shù)——教一個算法來執(zhí)行復(fù)雜功能，例如在一套點中挑選復(fù)雜特性。他們發(fā)現(xiàn)光實現(xiàn)過程的性能可與傳統(tǒng)電子計算機(jī)一致。

  意義及下一步工作

  研究團(tuán)隊領(lǐng)導(dǎo)者、斯坦發(fā)大學(xué)的Shanhui Fan說：“使用光電芯片來執(zhí)行神經(jīng)網(wǎng)絡(luò)計算比數(shù)字計算機(jī)可能實現(xiàn)的效率更高，可以實現(xiàn)更復(fù)雜的問題得到解決。這將提高人工神經(jīng)網(wǎng)絡(luò)執(zhí)行特定任務(wù)的能力，如自動駕駛汽車或?qū)σ粋€發(fā)問給出合適的答案。他將以我們現(xiàn)在無法想象的方式來改進(jìn)我們的生活。我們的工作展示了能夠使用物理學(xué)來實現(xiàn)計算機(jī)科學(xué)算法。通過在光學(xué)域訓(xùn)練這些網(wǎng)絡(luò)，顯示了光神經(jīng)網(wǎng)絡(luò)能夠用于實現(xiàn)只用光自身就可實現(xiàn)的某種功能。”

  研究人員計劃進(jìn)一步優(yōu)化網(wǎng)絡(luò)，并打算使用其來實現(xiàn)神經(jīng)網(wǎng)絡(luò)任務(wù)的實際應(yīng)用。他們設(shè)計的通用方法可用于多種神經(jīng)網(wǎng)絡(luò)架構(gòu)，并且用于可配置光電器件等其他應(yīng)用。

  參考文獻(xiàn)：Tyler W. Hughes, Momchil Minkov, Yu Shi, Shanhui Fan.Training of photonic neural networks through in situ backpropagation and gradient measurement. Optica, 2018; 5 (7): 864 DOI:10.1364/OPTICA.5.000864

  原標(biāo)題：光電神經(jīng)網(wǎng)絡(luò)|美國斯坦福大學(xué)證實可直接在一個光芯片上訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，具備比傳統(tǒng)電子器件更高的能效、更快的速度和更低的成本