光纖連接如何推動(dòng)生成式人工智能革命

  當(dāng)你想到人工智能時(shí)，腦中會(huì)浮現(xiàn)什么??

  GENERATIVE AI

  早在半年前，ChatGPT就能夠像人類(lèi)一樣提供答案，這些答案既符合語(yǔ)境，又具有技術(shù)上的合理性。但人工智能局限性也很明顯，它會(huì)以要點(diǎn)形式給出回答，但實(shí)際上只是一個(gè)AI模型。

  現(xiàn)在，當(dāng)在ChatGPT上輸入一個(gè)問(wèn)題時(shí)，它的反應(yīng)已經(jīng)十分迅速，對(duì)此，ChatGPT的創(chuàng)建者們實(shí)現(xiàn)了哪些改變?

  最有可能的情況是，為滿(mǎn)足超過(guò)1億用戶(hù)的需求，OpenAI擴(kuò)展了其人工智能集群的推理能力。據(jù)報(bào)道，在人工智能芯片制造商中處于領(lǐng)先地位的英偉達(dá)(NVIDIA)已供應(yīng)大約20,000個(gè)圖形處理單元(GPU)，用于支持ChatGPT的開(kāi)發(fā)，且有大幅增加圖形處理單元使用的計(jì)劃。有人推測(cè)，他們即將推出的人工智能模型可能需要多達(dá)1000萬(wàn)個(gè)圖形處理單元。

  GPU集群架構(gòu)：

  生成式人工智能的基礎(chǔ)

  - GPU cluster architecture —

  the foundation of generative AI -

  理解20,000個(gè)GPU的概念是容易辦到的，但通過(guò)1000萬(wàn)個(gè)GPU的光連接來(lái)執(zhí)行智能任務(wù)很具有挑戰(zhàn)性。

  如何先配置好較小的單元，逐漸將其擴(kuò)大至包含數(shù)千個(gè)GPU的集群?我們以基于傳統(tǒng)的超算(HPC)網(wǎng)絡(luò)而編寫(xiě)的英偉達(dá)設(shè)計(jì)指南為例。

  根據(jù)設(shè)計(jì)指南的建議，該過(guò)程使用多個(gè)具有256個(gè)GPU pod的較小單元(可擴(kuò)展單元)來(lái)構(gòu)建大量GPU集群。每個(gè)pod由8個(gè)服務(wù)器機(jī)架和2個(gè)網(wǎng)絡(luò)機(jī)架(位于一排機(jī)柜中間位置)組成。這些pod內(nèi)部以及相互之間的連接通過(guò)InfiniBand(部署在英偉達(dá)的Quantum-2交換機(jī)上的高速、低延遲交換協(xié)議)協(xié)議建立。

  當(dāng)前的InfiniBand交換機(jī)使用32個(gè)800G OSFP收發(fā)器，采用400G(NDR)雙端口。每個(gè)端口使用8芯光纖，因此每臺(tái)交換機(jī)有64x400G端口。且即將到來(lái)的新一代交換機(jī)，很大可能將采用XDR端口。這意味著每臺(tái)交換機(jī)將有64x800G端口，每個(gè)端口也使用8芯光纖(主要是單模光纖)。

  如表1所示，該4通道(8芯光纖)模式在InfiniBand路線(xiàn)圖中反復(fù)出現(xiàn)，且未來(lái)將使用更快的速度。

  * 在4X(4通道)以Gb/s為單位表示鏈路速度

  就布線(xiàn)而言，在超算(HPC)領(lǐng)域普遍采用的最佳做法是：采用點(diǎn)對(duì)點(diǎn)有源光纜(AOC)。然而，隨著(MPO)光纖連接器接口的最新NDR端口的推出，點(diǎn)對(duì)點(diǎn)連接的情形已從AOC光纜轉(zhuǎn)變?yōu)镸PO-MPO無(wú)源跳線(xiàn)。在考慮單個(gè)具有256個(gè)GPU的pod時(shí)，利用點(diǎn)對(duì)點(diǎn)連接沒(méi)有什么大問(wèn)題。但是在追求更大的規(guī)模時(shí)就遇到了問(wèn)題，例如16k GPU需要64個(gè)具有256個(gè)GPU的pod實(shí)現(xiàn)互連。這些高性能GPU集群使用的計(jì)算結(jié)構(gòu)對(duì)于線(xiàn)路路由優(yōu)化有極高的要求。在線(xiàn)路路由優(yōu)化設(shè)置中，來(lái)自每個(gè)計(jì)算系統(tǒng)的所有主機(jī)通道適配器(HCA)均連接至同一個(gè)葉交換機(jī)(leaf switch)。

  據(jù)說(shuō)該設(shè)置對(duì)于最大限度提高深度學(xué)習(xí)(DL)訓(xùn)練性能至關(guān)重要。一個(gè)標(biāo)準(zhǔn)的H100計(jì)算節(jié)點(diǎn)配備4個(gè)雙端口OSFP，轉(zhuǎn)換為8個(gè)上行鏈路端口(每個(gè)GPU一個(gè)獨(dú)立上行鏈路)與八個(gè)不同的葉交換機(jī)連接，由此建立一個(gè)8條線(xiàn)路優(yōu)化結(jié)構(gòu)。

  該設(shè)計(jì)在處理單個(gè)具有256個(gè)GPU的pod時(shí)可以無(wú)縫工作。但如果目標(biāo)是構(gòu)建一個(gè)包含16,384個(gè)GPU的集群時(shí)該怎么辦?在這種場(chǎng)景中，有必要增加兩個(gè)交換層：來(lái)自每個(gè)pod的第一個(gè)葉交換機(jī)與脊交換機(jī)組一(SG1)中的每個(gè)交換機(jī)連接，每個(gè)pod內(nèi)的第二個(gè)葉交換機(jī)與脊交換機(jī)組二(SG2)中的每個(gè)交換機(jī)連接，以此類(lèi)推。為取得完全實(shí)現(xiàn)的胖樹(shù)(fat-tree)拓?fù)浣Y(jié)構(gòu)，必須加入第三層核心交換組(CG)。

  讓我們回顧一下16,384個(gè)GPU集群的光纜連接數(shù)量。計(jì)算節(jié)點(diǎn)和葉交換機(jī)之間建立連接需要16,384根光纜，每個(gè)pod有256根MPO跳線(xiàn)。在開(kāi)始網(wǎng)絡(luò)拓展的過(guò)程時(shí)，建立葉-脊連接和脊-核心連接的任務(wù)變得更具有挑戰(zhàn)性。涉及到先捆扎多根MPO跳線(xiàn)，然后將其敷設(shè)50米至500米不等的距離。

  有沒(méi)有更高效的運(yùn)營(yíng)方式?一個(gè)建議是采用結(jié)構(gòu)化布線(xiàn)系統(tǒng)，該系統(tǒng)采用兩個(gè)接線(xiàn)板設(shè)計(jì)，利用大芯數(shù)MPO干線(xiàn)，可能采用144根光纖。這樣就能把18根MPO跳線(xiàn)(18x8=144)合并成一根干線(xiàn)光纜，一次敷設(shè)完成。通過(guò)在端點(diǎn)使用合適的MPO適配器面板，可將它們拆開(kāi)為多根8芯光纜，并與恰當(dāng)?shù)木€(xiàn)路連接，避免捆綁多根MPO跳線(xiàn)帶來(lái)的復(fù)雜度。

  對(duì)于一個(gè)非阻塞結(jié)構(gòu)，每個(gè)pod需要256條上行鏈路。我們可選擇從每個(gè)pod拉出15x144根光纖干線(xiàn)，產(chǎn)生270(15x18)上行鏈路(只需使用15個(gè)大芯數(shù)線(xiàn)纜)。另外，該設(shè)置提供14(270-256)個(gè)備用連接，可作備份或用于存儲(chǔ)或管理網(wǎng)絡(luò)連接。

  人工智能在理解問(wèn)題方面取得了重大進(jìn)展。就實(shí)現(xiàn)這種轉(zhuǎn)變而言，尋求能夠支持廣泛GPU集群(包括16K GPU或24K GPU)的布線(xiàn)解決方案，是這一難題的重要組成部分，也是光連接行業(yè)面臨的挑戰(zhàn)。

關(guān)于作者

Mustafa Keskin

康寧光通信

應(yīng)用解決方案經(jīng)理

  在光纖行業(yè)擁有19年的經(jīng)驗(yàn)，擅長(zhǎng)根據(jù)行業(yè)趨勢(shì)和客戶(hù)洞察研究，為數(shù)據(jù)中心和運(yùn)營(yíng)商中央辦公空間確定架構(gòu)解決方案。

  此前，作為全球團(tuán)隊(duì)的一員，他在數(shù)據(jù)中心EDGE8光纜系統(tǒng)的開(kāi)發(fā)中發(fā)揮了重要作用;