當你想到人工智能時,腦中會浮現(xiàn)什么??
GENERATIVE AI
早在半年前,ChatGPT就能夠像人類一樣提供答案,這些答案既符合語境,又具有技術上的合理性。但人工智能局限性也很明顯,它會以要點形式給出回答,但實際上只是一個AI模型。
現(xiàn)在,當在ChatGPT上輸入一個問題時,它的反應已經十分迅速,對此,ChatGPT的創(chuàng)建者們實現(xiàn)了哪些改變?
最有可能的情況是,為滿足超過1億用戶的需求,OpenAI擴展了其人工智能集群的推理能力。據(jù)報道,在人工智能芯片制造商中處于領先地位的英偉達(NVIDIA)已供應大約20,000個圖形處理單元(GPU),用于支持ChatGPT的開發(fā),且有大幅增加圖形處理單元使用的計劃。有人推測,他們即將推出的人工智能模型可能需要多達1000萬個圖形處理單元。
GPU集群架構:
生成式人工智能的基礎
- GPU cluster architecture —
the foundation of generative AI -
理解20,000個GPU的概念是容易辦到的,但通過1000萬個GPU的光連接來執(zhí)行智能任務很具有挑戰(zhàn)性。
如何先配置好較小的單元,逐漸將其擴大至包含數(shù)千個GPU的集群?我們以基于傳統(tǒng)的超算(HPC)網絡而編寫的英偉達設計指南為例。
根據(jù)設計指南的建議,該過程使用多個具有256個GPU pod的較小單元(可擴展單元)來構建大量GPU集群。每個pod由8個服務器機架和2個網絡機架(位于一排機柜中間位置)組成。這些pod內部以及相互之間的連接通過InfiniBand(部署在英偉達的Quantum-2交換機上的高速、低延遲交換協(xié)議)協(xié)議建立。
當前的InfiniBand交換機使用32個800G OSFP收發(fā)器,采用400G(NDR)雙端口。每個端口使用8芯光纖,因此每臺交換機有64x400G端口。且即將到來的新一代交換機,很大可能將采用XDR端口。這意味著每臺交換機將有64x800G端口,每個端口也使用8芯光纖(主要是單模光纖)。
如表1所示,該4通道(8芯光纖)模式在InfiniBand路線圖中反復出現(xiàn),且未來將使用更快的速度。
* 在4X(4通道)以Gb/s為單位表示鏈路速度
就布線而言,在超算(HPC)領域普遍采用的最佳做法是:采用點對點有源光纜(AOC)。然而,隨著(MPO)光纖連接器接口的最新NDR端口的推出,點對點連接的情形已從AOC光纜轉變?yōu)镸PO-MPO無源跳線。在考慮單個具有256個GPU的pod時,利用點對點連接沒有什么大問題。但是在追求更大的規(guī)模時就遇到了問題,例如16k GPU需要64個具有256個GPU的pod實現(xiàn)互連。這些高性能GPU集群使用的計算結構對于線路路由優(yōu)化有極高的要求。在線路路由優(yōu)化設置中,來自每個計算系統(tǒng)的所有主機通道適配器(HCA)均連接至同一個葉交換機(leaf switch)。
據(jù)說該設置對于最大限度提高深度學習(DL)訓練性能至關重要。一個標準的H100計算節(jié)點配備4個雙端口OSFP,轉換為8個上行鏈路端口(每個GPU一個獨立上行鏈路)與八個不同的葉交換機連接,由此建立一個8條線路優(yōu)化結構。
該設計在處理單個具有256個GPU的pod時可以無縫工作。但如果目標是構建一個包含16,384個GPU的集群時該怎么辦?在這種場景中,有必要增加兩個交換層:來自每個pod的第一個葉交換機與脊交換機組一(SG1)中的每個交換機連接,每個pod內的第二個葉交換機與脊交換機組二(SG2)中的每個交換機連接,以此類推。為取得完全實現(xiàn)的胖樹(fat-tree)拓撲結構,必須加入第三層核心交換組(CG)。
讓我們回顧一下16,384個GPU集群的光纜連接數(shù)量。計算節(jié)點和葉交換機之間建立連接需要16,384根光纜,每個pod有256根MPO跳線。在開始網絡拓展的過程時,建立葉-脊連接和脊-核心連接的任務變得更具有挑戰(zhàn)性。涉及到先捆扎多根MPO跳線,然后將其敷設50米至500米不等的距離。
有沒有更高效的運營方式?一個建議是采用結構化布線系統(tǒng),該系統(tǒng)采用兩個接線板設計,利用大芯數(shù)MPO干線,可能采用144根光纖。這樣就能把18根MPO跳線(18x8=144)合并成一根干線光纜,一次敷設完成。通過在端點使用合適的MPO適配器面板,可將它們拆開為多根8芯光纜,并與恰當?shù)木€路連接,避免捆綁多根MPO跳線帶來的復雜度。
對于一個非阻塞結構,每個pod需要256條上行鏈路。我們可選擇從每個pod拉出15x144根光纖干線,產生270(15x18)上行鏈路(只需使用15個大芯數(shù)線纜)。另外,該設置提供14(270-256)個備用連接,可作備份或用于存儲或管理網絡連接。
人工智能在理解問題方面取得了重大進展。就實現(xiàn)這種轉變而言,尋求能夠支持廣泛GPU集群(包括16K GPU或24K GPU)的布線解決方案,是這一難題的重要組成部分,也是光連接行業(yè)面臨的挑戰(zhàn)。
關于作者
Mustafa Keskin
康寧光通信
應用解決方案經理
在光纖行業(yè)擁有19年的經驗,擅長根據(jù)行業(yè)趨勢和客戶洞察研究,為數(shù)據(jù)中心和運營商中央辦公空間確定架構解決方案。
此前,作為全球團隊的一員,他在數(shù)據(jù)中心EDGE8光纜系統(tǒng)的開發(fā)中發(fā)揮了重要作用;
新聞來源:康寧光通信