中國聯(lián)通完成“AI大模型300公里跨域分布式協(xié)同訓練”技術驗證

  ICC訊 近日，在中國聯(lián)通集團建設發(fā)展部，智算發(fā)展專班指導下，中國聯(lián)通研究院與上海分公司聯(lián)合產業(yè)合作伙伴，在中國聯(lián)通臨港智算中心成功完成AI大模型300公里分布式協(xié)同訓練技術驗證。通過智算、網(wǎng)絡多項創(chuàng)新技術的綜合運用，實現(xiàn)了300公里跨域分布式訓練等效算力達到單集群的95%以上，跨域帶寬收斂比大于16:1。充分驗證了跨DC協(xié)同訓練技術的商用可行性，為AI大模型訓練模式提供了全新的解決方案。

  跨智算中心分布式協(xié)同訓練存在兩大需求：一是大模型訓練對算力的需求激增，但單體智算中心存在電力、空間等容量上限，超大規(guī)模的模型訓練需要多DC資源協(xié)同；二是多租戶場景下產生了算力資源碎片化問題，亟需進行多DC的空閑資源整合和利用。在此背景下，跨DC分布式協(xié)同訓練興起，長距無損的聯(lián)算網(wǎng)絡技術成為剛需。

  中國聯(lián)通深耕長距無損網(wǎng)絡關鍵技術，針對跨DC長距RDMA傳輸場景，創(chuàng)新長距擁塞控制和精準流控協(xié)議，在智算網(wǎng)關實現(xiàn)近端擁塞的快速識別和反饋;同時通過優(yōu)化智算模型并行策略，適配廣域帶寬超大收斂比的解決方案，壓縮超大規(guī)模智算中心互聯(lián)場景中對拉遠帶寬的巨額需求。積極開展智算網(wǎng)絡標準化工作，在ITU-T立項下一代網(wǎng)絡廣域無損管控功能要求Y.WALNC，在IETF推進廣域無損需求和技術框架研究，在CCSA牽頭立項智算網(wǎng)關、長距擁塞控制技術要求等行業(yè)標準，聯(lián)合產業(yè)伙伴共同構建長距無損網(wǎng)絡技術生態(tài)。

  本次AI大模型300km跨DC分布式協(xié)同訓練試點測試包含兩大亮點：

  第一、創(chuàng)新運用了新一代智算網(wǎng)關設備、精準流控技術和并行方式優(yōu)化技術，實現(xiàn)廣域收斂比不低于16：1。在跨300km協(xié)同訓練場景下，針對不同廣域收斂比對大模型訓練效率的驗證，通過現(xiàn)網(wǎng)實測數(shù)據(jù)結果分析，針對廣域收斂比為4:1、8:1、16:1的場景，可實現(xiàn)百億大模型300km分布式訓練性能均達到單智算中心訓練性能的95%以上，使其具備真正意義上的商用可行性。

  第二、采用單波800G實現(xiàn)300km的傳輸，并驗證其超高可靠的能力。本次跨DC拉遠通過業(yè)界領先的800G光傳送解決方案實現(xiàn)超大帶寬和300km距離的傳輸，并進行了多項可靠性功能測試，驗證結果表明智算互聯(lián)需要抗多次故障帶寬不下降能力。

  中國聯(lián)通研究院副院長，首席科學家唐雄燕介紹，中國聯(lián)通建設了一張先進的算力智聯(lián)網(wǎng)AINet，通過“IP+光”融合打造新質運力，以網(wǎng)強算，具備高通量、高性能、高智能的特點。AI大模型跨域分布式訓練是AINet的典型應用場景，本次測試驗證為后續(xù)網(wǎng)絡建設提供了強有力的技術支持。

  上海聯(lián)通科技創(chuàng)新部總經(jīng)理吳昊表示，上海聯(lián)通將依托臨港智算中心優(yōu)勢，充分發(fā)揮“算網(wǎng)一體”的高品質人工智能新型基礎設施資源稟賦，進一步深化超長距離存算運協(xié)同、無損網(wǎng)絡流量管控等重點方向科技創(chuàng)新的能力打造，面向智算集群生產經(jīng)營重點需求，持續(xù)推動算力與網(wǎng)絡的深度融合與高質量發(fā)展。

  展望未來，中國聯(lián)通將攜手產業(yè)合作伙伴，發(fā)揮行業(yè)引領作用，借助AINet算力智聯(lián)網(wǎng)，打通計算、網(wǎng)絡、安全多領域合作通道，推動關鍵技術的深度融合與創(chuàng)新發(fā)展，實現(xiàn)計算和網(wǎng)絡的一體化協(xié)同運作，賦能產業(yè)的高質量發(fā)展。