中國信通院專家李論：面向大模型的智算集群建設(shè)有三個要點

  ICC訊 9月27日，以“探索AI邊界重構(gòu)數(shù)字場景”為主題2024產(chǎn)學(xué)研融通創(chuàng)新活動在北京正式召開，26位演講嘉賓齊聚，共話生成式人工智能的關(guān)鍵技術(shù)與應(yīng)用趨勢，共探AI大模型在7大領(lǐng)域的應(yīng)用落地。中國信通院人工智能研究所軟硬件與生態(tài)部主任李論發(fā)表了《大模型應(yīng)用落地趨勢與路徑》主題演講，在詳述大模型的范式變遷與模型演進的同時，強調(diào)了底座支撐作用。她指出，模型的原始創(chuàng)新與大模型訓(xùn)推系統(tǒng)深度耦合，大模型落地時，計算能力決定了大模型性能天花板。

2024產(chǎn)學(xué)研融通創(chuàng)新活動

  布局重點及建設(shè)要點

  大模型落地過程中，AI+HPC融合的萬卡集群是布局重點，其中蘊藏著眾多機遇，也是難點與卡點。針對此，李論提出，面向大模型的智算集群建設(shè)有三個要點：

  一是軟硬高效協(xié)同的新型基礎(chǔ)設(shè)施。整個人工智能產(chǎn)業(yè)鏈的形態(tài)正發(fā)生變化，早期產(chǎn)業(yè)呈現(xiàn)出明顯的水平化特征，而今天，主導(dǎo)路線變成了大模型、大數(shù)據(jù)、大算力，以模型為核心的產(chǎn)業(yè)鏈上下游關(guān)聯(lián)變革，底層的產(chǎn)業(yè)鏈體系架構(gòu)在向基礎(chǔ)設(shè)施的方向發(fā)展，芯片從單點變成了大規(guī)模的集群，平臺的集約性等更為凸顯，大模型訓(xùn)推需求上下傳導(dǎo)至產(chǎn)業(yè)鏈各個環(huán)節(jié)，新型基礎(chǔ)設(shè)施體系正在形成。

  二是算力效能極致優(yōu)化提升。在構(gòu)建底座的過程中，Scale up(縱向優(yōu)化)和Scale out(水平拓展)相互結(jié)合，對軟硬件支撐水平和全棧整合能力提出更大挑戰(zhàn)。一方面，硬件與軟件的協(xié)同適配問題仍是重點;另一方面，規(guī)模擴展到千卡、萬卡時，追求線性集群擴展能力難度較大，依舊是需要工程界和學(xué)術(shù)界共同解決的問題。

  三是支持超大規(guī)模擴展的網(wǎng)絡(luò)架構(gòu)。這需要基于自身需求、結(jié)合大模型訓(xùn)練特點推出定制化組網(wǎng)方案，并為更大集群拓展做好準備。當(dāng)前，面向大語言模型的定制化、國產(chǎn)化、規(guī)?；募軜?gòu)體系也在不斷出現(xiàn)。

中國信通院人工智能研究所軟硬件與生態(tài)部主任李論

  挑戰(zhàn)與調(diào)整建議

  對于底座支撐整體，李論認為挑戰(zhàn)包括三個方面：如何準確度量智算集群系統(tǒng)的實際算力?軟硬件協(xié)同不深，如何增強智算生態(tài)韌性?智算建設(shè)浪潮后，如何可持續(xù)運營與服務(wù)?

  面對這些問題，李論給出了調(diào)整建議：一是提升智算基礎(chǔ)設(shè)施規(guī)劃水平，對產(chǎn)品技術(shù)選型、應(yīng)用場景需求、市場競爭格局、投資收益等進行充分調(diào)研、精準測算;二是加快推動國產(chǎn)軟硬件廠商兼容適配，推動面向大模型的人工智能訓(xùn)推集群建設(shè)的標(biāo)準化和規(guī)范化;三是引導(dǎo)鼓勵智算集群差異化發(fā)展運營，重視智算生態(tài)運營，結(jié)合區(qū)域特點制定差異化智算生態(tài)發(fā)展策略。

  對于大模型的未來發(fā)展，李論也提出了展望：“未來一段時間，模型水平發(fā)展仍將遵循規(guī)模定律，計算在一定情況下決定了大模型規(guī)模的天花板。底層是軟硬高效協(xié)同的大系統(tǒng)，中間層是以Transformer架構(gòu)為核心驅(qū)動通用智能探索的大算法，上層模型平臺是以模型為中心的大生態(tài)?！?