超大規(guī)模數(shù)據(jù)中心要回到ASIC歲月么？

  ICC訊 數(shù)據(jù)中心處理器正在重新架構(gòu)、定制化和多樣化。當(dāng)超大規(guī)模數(shù)據(jù)中心開發(fā)他們自己的芯片時(shí)，以前為他們服務(wù)的芯片公司應(yīng)如何應(yīng)對(duì)?定制化是正確的方向嗎?

  由于Amazon、Google和Meta等超大規(guī)模數(shù)據(jù)中心的推動(dòng)，數(shù)據(jù)中心芯片的多樣化和定制化趨勢(shì)日益加劇。

  他們?cè)噲D繞過傳統(tǒng)芯片設(shè)計(jì)師的做法為芯片行業(yè)帶來(lái)了擔(dān)憂。

  這些擔(dān)憂是有道理的。

  打入超大規(guī)模數(shù)據(jù)中心處理器市場(chǎng)對(duì)傳統(tǒng)芯片公司和初創(chuàng)公司提出了挑戰(zhàn)。這部分是因?yàn)槌笠?guī)模數(shù)據(jù)中心要求專為其算法和工作負(fù)載而定制的特定硬件解決方案。擁有專有軟件的超大規(guī)模數(shù)據(jù)中心也具有不公平的競(jìng)爭(zhēng)優(yōu)勢(shì)。

  重新架構(gòu)數(shù)據(jù)中心

  首先，讓我們分析一下當(dāng)前數(shù)據(jù)中心處理器市場(chǎng)的現(xiàn)狀。

  根據(jù)Yole Intelligence科技與市場(chǎng)分析師Adrien Sanchez的說(shuō)法，如今有兩種主要類型的處理器進(jìn)入數(shù)據(jù)中心?！耙环N是CPU，另一種是加速器。”

  在CPU類別中，主要競(jìng)爭(zhēng)對(duì)手是Intel和AMD。新玩家如Ampere和Nvidia也開始出現(xiàn)，一些中國(guó)玩家也加入了該行列。但關(guān)鍵是，一些超大規(guī)模數(shù)據(jù)中心如AWS和阿里巴巴已經(jīng)開發(fā)了自己的定制CPU。

  另一方面，加速器有幾個(gè)子類別。它們包括：

  由Nvidia和AMD主導(dǎo)的GPU/圖形加速器。

  通用圖形處理單元(GPGPU)和AI加速器，同樣由Nvidia和AMD主導(dǎo)。Yole的Sanchez表示，Intel目前也在為這個(gè)子類別開發(fā)新產(chǎn)品。這也是許多AI硬件初創(chuàng)公司爭(zhēng)相推出產(chǎn)品的領(lǐng)域。幾乎所有的超大規(guī)模數(shù)據(jù)中心也都有自己的定制處理器，專門用于加速AI訓(xùn)練與推理。

  數(shù)據(jù)處理單元(DPU)/智能網(wǎng)絡(luò)接口卡(NIC)開始用于加速數(shù)據(jù)和網(wǎng)絡(luò)工作負(fù)載。Sanchez表示，這個(gè)子類別的主要競(jìng)爭(zhēng)對(duì)手包括Broadcom、Marvell、Nvidia(Mellanox產(chǎn)品線)、AMD(既有Xilinx，又有Pesando處理器)和Intel。一些超大規(guī)模數(shù)據(jù)中心如AWS和阿里巴巴也有自己的產(chǎn)品。

  Tirias Research的首席分析師Steve Leibson解釋說(shuō)：“數(shù)據(jù)中心架構(gòu)已經(jīng)在發(fā)生變化，特別是在加速器的應(yīng)用上。”

  例如，根據(jù)Lebson的說(shuō)法，Microsoft Azure一直將FPGA置于其基礎(chǔ)架構(gòu)的核心，尋求利用其增加的靈活性。他補(bǔ)充說(shuō)：“AWS多年來(lái)一直將FPGA加速作為實(shí)驗(yàn)提供給客戶?！彼€說(shuō)：“最近，隨著AI特別是ChatGPT的出現(xiàn)，Nvidia的GPU已經(jīng)在加速器競(jìng)賽中處于核心地位，Nvidia正投入大量資源進(jìn)行數(shù)據(jù)中心架構(gòu)的開發(fā)?！?

  Leibson認(rèn)為“安全性”是推動(dòng)數(shù)據(jù)中心重新架構(gòu)的另一個(gè)因素。Leibson解釋說(shuō)，Intel和AMD正在推動(dòng)DPU，Intel稱之為基礎(chǔ)設(shè)施處理單元(IPU)，因?yàn)樗鼈兛梢詫⒒A(chǔ)設(shè)施任務(wù)從服務(wù)器CPU中移除。目標(biāo)是阻止惡意行為者試圖訪問關(guān)鍵數(shù)據(jù)。DPU/IPU和智能NIC位于服務(wù)器領(lǐng)域之外。

  定制化趨勢(shì)正在發(fā)生嗎?

  在這種背景下，數(shù)據(jù)中心處理器的多樣化正在迅速展開。像Marvell和Broadcom這樣的公司認(rèn)為，這種變化讓芯片行業(yè)的老業(yè)務(wù)模式定制ASIC重新煥發(fā)生機(jī)。

  他們計(jì)劃推動(dòng)定制化來(lái)幫助超大規(guī)模數(shù)據(jù)中心。他們的戰(zhàn)略首先從超大規(guī)模數(shù)據(jù)中心處理器的邊緣開始，試圖用自己的IP進(jìn)行滲透。

  Marvell最近推出的高速、超高帶寬SerDes采用了TSMC的3nm工藝生產(chǎn)，就是一個(gè)例子。

  像I/O模塊、存儲(chǔ)器、SerDes和互連這樣的IP并不是定制化超大規(guī)模數(shù)據(jù)中心芯片中最引人注目的元素。但是，利用像Marvell這樣的公司已經(jīng)可以獲得的IP，使得超大規(guī)模數(shù)據(jù)中心更容易加速其數(shù)據(jù)中心芯片的定制化。

  然而，與Nvidia、AMD和Intel在數(shù)據(jù)中心更廣泛產(chǎn)品組合中取得的更深入進(jìn)展相比，Marvell在數(shù)據(jù)中心的進(jìn)展規(guī)模相形見絀。

  瓶頸點(diǎn)

  Marvell認(rèn)為“定制化正成為客戶業(yè)務(wù)的核心”。

  Marvell的計(jì)算與定制集團(tuán)技術(shù)副總裁Mark Kuemerle觀察到：“關(guān)于這些數(shù)據(jù)中心客戶的有趣事實(shí)是，如果他們的系統(tǒng)中出現(xiàn)輕微的瓶頸點(diǎn)，問題會(huì)被放大1000倍甚至更多(因?yàn)樗鼈儾渴鹪诔笠?guī)模中)?！边@樣的瓶頸點(diǎn)可能導(dǎo)致NIC卡住。現(xiàn)成的機(jī)器學(xué)習(xí)設(shè)備可能無(wú)法匹配工作負(fù)載或滿足靈活性或可編程性的需求。

  Kuemerle說(shuō)：“這些超大規(guī)模數(shù)據(jù)中心真的必須將一切精確調(diào)整到他們的工作負(fù)載。那么，他們投資建設(shè)定制芯片絕對(duì)是值得的?！?

  Kuemerle表示，這些客戶還需要解決方案來(lái)覆蓋他們構(gòu)建的所有內(nèi)容，“從基礎(chǔ)NIC到視頻加速，再到大規(guī)模機(jī)器學(xué)習(xí)”。

  回到ASIC了嗎?

  等一下。Marvell的這種方法不是讓芯片行業(yè)回到了ASIC的黑暗時(shí)代嗎?

  在20世紀(jì)90年代，領(lǐng)先的芯片公司渴望設(shè)計(jì)和提供針對(duì)特定應(yīng)用的定制ASIC設(shè)備，同時(shí)提供更好的性能。Sony、Toshiba和IBM最初設(shè)計(jì)的用于Sony Playstation 3的Cell Processor就是一個(gè)例子。

  但那些ASIC的歲月已經(jīng)過去了。為特定產(chǎn)品設(shè)計(jì)ASIC變得越來(lái)越難以合理規(guī)模。坦率地說(shuō)，人們開始討厭ASIC。那么，情況發(fā)生了什么變化，數(shù)據(jù)中心公司真的需要定制芯片嗎?

  Marvell新成立的計(jì)算與定制集團(tuán)高級(jí)副總裁Kevin O'Buckley承認(rèn)，對(duì)ASIC的反感確實(shí)出現(xiàn)了。但他堅(jiān)稱，只有當(dāng)系統(tǒng)公司試圖將真正先進(jìn)的工藝節(jié)點(diǎn)應(yīng)用到他們自己的ASIC時(shí)，才產(chǎn)生了這種看法。那對(duì)任何人來(lái)說(shuō)都變得過于昂貴。

  但如今，當(dāng)摩爾定律放緩時(shí)，尋求更先進(jìn)的工藝節(jié)點(diǎn)不再是潛在ASIC客戶的唯一選擇?？蛻艨梢赃x擇2.5D、3D芯片或芯片組，混合匹配不同的IP、硬件和封裝技術(shù)。

  有鑒于此，O'Buckley認(rèn)為，“從收入、SAM(serviceable available market)和TAM(total available market)來(lái)看，ASIC市場(chǎng)實(shí)際上從未如此龐大?！?

  當(dāng)然，O'Buckley承認(rèn)，從投資回報(bào)來(lái)看，可以承受投資的客戶和應(yīng)用的整合實(shí)際上正在縮小。盡管芯片制造商競(jìng)標(biāo)的領(lǐng)域數(shù)量減少，項(xiàng)目數(shù)量減少，但他強(qiáng)調(diào)，“這些單個(gè)領(lǐng)域的價(jià)值和影響正在爆炸式增長(zhǎng)。”

  對(duì)定制芯片的懷疑仍然存在

  Tirias Research的Leibson對(duì)主要芯片公司正在忙于定制他們的GPU和CPU以適應(yīng)特定超大規(guī)模數(shù)據(jù)中心客戶的需求持懷疑態(tài)度。

  Leibson表示：“他們可能會(huì)這樣做，但我認(rèn)為這些公司更有可能與超大規(guī)模數(shù)據(jù)中心討論需求，并嘗試提供滿足聚合需求的標(biāo)準(zhǔn)設(shè)備?！痹谒磥?lái)，定制芯片是為客戶量身定制的芯片，正如Intel與Google合作開發(fā)Mt. Evans ASIC IPU那樣。

  對(duì)于芯片公司來(lái)說(shuō)，這是否具有商業(yè)意義又是另一個(gè)問題。畢竟，芯片供應(yīng)商必須尋找規(guī)模大的機(jī)會(huì)。

  Yole Intelligence的技術(shù)與市場(chǎng)分析師John Lorenz表示贊同：“在某種程度上，AMD和Intel正在提議更多的硬件定制，例如AMD的MI300系列和Intel的Rialto Bridge系列，客戶可能會(huì)尋找不同的CPU、GPU和XPU組合，以根據(jù)他們的需求定制計(jì)算解決方案?！彼a(bǔ)充說(shuō)，“相比之下，Nvidia解決方案的更多靈活性來(lái)自CUDA軟件，硬件方面較少。盡管如此，我們應(yīng)該看到Grace和Hopper的一些組合作為某些硬件選項(xiàng)。”

  Yole的Lorenz和Tirias Research的Leibson都不確定AMD是否計(jì)劃將其半定制芯片業(yè)務(wù)(目前專用于游戲機(jī)芯片)擴(kuò)展到一些不同領(lǐng)域。

  然而，一年前，在AMD的財(cái)務(wù)日上，Lisa Su闡述了她的雄心?！霸谶^去的10年里，我們一直從事定制芯片業(yè)務(wù)。如果你看看我們?cè)谟螒驒C(jī)市場(chǎng)所做的事情，那就是定制芯片，將我們的芯片帶給我們客戶對(duì)市場(chǎng)、系統(tǒng)和軟件應(yīng)用的愿景。我認(rèn)為，定制芯片的趨勢(shì)只會(huì)繼續(xù)增長(zhǎng)?！?

  Lisa Su表示，AMD的一些超大規(guī)模數(shù)據(jù)中心客戶正在尋求AMD的幫助 為自己的芯片進(jìn)行差異化。然而，AMD的定制芯片項(xiàng)目的細(xì)節(jié)尚未公開。

  超大規(guī)模數(shù)據(jù)中心定制芯片的需求將繼續(xù)存在。對(duì)于超大規(guī)模數(shù)據(jù)中心來(lái)說(shuō)，定制ASIC是有意義的。然而，如果相關(guān)ASIC只成為一次性解決方案，那么像Marvell這樣嘗試定制策略的芯片公司能否在這樣的不確定性趨勢(shì)中尋找的規(guī)模機(jī)會(huì)就不得而知了。