隨著高數(shù)據(jù)量需求的應(yīng)用不斷增長(zhǎng),超大規(guī)模數(shù)據(jù)中心的工作負(fù)載亦十分繁重。數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)流量大幅增加,促使數(shù)據(jù)中心架構(gòu)師開(kāi)始尋找新方法以實(shí)現(xiàn)更高的數(shù)據(jù)速率和輸送量。
目前,最先進(jìn)的網(wǎng)絡(luò)適配器(NIC)的每個(gè)接口具備200G的運(yùn)行速度。如今,為了滿(mǎn)足數(shù)據(jù)中心日益增長(zhǎng)的需求,業(yè)界正朝向使用400G NIC 的方向發(fā)展,但前提是相關(guān)的支持技術(shù)需要同步取得一系列進(jìn)展,而這絕非易事。
在去年的開(kāi)源計(jì)算項(xiàng)目(OCP)全球峰會(huì)上,我們發(fā)表的演講深入探討了伴隨這項(xiàng)轉(zhuǎn)變而來(lái)的散熱挑戰(zhàn),以及我們合作的工作小組在解決這些挑戰(zhàn)上所采取的獨(dú)特方法。
400G運(yùn)作的散熱挑戰(zhàn)
下一代數(shù)據(jù)中心會(huì)過(guò)渡至400G網(wǎng)絡(luò)適配器,因而面臨各種散熱方面的挑戰(zhàn)。
我們面臨的第一項(xiàng)挑戰(zhàn),是更高的數(shù)據(jù)速率會(huì)消耗更多功率。通過(guò)廣泛的研究、實(shí)驗(yàn)和模擬,我們發(fā)現(xiàn)數(shù)據(jù)速率和熱量產(chǎn)生之間是線(xiàn)性關(guān)系,其中數(shù)據(jù)速率提高一倍將使系統(tǒng)發(fā)熱量增加兩倍以上。結(jié)論是什么?那就是網(wǎng)絡(luò)適配器從200G轉(zhuǎn)變成400G后,將使系統(tǒng)熱量大幅增加 。
第二項(xiàng)挑戰(zhàn)在于可支持400G NIC的基礎(chǔ)設(shè)施。400G NIC與使用被動(dòng)式直接連接電纜(DAC)的200G NIC不同,它有時(shí)候可能需要使用到高功率主動(dòng)式光纜 線(xiàn)(AOC)來(lái)支持?jǐn)?shù)據(jù)速率。這些高功率AOC的功耗可高達(dá)8W,會(huì)將自身的熱量導(dǎo)入系統(tǒng),在以高數(shù)據(jù)速率純粹分析數(shù)據(jù)后,所增加的溫度之上再增溫。
對(duì)基礎(chǔ)設(shè)施的質(zhì)疑
這些迫在眉睫的散熱挑戰(zhàn),使我們對(duì)目前的NIC環(huán)境基礎(chǔ)架構(gòu)中某些零組件的可行性產(chǎn)生質(zhì)疑。我們與NIVIDIA和Meta兩家公司合作,開(kāi)始更加深入地探究這項(xiàng)挑戰(zhàn)。
我們所探究的一個(gè)主要重點(diǎn)在于外型尺寸。具體而言,我們研究了OCP NIC 3.0業(yè)界標(biāo)準(zhǔn)的小尺寸SFF( small form factor)的可行性,看看它與建議高度較高的TSFF (tall SFF)相比如何。眾所周知,TSFF可以提供更多空間,因此能實(shí)現(xiàn)更優(yōu)異的輸入及輸出(I/O )散熱解決方案,但在理想情況下,系統(tǒng)架構(gòu)師可以在可能的情況下繼續(xù)采用SFF。真正的問(wèn)題在于,SFF尺寸是否能為400G NIC提供可行的解決方案?或者是我們需要轉(zhuǎn)而將TSFF尺寸視為業(yè)界標(biāo)準(zhǔn)?
這個(gè)問(wèn)題很難給予直接的答復(fù),因?yàn)橛袔讉€(gè)變數(shù)可能會(huì)對(duì)結(jié)論有所影響。出于這個(gè)原因,我們的研究考慮了許多可能顯著影響散熱性能的因素,包括:
· 外型尺寸:TSFF與SFF的比較
· NIC ASIC的功率限制(僅限用DAC電纜)
· 模組類(lèi)型:QSFP-DD Type 1與Type 2A的比較
· 監(jiān)測(cè)位置點(diǎn):機(jī)箱后部上方的平均溫度、散熱器底座溫度和前端溫度
· 測(cè)試設(shè)備類(lèi)型:有/無(wú)測(cè)試裝置
冷通道與熱通道的比較模擬試驗(yàn)的設(shè)置與假設(shè)
每一度攝氏溫度的變化,對(duì)結(jié)論都有影響,因?yàn)樗婕暗娇尚行?,因此有必要確保我們的模擬試驗(yàn)足以代表一個(gè)現(xiàn)實(shí)且合理的情況。
對(duì)此,我們的模擬試驗(yàn)使用了TSFF和SFF兩種外型尺寸的OCP NIC 3.0網(wǎng)路接口卡來(lái)建立模型。NVIDIA慷慨地為我們的研究提供了可進(jìn)行模擬試驗(yàn)的ASIC原型設(shè)計(jì)散熱模型ConnectX-6 DX。為了對(duì)ASIC原型設(shè)計(jì)進(jìn)行模擬試驗(yàn),我們假設(shè)功率上限為23W,并根據(jù)配備標(biāo)準(zhǔn)鋁制散熱器的裝置建立了模型。
對(duì)于QSFP-DD類(lèi)型模塊,我們使用了常態(tài)功耗為10.2W的多通道散熱模型。就像ASIC原型設(shè)計(jì)一樣,我們選擇為QSFP-DD模型配備了標(biāo)準(zhǔn)的鋁制散熱器,使覆蓋的受熱表面積最大化, 但不采用任何先進(jìn)的冷卻技術(shù)或材料,目的是要了解前面所強(qiáng)調(diào)的變數(shù)之間的相對(duì)影響。
對(duì)于模擬試驗(yàn)的環(huán)境,我們同時(shí)測(cè)試了熱通道和冷通道兩種環(huán)境。熱通道的環(huán)境溫度為55°C,氣流速度范圍為200至1000 LFM( 每分鐘線(xiàn)性英尺,氣流方向從后至前。所有這些都符合OCP 3.0的技術(shù)規(guī)范。另外一個(gè)不同的環(huán)境是冷通道,模型環(huán)境溫度為35°C,氣流速度范圍為200到 600 LFM,氣流方向從前至后。
如圖1所示,我們的模擬使用了符合OCP NIC 3.0規(guī)范的NVIDIA測(cè)試設(shè)備,包括安裝在測(cè)試室內(nèi)的兩張相同的網(wǎng)絡(luò)適配器。
圖1 我們?cè)谀M中所使用的測(cè)試裝置和模型設(shè)置
研究結(jié)果:外形尺寸的影響
這個(gè)模擬試驗(yàn)結(jié)果讓我們了解到,數(shù)個(gè)邊界條件和變數(shù)是如何對(duì)散熱性能產(chǎn)生了非零 影響(也就是說(shuō),不只是攝氏幾度)。
在我們研究中,第一個(gè)值得注意的結(jié)果是,外型尺寸對(duì)QSFP-DD模型的散熱性能造成的重要影響。如圖2所示,我們發(fā)現(xiàn)TSFF的散熱性能明顯優(yōu)于SFF, 尤其是在氣流速度較低的時(shí)候。在這種情況下,散熱性能提高了高達(dá)6°C。盡管這個(gè)結(jié)果并不令人驚訝,但6°C的改進(jìn)幅度的確是很顯著。
圖2 在我們的模擬中發(fā)現(xiàn),TSFF的散熱性能表現(xiàn)比SFF好。
同樣地,我們的研究結(jié)果顯示,在熱通道應(yīng)用中使用TSFF尺寸時(shí),ASIC原型設(shè)計(jì)的 散熱性能提高了10°C之多。另外,關(guān)于NIC ASIC原型設(shè)計(jì)的功率限制(采用被動(dòng)式 DAC的應(yīng)用),對(duì)于QSFP-DD Type 1模塊與QSFP-DD Type 2A模塊,我們的研究 結(jié)果顯示,與在熱通道條件下的SFF相比,采用TSFF的模塊功率增加了約 2.5W。
研究結(jié)果:還須考慮其他變數(shù)
除了造型,我們的研究還深入了解模塊類(lèi)型和監(jiān)測(cè)位置點(diǎn)對(duì)散熱結(jié)果的影響。在經(jīng)過(guò)與業(yè)界標(biāo)準(zhǔn)的卓越性能進(jìn)行比較之后,我們發(fā)現(xiàn)Type 2A的熱性能提高了大約4°C。這項(xiàng)改進(jìn)主要是因?yàn)門(mén)ype 2A的QSFP-DD在模型本身前端 有一個(gè)外部整合的散熱器,同樣地,這并不令人驚訝,但仍然十分重要。
最后,我們發(fā)現(xiàn)不同的監(jiān)測(cè)位置點(diǎn)(也就是模組上接受探測(cè)的點(diǎn))之間存在 溫度偏差。例如,我們的模擬試驗(yàn)顯示,監(jiān)測(cè)散熱器底座的溫度比監(jiān)測(cè)前端的結(jié)果低5 °C。如圖3所示,在量化NIC模組的熱性能時(shí),監(jiān)測(cè)位置點(diǎn)顯然是一個(gè)不可忽視的考慮因素。
圖3 所使用的監(jiān)測(cè)位置點(diǎn)對(duì)散熱結(jié)果有重大影響
研究結(jié)論
我們的研究深入了解了幾個(gè)特定變數(shù)和邊界條件對(duì)散熱性能的影響,但研究結(jié)果并不是主要的結(jié)論。比起關(guān)于哪些設(shè)置能「合理呈現(xiàn)真實(shí)環(huán)境」的發(fā)現(xiàn)來(lái)得更加重要的是,這項(xiàng)研究告訴我們,業(yè)界需要就這些變數(shù)和邊界條件達(dá)成共識(shí)。
以模塊類(lèi)型和監(jiān)測(cè)位置點(diǎn)等變數(shù)為例子,我們的結(jié)果顯示,模塊類(lèi)型對(duì)散熱性能會(huì)造成重大的影響,這個(gè)發(fā)現(xiàn)引起了一個(gè)疑問(wèn):除了將SFF尺寸排除作為用于 400G NIC可行的外型尺寸之外,是否可以保留SFF尺寸但改用Type 2A Q SFP-DD模塊?到目前為止,業(yè)界尚未達(dá)成共識(shí),想要對(duì)SFF的可行性得出真正的結(jié)論,最要緊的是我們必須先把共識(shí)定義下來(lái),并且得到業(yè)界的認(rèn)同。
同樣地,業(yè)界目前也沒(méi)有針對(duì)監(jiān)測(cè)位置點(diǎn)達(dá)成一致的標(biāo)準(zhǔn)。我們的研究顯示,監(jiān)測(cè)散熱性能的位置點(diǎn)會(huì)對(duì)模擬結(jié)果產(chǎn)生重大影響,差距甚至可高達(dá)5°C。如果我們不能就監(jiān)測(cè)位置點(diǎn)達(dá)成一致的共識(shí),那么所有的研究之間就缺乏統(tǒng)一性 ,這將使我們無(wú)法真正地去比較結(jié)果。這里要再次強(qiáng)調(diào),OCP和整個(gè)業(yè)界要邁向400G NIC 發(fā)展,首先必須達(dá)成共識(shí)。
呼吁采取行動(dòng)
要如何才能達(dá)成關(guān)鍵的業(yè)界共識(shí)?我們認(rèn)為,需要模塊、I/O、NIC、系統(tǒng)和數(shù)據(jù)中心架構(gòu)師等多個(gè)專(zhuān)業(yè)領(lǐng)域人士的參與。這樣的合作將協(xié)助OCP更適當(dāng)?shù)貐f(xié)調(diào)可實(shí)現(xiàn)的目標(biāo),并確定最合適的環(huán)境來(lái)進(jìn)行這些可行性研究。而且,由于到目前為止的研究所涵蓋的范圍并不全面,我們還必須另外考慮其他的變數(shù),包括采用QSFP-DD主動(dòng)電纜( AEC)的可行性,預(yù)計(jì)其排出的熱量將低于A(yíng)OC。如果業(yè)界發(fā)現(xiàn)SFF無(wú)法適用AOC,下一步可能是考慮使用主動(dòng)式線(xiàn)纜 (AEC)。再加上,如果我們希望發(fā)展采用TSFF尺寸的網(wǎng)絡(luò)適配卡,就需要將研究 內(nèi)容擴(kuò)大,以涵蓋采用整合散熱器的八個(gè)電氣通道設(shè)計(jì)模塊(OSFP-RHS) 端口的可行性。
多方合作對(duì)于達(dá)成散熱設(shè)計(jì)共識(shí)極為重要,而OCP組織將發(fā)揮關(guān)鍵作用。Molex莫仕很榮幸能與Meta和NVIDIA合作對(duì)相關(guān)的下一代解決方案進(jìn)行研究。我們合作設(shè)計(jì)測(cè)試方案,并仔細(xì)進(jìn)行模擬以量化每一個(gè)已定義變數(shù)的影響, 然后共同分析結(jié)果,并在數(shù)據(jù)中心要求提高溫度時(shí),尋求達(dá)到新性能水準(zhǔn)的方法。
新聞來(lái)源:Molex莫仕連接器
相關(guān)文章