浸沒式液冷數(shù)據(jù)中心布線系統(tǒng)應(yīng)用技術(shù)分析（下）

  引言

  前一期我們的文章《浸沒式液冷數(shù)據(jù)中心技術(shù)淺析》中我們已經(jīng)總體分析了浸沒式液冷的技術(shù)特點(diǎn)與應(yīng)用優(yōu)勢與發(fā)展的前景。采用浸沒式液冷這種技術(shù)的最終目的是想要提高數(shù)據(jù)中心單機(jī)柜的功率從而提升單位面積的計算密度，與此同時實(shí)現(xiàn)單位能源與資源消耗的最大能效比，即實(shí)現(xiàn)綠色節(jié)能的目標(biāo)。所以提升IT設(shè)備運(yùn)行效率是浸沒式液冷數(shù)據(jù)中心追求的目標(biāo)。而作為IT設(shè)備數(shù)據(jù)通信的紐帶即數(shù)據(jù)中心網(wǎng)絡(luò)布線系統(tǒng)，我們需要考慮的是當(dāng)布線系統(tǒng)浸沒于冷卻液的情況下，需要分析傳統(tǒng)的布線系統(tǒng)是否還適合于這種場景，冷卻液的化學(xué)特性決定了布線系統(tǒng)的材料選擇上有不同。如果傳輸系統(tǒng)采用光學(xué)，光學(xué)通信接口浸沒于冷卻液的情況下會有不同的要求等等需要重新考慮。隨著網(wǎng)絡(luò)傳輸速率從主干100G升級到400G以及未來的800G，對于布線系統(tǒng)性能的敏感性更高。基于此，浸沒式液冷數(shù)據(jù)中心布線系統(tǒng)的要求值得我們作專題探討。

  浸沒式液冷對布線系統(tǒng)的要求

  一，冷卻液材料兼容性的要求：

  由于冷卻液是一種復(fù)合性的化學(xué)材料，當(dāng)整體布線系統(tǒng)長期浸入冷卻液時，需要驗(yàn)證布線系統(tǒng)的每種材料與冷卻液的相容性問題，會不會由于長期浸泡產(chǎn)生化學(xué)反應(yīng)而導(dǎo)致出現(xiàn)問題。我們以業(yè)界比較知名的3M公司的兩種最常用的冷卻液用于單相液冷3M? Fluorinert? FC-3283以及兩相液冷3M? Fluorinert? FC-72為例，可以參考相關(guān)的兼容性的要求如下：

注：材料兼容性分類表來源于3M

  二，高帶寬對布線系統(tǒng)的要求：

  傳統(tǒng)數(shù)據(jù)中心由于采用風(fēng)冷為主，基于風(fēng)冷的制冷效率，需要防止服務(wù)器過熱導(dǎo)致無法穩(wěn)定運(yùn)行，這是服務(wù)器運(yùn)算效率無法提升的瓶頸，傳統(tǒng)數(shù)據(jù)中心普遍單機(jī)柜的配電量在10KW以下，而浸沒式液冷數(shù)據(jù)中心由于冷卻效率高于傳統(tǒng)的數(shù)據(jù)中心25倍，從而單機(jī)柜的配電量可以達(dá)到50KW以上甚至未來達(dá)到100KW。這樣的功率密度下，浸沒式液冷數(shù)據(jù)中心的運(yùn)算與處理效率是傳統(tǒng)數(shù)據(jù)中心幾倍甚至幾十倍，所以浸沒式液冷數(shù)據(jù)中心天然地適合于高性能運(yùn)算并需要高帶寬的網(wǎng)絡(luò)支持，服務(wù)器端口可以有支持50G/100G及未來200G/400G,而主干應(yīng)用可以支持100G/400G以及未來800G以上的帶寬的應(yīng)用，甚至不排除未來采用CPO集成式封裝的光器件支持1.6T及以上?；谝陨系膸挼囊?，高帶寬應(yīng)用的主流傳輸技術(shù)主要依靠光纖技術(shù)。采用浸沒式液冷的數(shù)據(jù)中心必然與高帶寬的網(wǎng)絡(luò)相配套，所以對布線系統(tǒng)的要求主體需要重點(diǎn)關(guān)注于高帶寬的光纖布線系統(tǒng)。

注：圖片來源于3M

  三，可維護(hù)性與管理的要求：

  浸沒式液冷數(shù)據(jù)中心應(yīng)用條件高密度是一個重要特征，高密度的條件下數(shù)據(jù)中心網(wǎng)絡(luò)路由錯綜復(fù)雜。數(shù)據(jù)中心的布線系統(tǒng)不僅僅是要滿足帶寬的要求，同時布線系統(tǒng)也是對整體數(shù)據(jù)中心網(wǎng)絡(luò)路由起到管理的作用。數(shù)據(jù)中心布線系統(tǒng)的管理主要涉及到IT設(shè)備間的系統(tǒng)路由的標(biāo)識、設(shè)備新增移動時的系統(tǒng)管理，設(shè)備維護(hù)及測試檢修時的系統(tǒng)管理等多個方面。浸沒式液冷數(shù)據(jù)中心的機(jī)柜與傳統(tǒng)數(shù)據(jù)中心機(jī)柜不同，浸沒式液冷機(jī)柜為了防止冷卻液的揮發(fā)，通常是采用封閉式的箱體。在這樣的條件下需要用更創(chuàng)新的布線系統(tǒng)實(shí)現(xiàn)系統(tǒng)的可維護(hù)性與管理的要求。

注：圖片來源于3M

  浸沒式液冷對布線系統(tǒng)的挑戰(zhàn)：

  一，布線材料與冷卻液的化學(xué)不兼容的挑戰(zhàn)

  不兼容性會導(dǎo)致產(chǎn)生化學(xué)反應(yīng)，使得布線產(chǎn)品的從材料的角度產(chǎn)生變脆、熔脹等問題，或布線產(chǎn)品的材料與冷卻液惡化，或產(chǎn)生燃燒，高壓分解等不可預(yù)測的問題，這將是有別是傳統(tǒng)布線系統(tǒng)所沒有的挑戰(zhàn)。

  二，光學(xué)性能的挑戰(zhàn)

  光纖布線系統(tǒng)浸沒于冷卻液中，光纖端面可能流入冷卻液，而冷卻液體與石英玻璃材料的光學(xué)折射率不同，導(dǎo)致衰減過大或根本無法正常通信，而之前分析中浸沒式液冷的數(shù)據(jù)中心通常應(yīng)用于高性能計算等帶寬要求高的場景，這種場景對于光學(xué)性能要求更高，這將是面臨的另一個挑戰(zhàn)。

  三，系統(tǒng)管理上的挑戰(zhàn)

  所有布線系統(tǒng)安裝于封閉式液冷柜內(nèi)，布線系統(tǒng)又浸沒于冷卻液內(nèi)，如何才能便利地高效地對系統(tǒng)路由進(jìn)行維護(hù)與管理將變成一個大問題，如果處理不當(dāng)，將可能導(dǎo)致系統(tǒng)宕機(jī)并產(chǎn)生重大經(jīng)濟(jì)損失。

  浸沒式液冷布線系統(tǒng)解決方案

  數(shù)據(jù)中心布線系統(tǒng)與網(wǎng)絡(luò)結(jié)構(gòu)直接相關(guān)，數(shù)據(jù)中心的布線系統(tǒng)的管理核心在于核心網(wǎng)絡(luò)Core Network位置的MDA主配線區(qū)域的管理，同時對于數(shù)據(jù)中心Spine主干網(wǎng)絡(luò)的匯聚層IDA中間配線區(qū)或接邊緣網(wǎng)絡(luò)Leaf交換機(jī)位置的HDA水平配線區(qū)，當(dāng)此處采用交叉布線管理時，此處可以仍然采用非浸入式的管理，保持管理的便利與效率。而液冷柜內(nèi)的網(wǎng)絡(luò)主要是處于TOR架構(gòu)的EDA區(qū)域，此處需要采用特殊的布線系統(tǒng)進(jìn)行連接與管理，總體的架構(gòu)的圖示如下：

系統(tǒng)架構(gòu)圖

系統(tǒng)平面圖展示

  在高性能計算的場景下，采用光纖系統(tǒng)顯然是保證帶寬要求的最佳系統(tǒng)，當(dāng)然在傳輸速率不高以及傳輸距離5米以下的情況下，DAC直連銅纜也可以實(shí)現(xiàn)部分目標(biāo)，但柜內(nèi)的數(shù)據(jù)中心應(yīng)用不僅僅是TOR的短距離連接，還有部分布線是從TOR交換機(jī)上行的線纜，這部分線纜距離比較長，DAC無法滿足要求。而如果采用傳統(tǒng)的光模塊加光纖跳線產(chǎn)品的配合的情況下，如果要達(dá)到理想的高帶寬以及高的交換機(jī)端口密度，難于保證光模塊端部的光纖連接在冷卻液進(jìn)入后的正常光通信?；谝陨戏治觯乱淮?A href="http://3xchallenge.com/site/CN/Search.aspx?page=1&keywords=%e6%b5%b8%e6%b2%a1%e5%bc%8f&column_id=ALL&station=%E5%85%A8%E9%83%A8" target="_blank">浸沒式液冷的AOC產(chǎn)品可以實(shí)現(xiàn)帶寬與傳輸距離的要求，在AOC上采用創(chuàng)新的專用防水連接即保證的維護(hù)管理的便利性，同時在光收發(fā)器內(nèi)部采用專用的防水設(shè)計可以保證AOC在整體光學(xué)通道上與冷卻液的隔離，從而不會影響高帶寬狀態(tài)下的通信。

液冷柜專用AOC配線系統(tǒng)

液冷柜專用AOC上的Mini-RMC防水連接

  上圖為創(chuàng)新的防水AOC的解決方案，每個液冷柜可以安裝上AOC的配線系統(tǒng)，每根液冷柜專用AOC上安裝有Mini-RMC防水連接器，此連接器可以達(dá)到IP67級的防水，AOC可以支持單?；蚨嗄６嘈?-16芯光纖的應(yīng)用，達(dá)到100G/200G/400G的應(yīng)用，未來可以擴(kuò)展到800G。Mini-RMC配合專用配線槽可以靈活安裝于液冷柜內(nèi)部或機(jī)體側(cè)面，應(yīng)用時不用插拔AOC兩端浸在冷卻液側(cè)的收發(fā)器，有需要時可以快速通過打開每根AOC中間的Mini-RMC連接器進(jìn)行管理、維護(hù)與檢測。

  關(guān)于我們文章前面提及的材料與冷卻液的兼容性問題，需要做浸沒液冷的材料兼容性驗(yàn)證，以3M的冷卻液為例，高沸點(diǎn)單相液體(FC-3283)采用80度下浸泡48小時后的兼容性模擬真實(shí)條件下的測試，低沸點(diǎn)兩相液體(FC-72)采用索式提取器萃取48小時后的兼容性模擬極端條件下的測試，所有經(jīng)過實(shí)驗(yàn)室測試驗(yàn)證后的布線系統(tǒng)，才能應(yīng)用到浸沒式的液冷數(shù)據(jù)中心內(nèi)。

  趨勢與展望

  浸沒式液冷數(shù)據(jù)中心是數(shù)據(jù)中心基礎(chǔ)設(shè)施的重大創(chuàng)新，解決了數(shù)據(jù)中心長期以來單機(jī)柜功率無法幾何級提升的難題。當(dāng)前來看浸沒式液冷的總體成本比傳統(tǒng)數(shù)據(jù)中心要高，但在部分高性能計算以及超低PUE目標(biāo)的催生下，這將成為數(shù)據(jù)中心技術(shù)發(fā)展的路線之一，而且市場年均增長率超過30%，是快速發(fā)展的潛力市場。與之相配套的浸沒式液冷數(shù)據(jù)中心的布線系統(tǒng)需要根據(jù)環(huán)境要求進(jìn)行配套創(chuàng)新，長期來看，基于AOC技術(shù)的布線在解決上述三大挑戰(zhàn)后，將成為浸沒式液冷應(yīng)用的優(yōu)先選擇的對象，德國羅森伯格以Mini-RMC的連接技術(shù)為基礎(chǔ)進(jìn)行系統(tǒng)化創(chuàng)新并結(jié)合防冷卻液的AOC定制化開發(fā)將為未來浸沒式液冷數(shù)據(jù)中心布線系統(tǒng)的應(yīng)用鋪平道路。