康寧光通信：大型IT/服務提供商數(shù)據(jù)中心的結(jié)構(gòu)化布線設計

“結(jié)構(gòu)化布線”被定義為建筑物或園區(qū)基礎設施通信布線，包括許多標準化的被稱為子系統(tǒng)的更小元素（因此是結(jié)構(gòu)化的）。為了使其有效，結(jié)構(gòu)化布線是以這樣的方式組織的，即單獨的光纖易于定位、移動、增加和變更,更易于管理，并且布線周圍有充足的空氣流動。

也許沒有比數(shù)據(jù)中心更需要有效結(jié)構(gòu)化布線的環(huán)境。因不容忍停機或網(wǎng)絡故障，數(shù)據(jù)中心的所有者和運營者是致力于使用結(jié)構(gòu)化布線的主要目標客戶資源之一。原因很清楚：即使因更傾向云服務外包而越來越少的傳統(tǒng)數(shù)據(jù)中心，例如一些IT服務提供商仍然有物理結(jié)構(gòu)支持云，而這些結(jié)構(gòu)需要結(jié)構(gòu)化布線。

幸運的是，什么是有效的結(jié)構(gòu)化布線不是開放的解釋，相反的，在ANSI / TIA-942-B標準中標題為“數(shù)據(jù)中心電信基礎設施標準”有清楚的解釋，在這篇白皮書中，我們將探討在數(shù)據(jù)中心中充分利用結(jié)構(gòu)化布線的標準和關鍵的考慮因素—無論其大小如何。

考慮今天運營的不同類型的數(shù)據(jù)中心：

自用型數(shù)據(jù)中心：也稱為企業(yè)數(shù)據(jù)中心，這些設施是由大公司私自擁有的。該公司設計、建設和運營自己的設備，還可以為云服務或音樂流媒體提供服務獲取利潤。

整租型數(shù)據(jù)中心：由IT服務提供商（也稱為云服務提供商）擁有，這些數(shù)據(jù)中心從事銷售空間的業(yè)務。企業(yè)不需要建立自己的設施，而是在整租型設施中購買空間和部署數(shù)據(jù)中心基礎設施。

主機托管數(shù)據(jù)中心：這些設施像整租型數(shù)據(jù)中心一樣，但是企業(yè)只租一個機架、機柜或籠區(qū)。IT服務提供商是運行基礎設施的提供商。

專用托管數(shù)據(jù)中心：IT服務提供商在這些數(shù)據(jù)中心運營和租用服務器容量，但每個企業(yè)客戶都控制自己的專用服務器。

共享主機數(shù)據(jù)中心：在這些設施中，企業(yè)客戶在IT服務提供商的服務器上購買空間。這些服務器在企業(yè)客戶之間共享

如今，在這些行業(yè)中，這些不同類型的數(shù)據(jù)中心如何投資于其基礎設施正在發(fā)生重大轉(zhuǎn)變。LightCounting和福布斯的報告稱，云/ IT服務提供商的投資在上升，企業(yè)IT的投資在下降，如圖1所示。

這一轉(zhuǎn)變的進一步證據(jù)體現(xiàn)在戴爾Oro服務器投資報告中，其中最大的一部分是用于安裝云類型的設備。見圖2.

隨著企業(yè)越來越多地決定將部分或全部基礎設施外包給IT服務提供商，結(jié)果不足為奇：取而代之的是更少的自建大型設施的數(shù)據(jù)中心。見圖3。

這些超大規(guī)模、多租戶數(shù)據(jù)中心結(jié)構(gòu)化布線的要求可能不同于過去企業(yè)擁有設施的較小的單租戶的安裝，但TIA-942提供指導。

TIA-942總是推薦有交叉連接和互連區(qū)域的星型結(jié)構(gòu)。這個標準定義了五種不同的交叉連接和互連區(qū)域：主配線區(qū)（MDA）、中間配線區(qū)（IDA）、水平配線區(qū)（HDA）、區(qū)域配線區(qū)（ZDA）和設備配線區(qū)（EDA）。 

這些區(qū)域代表從機架和機柜到路由器、交換機和其他組件的主要區(qū)域的完整網(wǎng)絡。TIA-942還提供了冗余定義的指導下，他們的排名分為四個等級，稱為評級。等級1是最小冗余的最低層。等級4提供在數(shù)據(jù)中心結(jié)構(gòu)化布線最高冗余，通常部署在大型IT服務提供商的數(shù)據(jù)中心。本標準所涵蓋的其他基本內(nèi)容包括區(qū)域架構(gòu)和能效指南。有關標準主題的簡介，請參見表1。

當涉及結(jié)構(gòu)化布線時，標準涉及主干和水平布線，如圖4所示。每個分布區(qū)域或正方形，都是有一個接入面板。

各個區(qū)域需要多少的光纖取決于網(wǎng)絡的速度、網(wǎng)絡的架構(gòu)、超額認購和交換機的配置。讓我們看看這些考慮下的幾個例子來說明它們是如何影響數(shù)據(jù)中心的光纖數(shù)量。

表2顯示了當數(shù)據(jù)中心網(wǎng)絡速率從10G遷移到100G時如何影響光纖數(shù)量計算的。左邊是物理架構(gòu)，有四個機架或機柜，每個機柜或機架上有一個架頂?shù)慕粨Q機和一個列頭的交換機。接下來是TIA-942推薦的星型結(jié)構(gòu)布線的邏輯結(jié)構(gòu)，最后最右邊的是網(wǎng)絡速率。10G需要2芯光纖的支持；40G可以通過2芯或8芯的光纖運行；而100G需要2芯、8芯甚至20芯的光纖，這取決于收發(fā)器的情況。所以你看，取決于網(wǎng)絡的速率，一個端口需要少則2芯光纖或者多達20芯光纖。提要：網(wǎng)絡速率會影響光纖數(shù)量計算。檢查路由（以太網(wǎng)IEEE和存儲方面的光纖通道ANSI）以獲得每端口光纖數(shù)量的詳細信息。

現(xiàn)在讓我們看看網(wǎng)絡的邏輯結(jié)構(gòu)是如何影響數(shù)據(jù)中心的光纖芯數(shù)的。表3中的示例，每個結(jié)構(gòu)的速率都是用8芯傳40G連接每個交換機。點對點結(jié)構(gòu)是最簡單的，邏輯上是一個星型結(jié)構(gòu)，物理上也是用8芯光纖連接每個機柜構(gòu)成一個星型結(jié)構(gòu)。一個完整的網(wǎng)狀結(jié)構(gòu)將每個交換機連接到其他交換機，同樣的5個交換機相互需要用32芯光纖連接。這個邏輯網(wǎng)格在交叉連接處物理地被“線纜”連接，需要32芯光纖來完成。本例中的最后一個架構(gòu)是脊葉結(jié)構(gòu)，其中每個脊交換機（交換機1和2）必須連接到每個葉交換機（交換機3-5）。在具有相同五個交換機的相同物理配置中，脊葉邏輯結(jié)構(gòu)需要16芯光纖。因此，根據(jù)數(shù)據(jù)中心的體系結(jié)構(gòu)，它可以為每個機柜連接使用8芯、16芯或32芯光纖。重點：架構(gòu)冗余增加了光纖數(shù)量。

接下來，讓我們考慮超額認購對光纖芯數(shù)的影響。簡單地說，超額認購是交換機的輸入與輸出通道的比值。在圖4的示例中，星型架構(gòu)在物理上和邏輯上使用恒定的10G網(wǎng)絡速度。顯示的變量是超額認購率。該示例顯示了一個4:1的超額認購率，24個10G通道輸入，其中6個通道輸出；中間的示例顯示，24個10G通道輸入12個通道輸出，為2:1的比率；底部示例是1:1的比率，每個交換機的輸入和輸出都是 24個10G通道。根據(jù)超額認購率，所有其他變量保持不變，所需的每個交換機的光纖芯數(shù)可以是12, 24或48芯。重點：超額認購率越低，光纖數(shù)量越高。最終，超額認購率是網(wǎng)絡輸入/輸出交換需求的函數(shù)，也就是說，光纖芯數(shù)也是由這一需求驅(qū)動的。

最后，看看網(wǎng)絡交換機配置如何驅(qū)動光纖芯數(shù)。使用固定的架構(gòu)，并在機架上的所有服務器上運行10G速率，我們重新配置交換機右側(cè)發(fā)生的事情。在表5中，所有下行的通道是10G；兩個40G端口中是四通道小形狀可插拔的40G光收發(fā)器（QSFP），即8芯 MTP連接；他們分成四個10G端口實現(xiàn)多達16個端口，兩個40G端口用于上行，或2 x 8 = 16芯。在中間，我們看到同一個交換機，所有四個40G端口回到核心交換機-相當于8 x 4 = 32芯光纖。最后一個場景顯示，10G的均等分布于上行和下行，40G端口在16×10G端口拆分為10G，增加的10G端口使其總計達到64芯光纖。重點：只需決定如何配置交換機，就影響在這些情況下的光纖芯數(shù)從16, 32到64芯。 

請注意，此交換機配置僅針對這些服務器的以太網(wǎng)側(cè)。如果服務器有一個光纖通道網(wǎng)絡和/或用于無線寬帶技術(shù)（InfiniBand）高速計算的端口，光纖芯數(shù)將繼續(xù)攀升。

此外，我們已經(jīng)研究了四個變量如何獨立地增加數(shù)據(jù)中心所需的光纖芯數(shù)，因此想象混合變量可以在驅(qū)動光纖芯數(shù)方面的影響甚至更高。改變網(wǎng)絡的運行速度會影響光纖芯數(shù)，當然，但是改變速度和架構(gòu)呢？或者改變速度和超額認購率？已經(jīng)相對較高光纖芯數(shù)甚至會更高。

剩下的問題是如何連接這種類型的數(shù)據(jù)中心。典型地，今天越來越大的數(shù)據(jù)中心擴展到不同的位置，像如圖5所示企業(yè)園區(qū)。

室內(nèi)光纜通常在每個建筑物內(nèi)使用，通過室內(nèi)/外通用光纜和過渡接頭盒進行連接。見表6。

圖 5: 大型IT服務提供商數(shù)據(jù)中心 表 6: 數(shù)據(jù)中心布線區(qū)域 

當涉及部署方法時，有三個考慮要素：

預端接光纜：通常用于室內(nèi)高密度布線，這些主干在工廠用8或12芯光纖MTP連接器端接。他們是理想的用于MDA到HDA或EDA的安裝，涉及橋架走線方式和地板走線，其中整個光纖芯數(shù)被部署運行在每個鏈接的末端的單一位置。見圖6。

尾纜：這些半預連接的組件在工廠一端用MTP連接器端接，以便于高光纖芯數(shù)的部署，同時在另一端不端接，以匹配小導管或允許現(xiàn)場長度變化。在建筑安裝中經(jīng)常使用尾纜，對于管道太小而不能拉拽和在訂購之前不能確定線纜路徑的情況是理想的。請參閱圖7。

散狀光纜：此部署選項需要兩端的終端連接，通常使用MTP光學連接器。散狀電纜是最好的部署，需要中心拉拽安裝和極高的光纖芯數(shù)（如1728芯光纖或更高）。見圖 8。

表7 提供三種部署方法及其對應的光纖芯數(shù)的概述。將所有這些信息付諸實踐，下面的例子說明了四路脊交換機是如何布線的以及由此產(chǎn)生的光纖芯數(shù)。表8來自思科的大規(guī)?？蓴U展的數(shù)據(jù)中心白皮書，展示了Nexus 7000交換機。基于制造商的建議，有48個葉交換機，32個端口下行到服務器和32個端口返回到矩陣。在這個例子中，我們使用兩個Cisco 3064交換機在每一個24個機柜的頂部創(chuàng)建一個“A” 矩陣和一個“B” 矩陣。圖9顯示了這些建議如何轉(zhuǎn)化為邏輯架構(gòu)。

表7 提供三種部署方法及其對應的光纖芯數(shù)的概述。

將所有這些信息付諸實踐，下面的例子說明了四路脊交換機是如何布線的以及由此產(chǎn)生的光纖芯數(shù)。表8來自思科的大規(guī)?？蓴U展的數(shù)據(jù)中心白皮書，展示了Nexus 7000交換機。基于制造商的建議，有48個葉交換機，32個端口下行到服務器和32個端口返回到矩陣。在這個例子中，我們使用兩個Cisco 3064交換機在每一個24個機柜的頂部創(chuàng)建一個“A” 矩陣和一個“B” 矩陣。圖9顯示了這些建議如何轉(zhuǎn)化為邏輯架構(gòu)。

Cisco 四路脊交換機配置 

如圖10和表9所示，思科的脊葉結(jié)構(gòu)指導提供了一個四路脊交換機與48個葉交換機。從機架開始逆向作業(yè)，每個葉交換機向外有32個端口，轉(zhuǎn)換為每個交換機所需64芯光纖。在每個機架上有兩個交換機，每個機柜需要128芯光纖來支持這種結(jié)構(gòu)。這個設計要求10G和1:1的超額認購，如前所述，我們將使用可被12整除的光纖芯數(shù)來繼續(xù)做這個例子。

當談到布線這個場景時，我們有不同的選項。它們不一定都是不錯的選項，就像圖11所描繪的那樣，使用跳線超過3000條。最好是將跳線合并成48、72芯光纜，如圖12所示。甚至更好的是選項3：使用高芯數(shù)主干，每個576芯光纖，使我們從3000個跳線降到六個576芯主干光纜。請參閱圖13。

為了理解為什么有些選項比其他選項更好，讓我們探討它們在數(shù)據(jù)中心中的初始安裝和不可避免的移動、添加和變更時相對容易的使用（這意味著花費精力）。表10說明了一切。

高芯數(shù)主干案例的探討是它們對數(shù)據(jù)中心不動產(chǎn)的有價值影響-布線的途徑。TIA569提供計算以了解布線中橋架/管道/走線槽占的百分比以及推薦的最大填充率不超過25%的建議。它可能不是直觀的，事實上，50%填充率實際上消耗了整個路徑，因為線纜之間的空間是方程的一部分。  考慮到這一點，參照圖14，使用3000個以上的跳線的第一個選項根本不是一種選擇。然而，第二個布線選項（48個 72芯光纖主干）在4×6英寸橋架中工作，但在4×4英寸橋架中就不太好。兩個橋架尺寸都可以很容易地容納六個576芯光纖主干選項。

結(jié)論

高芯數(shù)的主干光纜最適合今天的數(shù)據(jù)中心。只信靠12和24芯光纖主干連接每個機柜的日子不會再多了；現(xiàn)在，我們在關注那些規(guī)模和光纖芯數(shù)日益增長來支持更高速度的數(shù)據(jù)中心，更大的超額認購率、冗余結(jié)構(gòu)，創(chuàng)新的交換機配置。很明顯，大型設施是新的標準；企業(yè)IT客戶將繼續(xù)從小型租戶單一設施運營商轉(zhuǎn)向外包全部或部分數(shù)據(jù)中心基礎設施。幸運的是，有成熟的結(jié)構(gòu)化布線方法和多年經(jīng)驗解決數(shù)據(jù)中心挑戰(zhàn)的全球制造商以及TIA-942持續(xù)提供指導的保證。