數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)架構(gòu)最佳實(shí)踐及未來(lái)發(fā)展趨勢(shì)

  Iccsz訊 數(shù)據(jù)中心網(wǎng)絡(luò)起著承上啟下的作用，將計(jì)算和存儲(chǔ)資源連接在一起，并以服務(wù)的形式對(duì)內(nèi)部及外部的用戶提供數(shù)據(jù)訪問(wèn)能力。雖說(shuō)網(wǎng)絡(luò)建設(shè)和運(yùn)維投入遠(yuǎn)比機(jī)房基礎(chǔ)建設(shè)、服務(wù)器設(shè)備、存儲(chǔ)設(shè)備、應(yīng)用開(kāi)發(fā)及運(yùn)維小，但大家最怕它出現(xiàn)性能問(wèn)題或故障長(zhǎng)時(shí)間不能恢復(fù)，因?yàn)榫W(wǎng)絡(luò)一旦不可用，意味著一切服務(wù)都將停止。因此，設(shè)計(jì)運(yùn)維一張高性能、高可靠的網(wǎng)絡(luò)是網(wǎng)絡(luò)架構(gòu)及運(yùn)維團(tuán)隊(duì)的首要目標(biāo)。

  結(jié)合我在銳捷網(wǎng)絡(luò)服務(wù)互聯(lián)網(wǎng)企業(yè)的實(shí)踐經(jīng)驗(yàn)，分享幾個(gè)典型的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)，供大家參考。

  數(shù)據(jù)中心10G/40G網(wǎng)絡(luò)架構(gòu)

  主要設(shè)計(jì)理念：

  a)核心設(shè)備全線速高性能轉(zhuǎn)發(fā)，核心之間不互聯(lián)，采用Fabric架構(gòu)，隔離核心故障，最大程度降低核心故障影響;

  b)三層路由組網(wǎng)，通過(guò)ECMP提高冗余度，降低故障風(fēng)險(xiǎn);

  c)通過(guò)TOR上的服務(wù)器接入數(shù)量和上聯(lián)40G鏈路數(shù)量控制單TOR收斂比，通過(guò)提高核心設(shè)備接口密度擴(kuò)展單集群服務(wù)器規(guī)模。

  注：千兆網(wǎng)絡(luò)已跟不上業(yè)務(wù)發(fā)展，本文不再涉及。

  數(shù)據(jù)中心25G/100G網(wǎng)絡(luò)架構(gòu)

  與10G/40G網(wǎng)絡(luò)一致，主要變化在于：

  a)下行鏈路由10G變?yōu)?5G，提升至2.5倍;

  b)上行鏈路每端口由40G變?yōu)?00G，提升至2.5倍;

  c)下一代主流芯片方案實(shí)現(xiàn)為48*25GE+8*100GE(Broadcom TD3)，上行收斂比提升為1.5:1。

  下面僅以大型數(shù)據(jù)中心為例做組網(wǎng)說(shuō)明：

  CLOS網(wǎng)絡(luò)架構(gòu)

  最后，想與大家分享的是今年國(guó)內(nèi)不少互聯(lián)網(wǎng)企業(yè)考慮使用的新架構(gòu)設(shè)計(jì)。

  從上述架構(gòu)設(shè)計(jì)說(shuō)明中，不難看出數(shù)據(jù)中心集群規(guī)模和收斂比，主要受限于機(jī)框式核心設(shè)備的端口密度，而業(yè)界核心設(shè)備的更新?lián)Q代都是以數(shù)年為單位進(jìn)行的，大大阻礙了數(shù)據(jù)中心規(guī)模和發(fā)展。另外，動(dòng)輒數(shù)百個(gè)40GE接口或者100GE接口的核心設(shè)備單臺(tái)運(yùn)行功率已達(dá)20KW，而國(guó)內(nèi)大部分IDC機(jī)房的平均功率只有5KW~6.5KW/機(jī)柜，這給機(jī)房供電系統(tǒng)的維護(hù)管理帶來(lái)了極大的挑戰(zhàn)。如何擺脫核心設(shè)備端口密度的限制?如何擺脫核心設(shè)備對(duì)IDC機(jī)房供電系統(tǒng)的挑戰(zhàn)?

  此時(shí)，CLOS架構(gòu)誕生了。

25G /100G CLOS網(wǎng)絡(luò)架構(gòu)圖

  架構(gòu)特性：

  Leaf、Fabric、Spine交換機(jī)選用中低端盒式交換機(jī)48*25GE+8*100GE/32*100GE;

  每臺(tái)Leaf，下聯(lián)32個(gè)25GE做Server接入，8個(gè)100GE用于向上連接的上行鏈路;每個(gè)POD 16臺(tái)Leaf交換機(jī);

  每臺(tái)Fabric交換機(jī)， 有32個(gè)100GE，16個(gè)下連16臺(tái)Leaf，16個(gè)上連至16組Spine;每個(gè)POD 8臺(tái)Fabric交換機(jī)，共32個(gè)POD;

  每臺(tái)Spine交換機(jī)，有32個(gè)100GE，全部用于下連32個(gè)POD Fabric交換機(jī);

  每組8臺(tái)，共16組Spine交換機(jī);

  通過(guò)Edge PODs連接外網(wǎng)，單POD集群帶寬12.8Tbps，整數(shù)據(jù)中心集群帶寬超過(guò)400Tbps。

  隨著智能時(shí)代的來(lái)臨，大數(shù)據(jù)、人工智能等新技術(shù)的應(yīng)用，對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)提出了新的挑戰(zhàn)。如何更好地支撐Hadoop、RDMA等技術(shù)應(yīng)用，成為網(wǎng)絡(luò)運(yùn)維團(tuán)隊(duì)關(guān)注和思考的問(wèn)題。高性能、低時(shí)延、無(wú)損網(wǎng)絡(luò)已然成為數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)和運(yùn)維的主流思路。無(wú)損網(wǎng)絡(luò)如何設(shè)計(jì)和運(yùn)維，下一代數(shù)據(jù)中心網(wǎng)絡(luò)又有哪些值得期待的特性，敬請(qǐng)關(guān)注下回分享。

      作者：權(quán)熙哲 銳捷網(wǎng)絡(luò)互聯(lián)網(wǎng)系統(tǒng)部技術(shù)副總監(jiān)