簡談以太網RDMA網卡的應用

  ICCSZ訊 各式各樣的數據在網絡介質中通過網絡協(xié)議(如TCP/IP)進行傳輸時，如果信息量過大而不加以限制的話，那么超額的網絡流量就會導致設備反應緩慢，由此就造成了網絡延遲。

  延遲越低越好，效率越高越好，這不僅僅是數據中心網絡的要求，我們平常使用的內部網絡同樣也希望如此。當前的網絡速度有萬兆、2.5萬兆、4萬兆，甚至10萬兆、20萬兆……的趨勢都已經來了，網絡帶寬似乎已經不是主要的瓶頸了，而服務器系統(tǒng)和CPU本身逐步轉為了制約網絡I/O的瓶頸，影響服務器的整體性能。

  1. 如何解決問題？

  解決問題的基本思路就是：通過應用程序直接讀取和寫入遠程內存，而無需CPU介入進行多次拷貝內存，還可繞過內核直接向網卡寫數據，實現了高吞吐量、超低時延和低CPU開銷的效果。

  實現這樣功能的技術就是RDMA（Remote Direct Memory Access）技術，也就把RDMA【遠程直接數據存取】技術運用到了網卡控制器上。

  那么具有RDMA功能的網卡和不具有RDMA網卡的有什么不同呢？

  首先不具備RDMA功能的網卡的傳輸路徑過程是：應用程序--->系統(tǒng)--->內存--->CPU--->內存--->硬盤---->內存--->網卡。

  而具有RDMA功能的網卡，在進行數據傳輸時候，網卡繞過CPU來實現服務器間的內存數據交換：應用程序--->內存--->硬盤---->內存--->網卡。大大地簡化了過程，傳輸效率有了明顯的提升。

  具有RDMA功能的網絡和不具有RDMA功能的網絡工作示意【圖片來自網絡】

   （綠色表示RDMA的工作路徑，橙色表示不具有RDMA功能的工作路徑）

  RDMA作為一種硬件實現的網絡傳輸技術，可以大幅提升網絡傳輸實效，幫助網絡IO密集的業(yè)務（比如分布式存儲、分布式數據庫等）獲得更低的時延以及更高的吞吐。

  目前市場上能夠支持RDMA功能的網卡產品并不普及，如我們熟知的Intel網卡，也只在X722-da2/da4上加入了單一的iWARP功能。

  而由深圳市聯(lián)瑞電子有限公司推出的三款國產萬兆光纖網卡：聯(lián)瑞LRES1004PF-2SFP+、聯(lián)瑞LRES1005PF-4SFP+、聯(lián)瑞LRES1009PF-SFP+均具有RoCE和iWARP的RDMA功能，同時成為國內首批具有RDMA功能的國產網卡之一。接下來還會有25G的支持RDMA的光纖網卡上市，我們拭目以待。

  2. RDMA的應用

  （1）在服務器群集上應用

  RDMA用來把小型服務器連接為一個群集；可以處理一些十幾顆處理器的高端服務器才能夠處理的大型數據庫。

  （2）在高速集群和服務器區(qū)域網上應用

  采用RDMA來獲取高性能的協(xié)議，包括SDP（Sockets Direct Protocol）、SRP（SCSI RDMA Protocol）和DAFS（Direct Access File System）；

  （3）在分布式應用程序的集群上應用

  采用RDMA的通信庫，包括DAPL（Direct Access Provider Library）、MPI（Message Passing Interface）和VIPL（Virtual Interface Provider Library），運行在分布式應用程序的集群是RDMA 能夠大顯身手的領域之一；

  通過DAPL或VIPL以及集群上運行的數據庫軟件來使用RDMA，可在相同的節(jié)點數目下獲得更高的性能和更好的延展性。使用MPI的集群科技運算應用程序，通過支持互連RDMA 實現了低延遲時間低開銷和高吞吐量，這一結果也使它獲得了巨大的性能提升其他初期的RDMA 應用；

  iWARP/RDMA這類技術是通過DAFS的遠程文件服務器訪問、通過SRP的存儲設備訪問RDMA技術成為高速集群系統(tǒng)和存儲域網絡的基本特征技術。

  還有用于RDMA的iSCSI擴展的iSER，充分利用了RDMA的功能。

  RDMA的其他早期應用還有通過DAFS的遠程文件服務器訪問和通過SRP的刀片服務器存儲訪問。

  （4）在NAS和SAN上應用

  傳統(tǒng)的直連存儲DAS是以服務器為中心的存儲結構，這一存儲體系結構存在容量限制、連接距離有限、不易于共享和管理等不可克服的缺點。已經不能夠滿足網絡時代的應用需求，

  存儲技術發(fā)生巨大變化出現了，出現了如：網絡附加存儲NAS、存儲區(qū)域網絡SAN。這些既能為網絡上的應用系統(tǒng)提供豐富快速簡便的存儲資源，又能共享存儲資源并對其實施集中管理，成為當前理想的存儲管理和應用模式，

  但NAS結構存在一些難以解決的問題如：傳輸能力有限、可擴展性有限、數據備份能力有限、并且不能對數據庫服務提供有效的支持。

  DAFS把RDMA的優(yōu)點和NAS的存儲能力集成在一起，全部的讀寫操作都直接通過RDMA驅動器執(zhí)行，從而降低了網絡文件協(xié)議所帶來的系統(tǒng)負載，今后的NAS存儲系統(tǒng)將會采用DAFS技術來提高系統(tǒng)性能，并且在性能和價格上與SAN 存儲系統(tǒng)進行有力的競爭。

  （5）在高性能數據中心上應用

  數據中心、AI訓練、云存儲等

  關于聯(lián)瑞

  深圳市聯(lián)瑞電子有限公司（簡稱：深圳聯(lián)瑞）是一家成立于2006年的專業(yè)以太網卡解決方案提供商，是集各種接口以太網網卡研發(fā)、生產、銷售及服務于一體的科技型企業(yè)，旗下?lián)碛蠰R-LINK品牌商標。公司通過ISO9001:2015質量管理體系認證，先后加入PCI-SIG行業(yè)協(xié)會、中國機器視覺產業(yè)聯(lián)盟、訊石光通訊網。公司堅持做專、做精、做強的戰(zhàn)略方針，弘揚務實創(chuàng)新、追求卓越的企業(yè)精神，始終把推動科技創(chuàng)新、振興民族品牌作為聯(lián)瑞人的責任和義務。公司自主研發(fā)生產的產品均通過FCC、CE、ROHS等國際權威認證以及國家行業(yè)認證，并已廣泛運用于政府機關、軍工企業(yè)、電信運營商、銀行、證券、高等院校等企事業(yè)單位，以及互聯(lián)網數據中心、云計算、工業(yè)自動化、機器視覺等專業(yè)領域。

  深圳聯(lián)瑞中文官網：www.lr-link.com.cn