數(shù)據(jù)中心高速銅纜“芯”未來

  本篇文章轉自微信公眾號“鵝廠網(wǎng)事”，作者：孫敏

  “銅”進“光”退的需求

  伴隨著云業(yè)務的快速發(fā)展，數(shù)據(jù)中心互聯(lián)硬件對高運行穩(wěn)定性和低成本的訴求也越來越強烈。以25G速率的服務器到交換機互聯(lián)方案為例，主要的連接方式有兩種，DAC和AOC。

  DAC(direct attach cable)顧名思義，由于是直連方案，高速通信信號在設備之間傳遞，處于透傳狀態(tài)，而常用的AOC(active optical cable)由于需要將電信號轉換成光信號，再轉換成電信號，存在多次信號轉換的過程，會引入相應的適配問題，而數(shù)據(jù)中心互聯(lián)硬件故障里面因為信號或者協(xié)議匹配導致的適配性問題占比在30%以上，而且故障更因定位過程復雜、時間長，嚴重的會影響數(shù)據(jù)中心的交付使用。DAC由于裝配組件少，結構簡單，相比于AOC在BOM成本上有著明顯的優(yōu)勢。不僅如此，DAC幾乎沒有功耗，一根25G DAC的線纜功耗在0.1w左右，而同樣速率的AOC功耗在2w左右，相差10倍以上。以20w臺服務器接入的規(guī)模為例，一年可以節(jié)省大幾百萬的電費。為滿足快速交付的要求，數(shù)據(jù)中心安裝布線的時效非常重要，布線過程中必然會存在線纜損傷，從材料及結構上講，銅比玻璃有著更好的機械應力容忍性，因此，DAC也能夠比AOC容忍更多布線過程中導致的損傷。但由于機柜功耗的限制，服務器到交換機的連接距離很多場景下往往需要達到甚至超過7m，所以早期25G服務器到交換機連接的方式以AOC(有源光纜)為主，而DAC(直連銅纜)方案，由于理論上只能支持到5m的應用，使得其應用大為受限。

  25G NRZ的嘗試

  在保證低成本的前提下，如何延長銅纜連接距離，有效的方式有兩種：一種是基于信號時鐘恢復的Retimer方案，一種是基于信號放大的Redriver方案，如下圖：Retimer技術原理：

  Redriver技術原理：

  顯而易見，以25G為例。在成本，功耗和功能復雜性等各方面，Repeater方案都有著明顯的優(yōu)勢，因此我們選擇了Repeater方案。

  根據(jù)信號傳輸?shù)奶攸c，我們在多個不同的頻點和頻率范圍進行輸出參數(shù)調整，使輸出信號能夠，最終使得極限情況下DAC的連接距離延長到了10m。但是，理論上設計的連接距離，并不意味著最終量產可用，除了成本還要考慮量產一致性和系統(tǒng)的冗余度。通過多輪的測試驗證，結合現(xiàn)網(wǎng)故障率容忍度，我們最終確定了25G Linear-ACC的應用范圍<8m，這個距離已經可以覆蓋25G服務器80%的應用場景。

  最終，25G相關的產品帶來了預想的收益，通過DAC+ACC的布線方案，成本相對于傳統(tǒng)AOC方案，降低了40%，現(xiàn)網(wǎng)故障率由原來的0.3%降低一個數(shù)量級。

  50G PAM4的升級

  對于linear-ACC方案的嘗試，25G只是一個開始，無論是方案，還是成本，都還沒有做到極致化，進入50G PAM4時代，成本必然進一步提高，而系統(tǒng)對于信號質量的要求也更上了一個臺階，ACC的設計也需要更加精細化。在50G PAM4調制下，我們進一步參與到的芯片設計上，包括整體方案選擇、參數(shù)調節(jié)功能優(yōu)化、融入降噪技術等一系列的工作。從這一代開始，我們給它一個新的名字TAC(Tencent Active Cable)。

200G 7m TAC產品

  1. 更精細的成本控制

  通信行業(yè)硬件成本優(yōu)化離不開的大原則：單從材料層面上講，InP比Si貴，Cu比Si貴。跟25G一樣，DAC和ACC一定有一個交界點，同樣的長度下，ACC一定比DAC便宜;在50G PAM4下，以200G1分2銅纜為例，2.5m就是這個成本變化的交叉點，超過2.5m的銅纜應用，用ACC不僅性能裕量更大，而且綜合成本更低。

  2. 系統(tǒng)參數(shù)歸一化

  IEEE802.3cd要求50G PAM4調制下的線纜滿足在13.28GHz下的SDD21小于17dB，而實際大規(guī)模生產出來的線纜，超過2.8m長的距離，已經超出這個標準。另一方面，雖然50G PAM4調制下的基準頻率與25G NRZ相差不大，但對于信號輸出強度更加敏感，中高頻的衰減相比于25G NRZ帶來的誤碼代價更高，因此在50G PAM4的應用和設計上我們傾向于更大的冗余度。新一代ACC的設計，我們取名TAC，這里T即有Tencent的意思，也有Tunable的意思，意味著相比25G，我們可以更加靈活的調制線纜的參數(shù)，使其與系統(tǒng)更加匹配。需要特別說的是，系統(tǒng)在識別銅纜的過程中，需要對銅纜的SI進行定標，這個定標的過程，我們稱之為Training，如果已知銅纜的SI參數(shù)，并且參數(shù)統(tǒng)一，我們只需要在系統(tǒng)側輸入一個匹配參數(shù)，即可快速連接，降低了系統(tǒng)在識別過程中的時間損耗和錯誤率，并且由此可能帶來的鏈路故障。TAC的最大特點就是可以將不同長度的線纜SI歸一化到一個極小的范圍，使得不同長度的線纜，看上去就像是同一個規(guī)格。這就是“T”的精髓。

  3. 融入降噪設計

  剛剛提到，相比較25G NRZ信號，50G PAM4信號對ACC的性能要求高了很多。首先，PAM4信號單個眼的信號能量比相同幅度的NRZ信號少了9.5dB，所以對Redriver芯片的噪聲性能要求提高了。其次，PAM4信號的多電平特性需要Redriver芯片有更好的線性度，從而保持三個眼張開的一致性。最后，PAM4信號比同等波特率的NRZ信號對上升/下降沿的要求更高，這意味著需要更多的高頻補償。用于50G PAM4 ACC的Redriver芯片需要同時實現(xiàn)更低的噪聲，更高的帶寬和線性度。但是，噪聲和帶寬以及Redriver提供的高頻增益是相互矛盾的，為了解決這個問題，進一步優(yōu)化噪聲和均衡能力之間的折中，我們在新一代的Redriver芯片中加入了噪聲抵消技術(Noise CancellingTechnique，NCT)。其工作原理如下圖：均衡器里的晶體管在Y點的輸出噪聲通過反饋網(wǎng)絡同相拷貝到了輸入X點。另一方面，Y點的輸出信號和X點的輸入信號是反向的。通過引入前饋網(wǎng)絡把X點的信號和噪聲進行反相放大并和Y點的信號和噪聲相加，可以抵消一部分輸出噪聲，同時加強了信號本身。在理想情況下(HFF=-1/HFB)，均衡器里晶體管的噪聲可以被完全抵消。通過在線性均衡器電路里引入上述噪聲抵消技術，晶體管的等效高頻噪聲減少了30%。通過這個技術，線性Redriver在提高帶寬和高頻增益的同時沒有惡化信噪比(Signal-to-Noise Ratio, SNR)。換句話說，在保持一樣的帶寬和高頻均衡增益時，提高了Redriver的輸出SNR。另外，一種新穎的推挽式跨導結構(Push-Pull Transconductance)被用在了新一代線性均衡器里，大大提高了電路的大信號線性度，使得在提高SNR的同時，保持了PAM4信號三個眼的一致性。

  4. 性能實測

  為了驗證基于新一代50G PAM4線性Redriver芯片的性能，用7m 28AWG制作的SFP56有源線纜在實驗室里測試了S-參數(shù)和誤碼率(Bit Error Rate, BER)，測試環(huán)境和結果如下圖所示：

  經測試，各項指標已經超出預期，7m 28AWG ACC的回波損耗和插入損耗完全滿足和超出了802.3bj標準的要求，COM值達到了6dB。測試接收誤碼率，不開FEC下BER在10-9量級，遠低于標準要求，開FEC下無誤碼。線纜整體功耗實測小于0.4W，大約是56G PAM4 AOC的1/10。

  結語

  “光”進“銅”退是通信行業(yè)的必然趨勢，但并不意味著“銅”的消失，在數(shù)據(jù)中心標準化快速發(fā)展，數(shù)據(jù)中心硬件設計更加極致化的今天，“光”與“銅”需要結合自身的優(yōu)勢，分別承擔好自己的“角色”，更好的為數(shù)據(jù)中心網(wǎng)絡服務。