隨著新興技術產業(yè)的蓬勃發(fā)展,現代企業(yè)數據中心所承載的數據類型正發(fā)生顯著變化:從以往以數據庫表單等結構化數據為主,逐步過渡到以視頻、圖片、文檔等非結構化數據為主的新階段。上層業(yè)務對海量數據頻繁的存取需求,對企業(yè)存儲系統(tǒng)的性能與容量提出了更高挑戰(zhàn)。在這一背景下,企業(yè)級分布式存儲應運而生。
構建一套穩(wěn)定、高可用的分布式存儲系統(tǒng),不僅需要系統(tǒng)本身具備強大的管理能力,網絡傳輸性能也尤為關鍵。如何有效降低存儲節(jié)點間的通信延遲,構建高性能、低時延的存儲集群,已成為分布式存儲面臨的核心技術挑戰(zhàn)之一。
一、存儲網絡技術對比
針對上述挑戰(zhàn),目前主流的存儲網絡技術路線包括FC光纖通道、IB網絡與RoCEv2技術,它們致力于為用戶提供可持續(xù)、高帶寬、低時延、高可靠的存儲網絡解決方案。為便于用戶選擇最適合的方案,我們從成本、擴展性、兼容性、運維復雜度等多個維度進行了系統(tǒng)對比,具體如下:

通過對比可見,RoCEv2技術在端口帶寬、協(xié)議先進性、可擴展性、部署成本、運維便捷性及兼容性等方面具備顯著優(yōu)勢,更契合現代高性能分布式存儲網絡的構建需求。
二、關鍵技術一:RoCEv2如何保障業(yè)務低延時傳輸
RoCEv2實現低時延傳輸的核心依賴于RDMA(遠程直接內存訪問)技術。RDMA允許數據在計算機之間直接傳輸,無需操作系統(tǒng)介入,從而大幅降低通信延遲,特別適用于大規(guī)模并行計算和存儲集群場景。

以下為RDMA應用程序的具備的技術:
(1)CPU零拷貝技術
RDMA應用程序可直接繞過操作系統(tǒng)內核進行數據傳輸,避免了數據在用戶態(tài)與內核態(tài)之間的多次拷貝,顯著降低I/O延遲。
(2)內核旁路技術
借助RDMA協(xié)議,分布式存儲系統(tǒng)在進行數據傳輸時可直接繞過內核,用戶態(tài)應用程序可直接操作網絡接口,省去系統(tǒng)調用過程,消除了內核態(tài)與用戶態(tài)切換帶來的性能開銷。
(3)CPU卸載技術
支持RoCEv2的智能網卡可將數據傳輸任務完全卸載到網卡處理,整個數據拷貝過程幾乎無需CPU參與,有效減少CPU中斷次數與資源消耗,提升整體存儲系統(tǒng)性能。
三、關鍵技術二:RoCEv2如何保障業(yè)務無損傳輸
傳統(tǒng)以太網在傳輸過程中容易因網絡擁塞導致丟包,這在核心業(yè)務場景中是不可接受的。RoCEv2引入兩項關鍵技術,確保數據傳輸過程中實現零丟包:
(1)技術一:PFC優(yōu)先級流量控制
PFC(IEEE 802.1Qbb)是實現無損網絡的關鍵機制之一。它允許設備針對特定優(yōu)先級隊列暫停數據傳輸,而不影響其他流量。在RoCEv2網絡中,RDMA流量被分配獨立優(yōu)先級。當接收端緩沖區(qū)達到閾值時,會向發(fā)送端發(fā)送Pause幀,暫停該優(yōu)先級隊列的傳輸,從而避免緩沖區(qū)溢出導致丟包。當緩存隊列超過PFC設置的門限時候,會向發(fā)送方發(fā)送STOP反壓請求,請求停止發(fā)送數據并將數據存取在本地緩存中,直到收到接收方的停止反壓報文,可再次重新發(fā)送。

(2)技術二:ECN顯式擁塞通知
為進一步優(yōu)化網絡性能,RoCEv2結合ECN機制實現端到端的擁塞控制。當網絡設備檢測到隊列長度超過ECN設定閾值時,會在IP頭部標記ECN位。接收端收到標記數據包后,向發(fā)送端反饋擁塞通知包(CNP),發(fā)送端據此動態(tài)調整發(fā)送速率,從源頭緩解擁塞。

PFC技術與ECN技術協(xié)同運作,共同構建了一個高吞吐、低延遲、零丟包的RoCEv2網絡環(huán)境。
四、信銳&深信服RoCEv2組網最佳實踐
作為深信服股份的全資子公司,信銳致力于為各行業(yè)用戶的數字化轉型提供面向未來的網絡聯接產品及解決方案,并與深信服聯合推出“網存一體化”的高性能分布式存儲無損網絡解決方案:

信銳RS6800-56CQ-EI-48V交換機提供48個10G/25G光口及8個40G/100G接口,具備高密25G下行能力,支持大規(guī)模分布式存儲集群組網。上行支持8個40G/100G接口,提供極致收斂比,可實現從25G到100G的平滑升級。硬件層面,設備采用可插拔電源與多風扇設計,保障硬件高可靠性;組網層面,支持堆疊、M-LAG及生成樹等高可靠技術,確保網絡架構穩(wěn)定。
深信服&信銳聯合解決方案優(yōu)勢如下:
(1)全面兼容
信銳交換機與深信服EDS聯合通過RoCE無損組網兼容性測試,確保信銳RS6800交換機在EDS無損組網中ECN/PFC功能穩(wěn)定可靠。
(2)原生無損,RoCE組網平滑升級
RS6800系列原生支持PFC與ECN協(xié)議,無需額外授權,用戶可低成本、靈活地從傳統(tǒng)以太網升級至RoCE無損網絡。
(3)標準化統(tǒng)一交付,配合更好、交付更標準
深信服和信銳交付基于標準化場景提供無損網絡交付標準SOP,交付人員可快速、便捷地實現無損配置和統(tǒng)一交付,實現更快速地交付上線。
(4)無損開局,交付即無損,上線即最優(yōu)
基于深信服與信銳總部專家聯合調優(yōu),多次聯調提供最優(yōu)PFC觸發(fā)閥值和最優(yōu)ECN標記閥值并將預設最優(yōu)閥值參數,從而實現交付即無損、上線即最優(yōu)無損。

未來,信銳將繼續(xù)深耕數據中心業(yè)務場景,深入理解用戶網絡需求,持續(xù)提供更穩(wěn)定、更可靠的數據傳輸服務,助力用戶構建無損、高可靠的數據中心業(yè)務體驗。




