為什麼大多數hpc系統使用infiniband互連| gigalight-pg电子直营网

日期: 2018-11-26 作者: gigalight 20232 標籤: , ,

除了眾所周知的以太網之外,還有許多其他類別的網絡架構。 對於服務器端連接方案,infiniband(ib)技術受到重視並用於其固有特性。 它幾乎佔據主導地位,特別是在高性能計算(hpc),大型數據中心存儲和其他場景中。 那麼ib和以太網有什麼區別? 為什麼大多數hpc系統使用ib互連?

infiniband是什麼以及在哪裡使用

ib是一種支持多個並發連接的“電纜交換”技術,它是新一代服務器硬件平台的i / o標準。 隨著cpu性能的快速發展,i / o系統的性能已成為製約服務器性能的瓶頸。 過去使用的pci總線架構不符合新的應用趨勢。 為了克服pci的固有缺點,英特爾,思科,康柏,emc,富士通等公司聯合推出了ib架構,其核心是將i / o系統與服務器主機分開。 目前,只有少數公司,如mellanox,intel,qlogic,可以提供ib產品。 mellanox處於領先地位。 最近,他們在密歇根大學部署了第一台hdr 200g infiniband超級計算機。

infiniband的基本協議

上圖顯示了ib的基本協議。 我們可以看到,ib協議採用分層結構,包括上層協議,傳輸層,網絡層,鏈路層和物理層。 每層彼此獨立,下層為上層提供服務,類似於tcp / ip協議。 與用於高級網絡通信的以太網不同,infiniband主要用於低級輸入/輸出通信場景。 如本文開頭所述,ib架構的任務是提高服務器端的輸入/輸出性能,即使以太網達到或超過ib網絡的速度,ib在低級網絡通信的情況下也是不可替代的。 此外,ib的傳輸模式和媒體非常靈活。 它可以通過設備中的印刷電路板的銅線箔轉移,並通過dac或aoc在設備之間互連。

正如infiniband行業協會工作組聯合主席bill lee所說,“infiniband的目標是改善應用程序之間的通信。” ib技術不僅包括芯片和硬件,還包括軟件。 為了發揮應有的作用,硬件和軟件必須完全集成在操作系統,管理和應用層中。

為什麼hpc數據中心選擇infiniband

intersect360 research首席執行官addison snell指出,“infiniband已經發展壯大,現在是hpc系統中高性能存儲互連的首選解決方案。目前,數據分析和機器學習等高數據吞吐量的應用正在迅速擴大,對高帶寬和低延遲互連的需求也在向更廣闊的市場擴展。“

顯然,我們目前和未來的主要方向是解決科學和數據分析的問題,這需要在我們的數據中心的計算節點,存儲和分析系統之間具有非常高的帶寬,從而形成單個系統環境。 此外,延遲(內存和磁盤訪問延遲)是hpc的另一個性能指標。 因此,hpc數據中心選擇使用ib網絡的原因是它可以滿足高帶寬和低延遲的要求。

ib目前是hpc和ai基礎設施之間的首選互連,速度也在不斷提高,從sdr,ddr,qdr到hdr。 著名的mellanox infiniband解決方案連接了大多數頂級500超級計算機,他們還將開始規劃ndr 400g infiniband技術,以支持未來的e級超級計算和機器學習平台。 在延遲方面,rdma(遠程直接內存訪問)技術允許我們在整個網絡中直接和遠程訪問數據,並且可以解決服務器端數據處理網絡傳輸延遲的問題。 rdma通過網絡將數據直接傳輸到計算機的存儲區域,將數據從一個系統快速移動到遠程系統內存,實現零拷貝,釋放主機端的cpu負載,並減少主機中數據處理的延遲,從數百微秒到納秒。

此外,ib具有協議棧簡單,處理效率高,管理簡單的優點。 與以太網的分層拓撲不同,infiniband是一種扁平結構,這意味著每個節點都與所有其他節點直接連接。 與tcp / ip網絡協議相比,ib使用基於信任和流量控制的機制來確保連接的完整性,並且數據包很少丟失。 在數據傳輸之後,接收器返回信號以指示緩衝器空間的可用性。 因此,ib協議消除了由於丟失原始數據分組而導致的重傳延遲,從而提高了協議的性能。 效率和整體表現得到改善。 另外,考慮到超高速光纖傳輸中信號失真的問題,ib在光纖中傳輸數據信號不同,在接收端增加濾波器濾除信號噪聲,充分保證信號完整性連接網絡。

結論

infiniband是一種統一的互連結構,可以處理存儲i / o,網絡i / o和進程間通信(ipc)。 它可以互連磁盤陣列,san,lan,服務器和集群服務器,在相對較短的距離內提供高帶寬和低延遲傳輸,並支持單個或多個internet網絡中的冗餘i / o通道,因此數據中心仍可在本地運行失敗發生。 特別是在未來,當hpc數據中心的內部流量急劇增加時,作為服務器之間應用的網絡連接技術,infiniband將擁有更廣闊的發展空間。

關於技嘉

gigalight是全球光學互連設計創新者,致力於設計,製造和供應 光學收發器, 有源光纜相干光學模塊 適用於數據中心網絡,5g無線網絡,光傳輸網絡和廣播視頻網絡。 該公司利用獨家設計的優勢為客戶提供一站式高性價比的光網絡設備。

网站地图