除了众所周知的以太网，还有许多其他类别的网络体系结构。 对于服务器端连接方案，infiniband（ib）技术被重视并用于其固有特性。 它几乎占据主导地位，尤其是在高性能计算（hpc），大型数据中心存储和其他方案中。 那么ib和以太网之间有什么区别？ 为什么大多数hpc系统使用ib互连？
ib是一种“电缆交换”技术，支持多个并发连接，它是新一代服务器硬件平台的i / o标准。 随着cpu性能的飞速发展，i / o系统的性能已成为制约服务器性能的瓶颈。 过去使用的pci总线体系结构不符合新的应用趋势。 为了克服pci的固有缺点，英特尔，思科，康柏，emc，富士通和其他公司联合推出了ib架构，其核心是将i / o系统与服务器主机分离。 目前，只有mellanox，intel，qlogic等少数公司可以提供ib产品。 mellanox处于领先地位。 最近，他们在密歇根大学部署了第一台hdr 200g infiniband超级计算机。
infiniband的基本协议
上图显示了ib的基本协议。 如我们所见，ib协议采用分层结构，包括上层协议，传输层，网络层，链路层和物理层。 每一层彼此独立，并且下层为上层提供服务，类似于tcp / ip协议。 与用于高级网络通信的以太网不同，infiniband主要用于低级输入/输出通信方案。 如本文开头所述，ib架构的任务是提高服务器端输入/输出性能，即使以太网达到或超过ib网络的速度，ib在低级网络通信条件下也是不可替代的。 此外，ib的传输模式和媒体非常灵活。 它可以通过设备中印刷电路板的铜箔箔转移，并通过dac或aoc在设备之间互连。
正如infiniband行业协会工作组联合主席bill lee所说：“ infiniband的目标是改善应用程序之间的通信。” ib技术不仅包括芯片和硬件，还包括软件。 为了发挥应有的作用，必须将硬件和软件完全集成在操作系统，管理层和应用程序层中。
intersect360 research首席执行官addison snell指出：“ infiniband已经发展壮大，现在已成为hpc系统中高性能存储互连的首选pg电子直营网的解决方案。目前，诸如数据分析和机器学习之类的高数据吞吐量应用正在迅速扩展，高带宽和低延迟互连的需求也正在扩大到更广阔的市场。”
显然，我们目前和将来的主要方向是解决科学和数据分析问题，这需要我们数据中心的计算节点，存储和分析系统之间具有很高的带宽，从而形成一个单一的系统环境。 此外，延迟（内存和磁盘访问延迟）是hpc的另一项性能指标。 因此，hpc数据中心选择使用ib网络的原因是它可以满足高带宽和低延迟的要求。
当前，ib是hpc和ai基础结构之间的首选互连，并且从sdr，ddr，qdr到hdr的速度也在提高。 著名的mellanox infinibandpg电子直营网的解决方案连接了大多数顶级500超级计算机，他们还将开始计划ndr 400g infiniband技术，以支持未来的e级超级计算和机器学习平台。 在延迟方面，rdma（远程直接内存访问）技术使我们可以在整个网络中直接和远程访问数据，并可以解决网络传输中服务器端数据处理延迟的问题。 rdma通过网络将数据直接传输到计算机的存储区域，将数据从一个系统快速移至远程系统内存，实现零复制，释放主机端的cpu负载，并将主机中数据处理的延迟减少数百微秒。到纳秒。
另外，ib具有协议栈简单，处理效率高，管理简单的优点。 与以太网的分层拓扑不同，infiniband是扁平结构，这意味着每个节点都与所有其他节点具有直接连接。 与tcp / ip网络协议相比，ib使用基于信任和流控制的机制来确保连接的完整性，并且很少丢失数据包。 数据传输后，接收器返回一个信号以指示缓冲区空间的可用性。 因此，ib协议消除了由于丢失原始数据分组而导致的重发延迟，从而提高了协议的性能。 效率和整体性能得到改善。 另外，考虑到超高速光纤传输中的信号失真问题，ib在光纤中传输数据信号的方式有所不同，并在接收端增加了滤波器以滤除信号噪声，充分保证了信号完整性。连接网络。
infiniband是一个统一的互连结构，可以处理存储i / o，网络i / o和进程间通信（ipc）。 它可以互连磁盘阵列，san，lan，服务器和群集服务器，在相对较短的距离内提供高带宽和低延迟传输，并支持单个或多个internet网络中的冗余i / o通道，因此数据中心仍可以在本地运行发生故障。 特别是在将来，当hpc数据中心的内部流量急剧增加时，作为服务器之间应用的网络连接技术，infiniband将具有更广阔的发展空间。
gigalight是设计，制造和提供产品的全球光互连设计创新者 光学收发器, 有源光缆 和 相干光模块 适用于数据中心网络，5g无线网络，光传输网络和广播视频网络。 该公司利用独家设计的优势为客户提供一站式高性价比的光网络设备。