远程直接内存访问是一种技术，使两台联网计算机能够在主内存中交换数据，而不依赖于任一计算机的处理器、缓存或操作系统。与基于本地的直接内存访问 (DMA) 一样，RDMA 可以释放资源，从而提高吞吐量和性能，从而提高支持 RDMA 的系统之间的数据传输速率并降低延迟。 RDMA 可以使网络和存储应用程序受益。
RDMA 共有三种选项：Infiniband、融合以太网 RDMA (RoCE) 和 iWARP。 InfiniBand（IB）是专门为RDMA设计的网络，具有极高的吞吐量和极低的延迟。 iWARP是一个基于TCP的RDMA网络，利用TCP来实现可靠传输。 RoCE（融合以太网上的 RDMA）是一种网络协议，允许将数据从一台机器传输到另一台机器，从而减少 CPU 的运行负载。
TCP/TP，即传输控制协议/互联网协议，用于通过互联网互连网络设备。它确定数据应如何打包、寻址、传输、路由和接收。 TCP/IP 非常重视两台计算机之间的准确数据传输。如果系统在一次性发送消息时遇到问题，则必须重新发送整个消息。
此外，TCP/IP 的功能分为四个不同的层：数据链路层、互联网层、传输层和应用层。数据在被另一端接收之前必须经过这四层。然后，TCP/IP 将通过以相反的顺序传递各层来重新组装数据并将其呈现给接收者。这样，您可以通过升级某些层而不是整个系统来提高数据中心的性能或安全性。
对于高性能计算、大数据分析等高I/O并发、低延迟的应用，现有的TCP/IP软硬件架构无法满足应用需求。传统的TCP/IP网络通信使用内核来发送消息。这种通信模式具有较高的数据移动和数据复制开销。 RDMA技术是为了解决网络传输过程中服务器端数据处理延迟而开发的。如下图所示，RDMA技术无需操作系统内核即可通过网络端口访问内存数据。这允许高吞吐量、低延迟的网络通信，特别是对于大规模并行计算机集群。
如上所述，网络协议已经以多种方式发展。四种网络也各有优缺点，面对不同的应用场景可以酌情选择。下表列出了 RoCE、Infiniband、iWARP 和 TCP/IP 之间的几个差异。
| 内容 | 罗CE | 无限宽带 | iWARP | TCP/IP |
|---|---|---|---|---|
| 高扩展性 | 好的 | 出色的 | 比 InfiniBand 和 RoCE 更耐用 | 贫穷的 |
| 高性能 | 相当于InfiniBand | 出色的 | 比InfiniBand稍差（受TCP影响） | 贫穷的 |
| 高稳定性 | 好的 | 出色的 | 贫穷的 | 出色的 |
| 管理方便 | 难的 | 难的 | 比 RoCE 更难 | 简单的 |
| 成本效益 | 低的 | 高的 | 中等的 | 低的 |
| 网络设备 | 网络设备 | IB开关 | 网络设备 | 网络设备 |
高可扩展性：这三种 RDMA 网络协议都具有高可扩展性和灵活性，其中 Infiniband 的可扩展性最高。 Infiniband的单个子网可以支持数万个节点。此外，它还提供相对简单且可扩展的架构，通过Infiniband路由器创建几乎无限的集群大小。然而，TCP/IP的设计重点是可靠性而不是低延迟和高吞吐量，这限制了其在高性能应用场景中的可扩展性。
高性能：由于 TCP/IP 会增加 CPU 处理资源和延迟的负担，因此与其他网络协议相比，它的性能最差。 RoCE 提高了企业数据中心的速度和功率，同时降低了总体拥有成本，而无需更换以太网基础设施。至于Infiniband，它使用串行链路和总线一次一位地发送数据，从而实现更快、更高效的通信。 iWARP提供类似于RoCE的低延迟和高吞吐量的数据传输能力，但其性能与InfiniBand和RoCE相比略逊一筹。
高稳定性：TCP/IP是互联网上广泛使用的稳定协议，得益于广泛的测试和验证，具有强大的容错和网络恢复机制。 InfiniBand 网络常见于大型超级计算机，其稳定性已得到证实。 RoCE 相对较新，缺乏 InfiniBand 和 TCP/IP 的广泛采用和验证，可能会影响其稳定性。由于额外的设备要求和兼容性问题，iWARP 可能会面临稳定性挑战。
易于管理： 虽然 RoCE、Infiniband 和 iWARP 比 TCP/IP 具有更低的延迟和更高的性能，但后者更易于部署和管理。使用 TCP/IP 构建设备和网络连接的网络管理员只需要很少的集中管理。
成本效率：对于预算有限的企业数据中心，Infiniband 可能不是一个好的选择。它使用昂贵的IB交换端口承载大量应用，增加了企业的计算成本、维护成本和管理成本。相比之下，使用以太网交换机的 RoCE 和 TCP/IP 更具成本效益。因此，Infiniband交换机在HPC数据中心更受欢迎。
网络设备：如上表所示，RoCE、iWARP、TCP/IP都是通过以太网交换机实现数据传输以太网交换机来承载应用。通常情况下，IB交换机必须与支持IB协议的设备互连，且相对封闭，难以更换。IB交换机，而Infiniband则采用独立架构的
''另请检查 - 为什么 HPC 数据中心需要 InfiniBand 互连
如今，数据中心网络需要底层互连的最大带宽和极低的延迟。在这种情况下，传统的 TCP/IP 网络协议无法满足数据中心的需求，因为它们会增加 CPU 处理资源并导致高延迟。对于那些在 RoCE 和 Infiniband RDMA 之间做出选择的企业，应考虑其独特的要求和成本。如果他们更喜欢最高性能的网络连接，Infiniband 会更好。对于那些寻求更高性能、更轻松管理和有限成本的人来说，RoCE 一定是一个不错的选择。
