技术背景

RoCEv2简介

• RoCE v1 协议：基于以太网承载 RDMA，只能部署于二层网络。
• RoCE v2 协议：基于 UDP/IP 协议承载 RDMA，可部署于三层网络。

拥塞控制

• ECN （Explicit Congestion Notification）发送端拥塞标记(RFC3168)

• CNP （Congestion Notification Packet)  接收端产生拥塞通告消息

• DCQCN (Data Center Quantized Congestion Notification) 拥塞通知算法

• PFC 基于优先级拥塞控制

接收端

收到RoCEv2 报文 IP.ECN 标记为“11”，接收端口生成RoCEv2 CNP ，发给流量发送端。对指定QP可选择单个或者多个CNP 来对ECN 标记报文的响应。

发送端

降速：发送端当收到 RoCEv2 CNP, 对指定QP的流量进行降速。

升速：当指定时间降速的QP没有再收到CNP，流量发送端会升速，逐渐到配置速率。

• 硬件：

FX3-QSFP28-4

FX3-QSFP28-6

MX3-QSFP28-4

• 速率支持：25G、100G

测试拓扑 & 测试需求

• STC1，STC2仿真服务器向STC3发送RoCEv2流量

• 测试条件

• 接收端口QP数量：16

• Frame Size ：1518

• Traffic load ：100%

• Duration：3 minutes

• 确认test module的Speed license支持RoCEv2

• 切换STC-RoCEv2-ECN profile

RoCEv2 配置向导

• Enable PFC，设置优先级与交换机配置的PFC优先级一致

• Enable ECN，Value = 01 or 11

• CNP Priority Mode，CNP 报文的优先级模式，可选DSCP 或者L2 VLAN 优先级

• L3 DSCP Priority, CNP报文L3优先级

• Enable Automatic Rate Adjustment：使能DCQCN自动调整速率功能

配置RoCEv2服务器参数

• 基本参数配置，MAC、VLAN、IP&DSCP、gateway、UDP source port

• Start QP，RoCEv2流量的起始QP值

• Number of QP block：每个端口QP block数量 ；Number of QPs Per Block，每个Block的QP数量

• 例如，2-to-1场景中，Rx Port接收16个QPs；Number of QP block =2; Number of QPs Per Block = 8

• 每个Tx port发送8个QPs；Number of QP block = 1；Number of QPs Per Block = 8。

• Frame size，RoCEv2流量包长

配置RoCEv2 Streamblock

对于需要响应PFC 的Streamblock，需要手工使能每条流的custom PFC，设置与交换机对应的PFC 优先级

预览配置的RoCEv2 Streamblock

（STC1 - STC3）

TestCenter IQ查看结果

（ECN / CNP / QP / stream / latency）

RoCEv2 Port Results

RoCEv2 Queue Pair Stats Results

RoCEv2 Stream Results

关键词：Spirent TestCenter, RDMA , RoCEv2 , ECN , CNP , DCQCN , QP，PFC, 拥塞控制，智能无损网络