文档说明

本文档旨在介绍利用华为CE6800系列交换机作为华为OceanStor 9000 V5存储的后端网络（存储网络）接入及前端网络（业务网络）接入时，相关配置的最佳实践。 注：本文档书写时测试的设备版本如下，遇版本不一致时，参考华为官网相关版本文档 https://e.huawei.com/cn/products/storage/cloud-storage/9000 CE6857交换机版本:V200R005C00 存储版本:7.1

产品简介

华为OceanStor 9000 V5作为大数据存储产品，具有大容量、高性能和易扩展性等方面的突出优势；OceanStor 9000 V5采用全互联全冗余的组网机制，允许系统中所有节点并发访问整系统的任何数据；支持从多个节点并发访问相同数据的不同区域，实现高并发高性能读写，对外提供标准的NFS/CIFS/FTP接口。
OceanStor 9000 V5结构图：
image.png
CloudEngine 6800系列交换机（以下简称CE6800）是华为公司面向数据中心和高端园区推出的新一代高性能、高密度、低时延、大缓存的10GE/25GE以太网交换机。

组网说明：

最佳的组网情况如下，前端、后端、管理网络单独组网；
管理网络：标准的以太网网络，与普通接入交换机配置一致，无特别说明
前端网络：上行链路需要配置m-lag，下行链路需要配置流量控制
后端网络：针对roce、stp进行优化配置
基于设备成本考虑，部分客户会将前端及后端业务复用一组CE6800系列交换机，下面是介绍该组网情况下交换机的配置。如遇前后端分离情况，只需要将前端及后端的配置分开到不同的业务交换机即可。
image.png

后端网络配置：
§配置DCB中的PFC功能。
#进入系统视图
§ system-view
§ #创建VLAN2
§ [~HUAWEI] vlan 2
§ #统一使用vlan 2，存储的网卡默认为vlan 2标签，一定要修改标签的话，存储网卡侧也要改成统一的vlan
§ [HUAWEI-vlan2] commit
§ [~HUAWEI-vlan2] quit
§ #配置DFS互助组，source ip为本交换机管理IP
§ #动态交换服务组DFS Group，主要用于设备之间的配对。为了实现双主检测报文的交互，DFS Group需要绑定IP地址，绑定的IP地址用于和对端进行通信
§ [~HUAWEI] dfs-group 1
§ [~HUAWEI-dfs-group 1] priority 150
§ #设备默认优先级为100,备机可以配置为120,或者不配置
§ [~HUAWEI-dfs-group 1] source ip xxx.xxx.xxx.xxx
§ [~HUAWEI-dfs-group 1] commit
§ [~HUAWEI-dfs-group 1]quit
§ #配置V-STP，以防因为误接而出现环路
§ [HUAWEI]stp mode rstp
§ [~HUAWEI]stp v-stp enable
§ [~HUAWEI]commit
§ #设置pfc
§ [~HUAWEI] dcb pfc
§ #DCB协议组主要用于构建无丢包以太网
§ #以太网网络中，流量控制依靠以太pause机制，流量暂定是针对整个接口；PC优先级流量控制特性，将流量分为不同队列，可以针对不同队列进行流量暂定。（此次针对san流量进行
§ [HUAWEI—dcb-pfc-default] priority 3
§ #优先级3对应队列3，rocev2流量默认走队列3，所有此处针对rocev2流量配置PFC
§ [~HUAWEI—dcb-pfc-default] priority 3 deadlock-detect time 15
§ Info: Before configuring the PFC deadlock function, shut down the interface.
§ [~HUAWEI—dcb-pfc-default] priority 3 deadlock-recovery time 15
§ Info: Before configuring the PFC deadlock function, shut down the interface.
§ #配置PFC死锁检测，防止网络中出现大量PFC反压信号诱发的网络死锁。在分布式存储场景下，如果要使用PFC功能来进行网络流量控制，则必须配置PFC死锁检测功能
§ [~HUAWEI—dcb-pfc-default] quit
§ [~HUAWEI] dcb pfc deadlock-detect interval 100
§ [HUAWEI] commit
§ #修改非RoCE报文优先级
§ [~HUAWEI]acl number 3001
§ [HUAWEI-acl4-advance-3001]rule 5 permit udp destination-port eq 4791
§ #RoCE报文为UDP 4791
§ [HUAWEI-acl4-advance-3001]quit
§ [HUAWEI]traffic classifier any
§ [HUAWEI-classifier-any]if-match any
§ [HUAWEI-classifier-any]quit
§ [HUAWEI]traffic classifier rocev2
§ [HUAWEI-classifier-rocev2]if-match acl 3001
§ [HUAWEI-classifier-rocev2]quit
§ [HUAWEI]traffic behavior none
§ [HUAWEI-behavior-none]quit
§ [HUAWEI]traffic behavior remark
§ [HUAWEI-behavior-remark]remark local-precedence af4
§ [HUAWEI-behavior-remark]quit
§ [HUAWEI]traffic behavior remark3
§ [HUAWEI-behavior-remark3] remark local-precedence af3
§ [HUAWEI-behavior-remark3]quit
§ [HUAWEI]traffic policy rocev2
§ #针对RoCEV2报文的优先级更高
§ [HUAWEI-trafficpolicy-rocev2]classifier rocev2 behavior remark3 precedence 5
§ [HUAWEI-trafficpolicy-rocev2]classifier any behavior remark precedence 10
§ [HUAWEI-trafficpolicy-rocev2]quit
§ [HUAWEI]commit
§ [~HUAWEI]traffic-policy rocev2 global inbound
§ [HUAWEI]commit
§ #创建端口组1
§ #把全部连接存储节点的接口添加到端口组1中
§ [~HUAWEI] port-group 1
§ [HUAWEI-port-group-1] group-member 10GE1/0/1to 10GE1/0/48
§ [HUAWEI-port-group-1] commit
§ #对连接RoCE网卡的端口配置hybrid，并指定PFC功能的工作模式
§ [~HUAWEI-port-group-1] port link-type hybrid
§ #RoCE端口退出VLAN1
§ [HUAWEI-port-group-1] undo port hybrid untagged vlan 1
§ [HUAWEI-port-group-1] port hybrid tagged vlan2
§ [HUAWEI-port-group-1] dcb pfc enable mode manual
§ [HUAWEI-port-group-1] m-lag unpaired-port reserved
§ #当主备互联端口断开时，配置了该命令的备机下行端口不shutdown
§ [HUAWEI-port-group-1] undo stp enable
§ [HUAWEI-port-group-1] commit
§ #配置边缘端口
§ [~HUAWEI-port-group-1] stp edged-port enable
§ [HUAWEI-port-group-1] commit
§ #配置队列3出方向的Queue Service缓存空间大小的动态阈值为8（针对RoCE报文优化）
§ [~HUAWEI-port-group-1] qos buffer queue 3 shared-threshold dynamic 8
§ [HUAWEI-port-group-1] commit
§ [~HUAWEI-port-group-1] quit
§ #创建端口组2
§ #把全部两个交换机之间互联的接口添加到端口组2中
§ [~HUAWEI] port-group 2
§ [HUAWEI-port-group-2] group-member 100GE1/0/1to 100GE1/0/6
§ [HUAWEI-port-group-2] commit
§ [~HUAWEI-port-group-2] quit
§ #创建eth-trunk 0
§ #把全部两个交换机之间互联的接口添加到端口组0中
§ [~HUAWEI] interface eth-trunk 0
§ [HUAWEI-Eth-Trunk0] peer-link 1
§ [HUAWEI-Eth-Trunk0] trunkport 100GE1/0/1to1/0/6
§ [HUAWEI-Eth-Trunk0] mode lacp-static
§ [HUAWEI-Eth-Trunk0] commit
§ [~HUAWEI-Eth-Trunk0] quit
§使能ECN功能
§ [~HUAWEI] drop-profile default
§ #配置WRED丢弃模板
§ [~HUAWEI-drop-default] ecn buffer-size low-limit 7000 high-limit 150000 discard-percentage 30
§ [HUAWEI-drop-default] commit
§ [~HUAWEI-drop-default] quit
§ #使能ECN功能
§ [~HUAWEI] port-group 1
§ [HUAWEI-port-group-1] qos queue 3 wred default
§ [HUAWEI-port-group-1] qos queue 3 ecn
§ [HUAWEI-port-group-1] commit
§ [~HUAWEI-port-group-1] quit
§ [~HUAWEI] quit
§ save

前端网络配置：
HUAWEI> system-view
[~HUAWEI] port-group 1
[HUAWEI-port-group-1] group-member 10ge 1/0/1 to 10ge 1/0/48
[HUAWEI-port-group-1] port default vlan **
#配置相应业务vlan
[HUAWEI-port-group-1] commit
[~HUAWEI-port-group-1] flow-control
#打开流量控制开关。
[HUAWEI-port-group-1] commit
[~HUAWEI-port-group-1] quit
[SwitchA] interface eth-trunk 10
#创建上联聚合组
[SwitchA-Eth-Trunk10] mode lacp-static
[SwitchA-Eth-Trunk10] port link-type trunk
[SwitchA-Eth-Trunk10] port trunk allow-pass vlan 11
[SwitchA-Eth-Trunk10] trunkport 10ge 1/0/2
#添加上联物理口
[SwitchA-Eth-Trunk10] trunkport 10ge 1/0/3
[SwitchA-Eth-Trunk10]* dfs-group 1 m-lag 1
#关联dfs组及m-lag

主备两台交换机配置信息需要一致（管理ip、设备命名除外）

注意事项：
利用m-lag与上联设备互联后，实际可用链路为主交换机与上联设备的带宽，备交换机的上联链路属于备份状态，不参与数据转发，主设备故障或者主设备上联链路断开，业务将通过备交换机的上联线路转发，经多次测试，业务丢包2-3个标准ping包。