ホワイトボックススイッチの相互運用性試験～Edgecore SONiC×Catalyst(Symmetric IRB/Asymmetric IRB 編)～ - ネットワーク事業

事例

はじめに

今回は、前回に引き続きホワイトボックススイッチ(以下WBS)とCisco社のスイッチ製品の相互接続検証を実施してみたので、本記事で設定や検証結果を紹介します。
今回の相互接続検証では、データセンターネットワークをイメージし、Symmetric IRB/Asymmetric IRBを利用した小規模なLeaf-Spine構成を構築しています。

【本記事のポイント】

          WBS(ecSONiC)とCiscoスイッチ製品間で、Symmetric IRB/Asymmetric IRBの環境を構築・通信試験を実施。
  WBSの品質の高さを再確認。
  ecSONiCのSymmetric IRB/Asymmetric IRB の動作仕様がわかる。

簡易設計情報

相互接続検証にあたり、簡易的な設計情報をまとめます。

使用機器

使用機器は以下の通りです。

	SpineSW	LeafSW-1	LeafSW-2
Vendor	Edegecore	Edgecore	Cisco
Platform	AS7726-32X	AS7326-56X	C9300-48T
ASIC	Trident III (BCM56870)	Trident III (BCM56873)	(不明)
Network OS(Ver)	ecSONiC (ec202111.8)	ecSONiC (ec202111.8)	IOS (XE 17.3.4)

構成情報

構成情報は以下の通りです。

設定内容概要 (簡易パラメータシート)

設定内容を以下の通りまとめます。

	SpineSW	LeafSW-1	LeafSW-2
VRF	設定なし (Default VRFのみ)	Default VRF Vrf10300	Default VRF Vrf10300
■Default VRF
VLAN	-	-	Vlan100
VTEP	-	2.2.2.2/32	3.3.3.3/ 32
LACP	■PortChannel1 メンバ：Port29、Port30 ■PortChannel2 メンバ：Port32/1、Port32/2	■PortChannel1 メンバ：Port49、,Port50 IP：10.0.0.2 /29	■Po1 メンバ：Te1/1/7、Te1/1/8 IP：10.0.0.3 /29 (vlan100)
BGP (iBGP) / EVPN関連
ASN	-	65100	65100
Router ID	-	2.2.2.2 /32	3.3.3.3 /32
ネイバー	-	10.0.0.3	10.0.0.2
VNI通知	-	全VNI	全VNI
■Vrf10300
VLAN/VxLAN関連
VLAN/VNI	-	vlan10 / VNI 10100 vlan20 / VNI 10200 vlan30 / VNI 10300 (L3 VNI)	vlan10 / VNI 10100 vlan20 / VNI 10200 vlan30 / VNI 10300 (L3 VNI)
Static Anycast Gateway	-	MAC: 00:11:22:33:44:55 vlan10 / 192.168.1.254 vlan20 / 192.168.2.254	MAC: 00:11:22:33:44:55 vlan10 / 192.168.1.254 vlan20 / 192.168.2.254
BGP (iBGP) / EVPN関連
ASN	-	65100	65100
ルート情報再配布	-	connected	connected

設定内容詳細

実際にスイッチに設定したコマンドをまとめます。
※管理系機能やインターフェースの速度設定は完了しているものとし、割愛します。
(ホスト名、管理用アカウント、マネジメントIP、SSH/Telnet、スピード設定、Breakout設定など)

※以下の内容は、本投稿では割愛します。(ダウンロード資料に掲載します)
          SpineSW (Edgecore AS7726-32X)：設定コマンド全般
          LeafSW-1（Edgecore AS7326-56X）：SymmetricIRB / Asymmetric IRB以外の設定コマンド内容
          LeafSW-2(Ciscoスイッチ)：設定内容全

＼　コマンド等設定全般も掲載しているフル版資料はこちら！　／

資料ダウンロード

SpineSWの設定

前提として、SpineSW (AS7726-32X) のインターフェース名・物理ポート番号は以下のように対応します。

インターフェース名	物理ポート番号
Ethernet112	Port29
Ethernet116	Port30
Ethernet124	Port32 (Breakout レーン1)
Ethernet125	Port32 (Breakout レーン2)

【SpineSWの設定内容】

インターフェース関連：LACP

SpineSWの設定詳細は以下の通りです。

LACPの設定

LACPインターフェース「PortChannel1」「PortChannel2」の作成 (Fast Rate設定)
PortChannel1、PortChannel2のメンバーポート設定

LeafSW-1の設定

前提として、LeafSW-1 (AS7326-56X) のインターフェース名・物理ポート番号は以下のように対応します。

インターフェース名	物理ポート番号
Ethernet0	Port1
Ethernet11	Port2
Ethernet124	Port49
Ethernet125	Port50

【LeafSW-1の設定内容】

          VLAN設定
          LACP設定
  VRF、Static Anycast Gateway (SAG)、IP設定
          VxLAN、VNI設定
          BGP/EVPN設定 (Default VRF)
          BGP/EVPN設定 (Vrf10300)

各設定の詳細を以下の通りまとめます。

VLAN設定

vlan10、vlan20、vlan30 の作成
vlan10へEthernet0を、vlan20へEthernet1をアクセスポート(アンタグ)として設定

LACP設定

LACPインターフェース「PortChannel1」を作成 (Fast Rate設定)
PortChannel1メンバーポート設定

VRF、Static Anycast Gateway(SAG)、IP設定

  VRFの作成・VLANの紐づけ
          SAG設定
   MAC Address設定
           SAG用IPv4アドレス有効化
  Loopback0 (ループバックインターフェース)設定
　　　　(VTEP、BGPのルータIDとして利用)
          PortChannel1、vlan10、vlan20へ IPアドレス設定

### VRFの作成、VRFとVLANのマッピング
admin@LeafSW-1:~$ sudo config vrf add Vrf10300
admin@LeafSW-1:~$ sudo config interface vrf bind Vlan10 Vrf10300
admin@LeafSW-1:~$ sudo config interface vrf bind Vlan20 Vrf10300
admin@LeafSW-1:~$ sudo config interface vrf bind Vlan30 Vrf10300

### Static Anycast Gateway 設定
admin@LeafSW-1:~$ sudo config sag mac_address add 00:11:22:33:44:55
admin@LeafSW-1:~$ sudo config sag ipv4 enable

### IPアドレス設定
admin@LeafSW-1:~$ sudo config interface sag ip add Vlan10 192.168.1.254/24
admin@LeafSW-1:~$ sudo config interface sag ip add Vlan20 192.168.2.254/24
admin@LeafSW-1:~$ sudo config interface ip add Loopback0 2.2.2.2/32
admin@LeafSW-1:~$ sudo config interface ip add PortChannel1 10.0.0.2/29

VxLAN、VNI設定

          VTEPの設定
  NVO (VTEPとVLAN/VNIマッピングの紐づけポリシー) の作成・設定
          LAN/VNIのマッピング
          L3 VNI設定

### VTEPの設定
admin@LeafSW-1:~$ sudo config vxlan add vtep 2.2.2.2

### NVO作成、vtep(2.2.2.2)との紐づけ
admin@LeafSW-1:~$ sudo config vxlan evpn_nvo add nvo vtep

### NVOでVLAN-VNIマッピング
admin@LeafSW-1:~$ sudo config vxlan map add vtep 10 10100
admin@LeafSW-1:~$ sudo config vxlan map add vtep 20 10200
admin@LeafSW-1:~$ sudo config vxlan map add vtep 30 10300

### VRF間通信で使用されるVNI設定
admin@LeafSW-1:~$ sudo config vrf add_vrf_vni_map Vrf10300 10300

BGP/EVPN設定 (Default VRF)

          BGP (AS 65100 / DefaultVRF)を設定
   RouterIDの設定
   ネイバーアドレス(LeafSW-2)の設定
           ネイバーに10.0.0.3 (AS65100 / LeafSW-2)を設定
           ネイバーへ自身のRouterIDを広報
           ネイバーへ自身のVNIを全てアドバタイズ
※ecSONiCでは、BGP設定をFRRouting で設定します。

### FRRoutingモード、Configurationモードへ遷移
admin@LeafSW-1:~$ vtysh
Hello, this is FRRouting (version 8.0).
Copyright 1996-2005 Kunihiro Ishiguro, et al.

LeafSW-1# configure terminal
### BGP (AS 65100 / DefaultVRF) を作成、設定モードへ
LeafSW-1(config)# router bgp 65100

### Router ID、ネイバー、VTEPアドバタイズ設定
LeafSW-1(config-router)# bgp router-id 2.2.2.2
LeafSW-1(config-router)# neighbor 10.0.0.3 remote-as 65100
LeafSW-1(config-router)# address-family ipv4 unicast
LeafSW-1(config-router-af)# network 2.2.2.2/32
LeafSW-1(config-router-af)# exit-address-family

### EVPNでネイバーへ全VNIのアドバタイズ設定
LeafSW-1(config-router)# address-family l2vpn evpn
LeafSW-1(config-router-af)# neighbor 10.0.0.3 activate
LeafSW-1(config-router-af)# advertise-all-vni
LeafSW-1(config-router-af)# exit-address-family
LeafSW-1(config-router)# exit

BGP/EVPN設定 (Vrf10300)

          Vrf10300とVNI10300のマッピング
          BGP (AS 65100 / Vrf10300)を設定
   直接接続ルートの再通知設定
           EVPNでIPv4アドレスの通知設定

### Vrf10300 と VNI10300 をマッピング
LeafSW-1(config)# vrf Vrf10300
LeafSW-1(config-vrf)# vni 10300
LeafSW-1(config-vrf)# exit

### BGP (AS 65100 / Vrf10300) を作成、設定モードへ
LeafSW-1(config)# router bgp 65100 vrf Vrf10300

### 直接接続ルート、EVPNでのIPv4ユニキャストテーブルのアドバタイズ設定
LeafSW-1(config-router)# address-family ipv4 unicast
LeafSW-1(config-router-af)# redistribute connected
LeafSW-1(config-router-af)# exit-address-family
LeafSW-1(config-router)# address-family l2vpn evpn
LeafSW-1(config-router-af)# advertise ipv4 unicast
LeafSW-1(config-router-af)# exit-address-family
LeafSW-1(config-router)# end

LeafSW-2の設定

【LeafSW-2の設定内容】

          VRF設定
  インターフェース設定(VLAN/LACP)
  Static Anycast Gateway(SAG)、IP、VRF設定
  EVPN設定
  VNEインターフェース設定
  BGP設定

各設定の詳細は以下の通りです。

VRF設定

  VRFインスタンスの定義
          VRF ルーティングテーブル・転送テーブル作成
          ルートターゲットのインポート/エクスポート設定

インターフェース設定 (VLAN/LACP)

  VLANの作成
          VLANのポートアサイン設定
          LACP・メンバーポート設定(Fast Rate)、VLANアサイン設定
　　　 ※vlan100はSpineSW、LeafSW-1への接続用VLAN

Static Anycast Gateway(SAG)、IP、VRF設定

  ループバック、VLANインターフェースにIPアドレスを設定
          VLANインターフェースの設定
   VRFのマッピング
           SAG用MACアドレス設定
           L3VNIでのループバックインターフェースのIP処理設定

EVPN設定

  EVPNの作成
           Ingress-Replication に設定
           ルータIDをLoopback0に指定
           デフォルトGWのアドバタイズ設定
           VNIの通知設定
  VLANベースのEVPNインスタンスの作成
           VxLANの利用設定、Ingress replicationの設定
  VLANにEVPNインスタンスを紐づけ、VNIを設定

NVEインターフェース設定

  NVEインターフェースの設定
           BGP利用の指定設定
           Loopback0、VNI 10100、10200の紐づけ、Ingress-Replicationの利用設定
           L3 VNIをVRFに紐づけ

BGP設定

  BGP (AS65100)の作成
          BGPでルータID 3.3.3.3の利用設定
  ネイバーとして、LeafSW-1 (10.0.0.2 / AS 65100) を指定
          ルータIDをネイバーに広報する設定
          ネイバーとEVPNの接続を設定

通信試験・ステータス確認

通信試験、ステータス確認した結果をまとめます。

試験結果

各端末間でトラフィックを流した結果、以下のように同一VLAN及び別VLANでの端末同士で通信できていることを確認できました。

宛先送信元	端末A (vlan10/VNI10100)	端末B (vlan20/VNI10200)	端末C (vlan10) (vlan10/VNI10100)	端末D (vlan20/VNI10200)
端末A (vlan10/VNI10100)	-	〇 (別VLAN)	〇 (同一VLAN)	〇 (別VLAN)
端末B (vlan20/VNI10200)	〇 (別VLAN)	-	〇 (別VLAN)	〇 (同一VLAN)
端末C (vlan10/VNI10100)	〇 (同一VLAN)	〇 (別VLAN)	-	〇 (別VLAN)
端末D (vlan20/VNI10200)	〇 (別VLAN)	〇 (同一VLAN)	〇 (別VLAN)	-

インターフェース情報

インターフェース情報は、以下コマンドで確認できます。
ecSONiC / IOS共通： show interfaces status

詳細はこちら

【補足】ecSONiCのSymmetric IRB/Asymmetric IRB 自動選択の仕組み

ecSONiC (202111.8時点) では、送信先VNIをキーとしてSymmetric IRB/Asymmetric IRBのいずれを利用するか自動選択されます。

Symmetric IRB/Asymmetric IRB 選択条件

ecSONiCがSymmetric IRB/Asymmetric IRB の選択基準は以下の通りです。

【ecSONiCのSymmetric IRB/Asymmetric IRB 選択条件】

Symmetric IRB：送信元ecSONiCに設定されていないVNI宛ての通信で利用
Asymmetric IRB：送信元ecSONiCに設定されているVNI宛ての通信で利用

※今回の検証では、ecSONiCとCiscoスイッチが保持しているVNIが共通のため、ecSONiCからCiscoスイッチへの通信は、Asymmetric IRBで通信しておりました。

具体例

上記選択条件をベースに、具体例を示します。
送信元装置(ecSONiC)、宛先装置(任意)でそれぞれ設定されているVNIに対し、ecSONiCで選択されるのは以下の通りです。

VNI	送信元 (ecSONiC)	宛先 (任意)	選択結果
VNI 10100	設定あり	設定あり	Asymmetric IRB
VNI 10200	設定なし	設定あり	Symmetric IRB
VNI 20000 (L3 VNI)	-	-	-

まとめ

今回はWBS(ecSONiC)とCiscoスイッチ製品間で、Symmetric IRB/Asymmetric IRBの環境を構築しました。
また、ecSONiCにおける、Symmetric IRB/Asymmetric IRBの選択条件がわかりました。
前回に引き続き、WBS-Ciscoスイッチの相互接続により、WBSの品質の高さを改めて確認しました。

リモート検証サービスイメージ図

気軽にオープンネットワーキングの検証をおこなえるサービスとなっており、基本構成での利用は無償になっています。
ご利用可能なネットワークOSやホワイトボックススイッチについて、具体的なユースケース、またお申し込み方法はダウンロード資料よりご確認いただけます。資料は下記「マクニカネットワークOS リモート検証サービス」よりアンケートにご回答いただきますとご案内メールに記載されているURLよりダウンロードができます。

マクニカネットワークOS リモート検証サービス