ホワイトボックススイッチの相互運用性試験～Edgecore SONiC×Catalyst (L2 VxLAN_EVPN編)～ - ネットワーク事業

はじめに

ホワイトボックススイッチ（WBS）とCisco社のスイッチ製品の相互接続検証を実施してみましたので、本記事で設定や検証結果を紹介します。
ネットワークスイッチとしてメジャーなCisco製品と相互接続することで、WBSの品質がどの程度のものか、理解いただけると思います。
今回の相互接続検証では、データセンターネットワークをイメージし、L2 VxLAN/EVPNを利用した小規模なLeaf-Spine構成を構築しています。

【本記事のポイント】

          WBS(ecSONiC)とCiscoスイッチ製品間で、L2 VxLAN/EVPNの構成を構築できた。

          WBSとCiscoスイッチ間のL2 VxLAN/EVPNの接続設定がわかる。

  Ciscoスイッチと相互接続できるレベルまで、WBSの品質が上がっていることがわかる。

簡易設計情報

相互接続検証にあたり、簡易的な設計情報をまとめます。

使用機器

使用機器は以下の通りです。

	SpineSW	LeafSW-1	LeafSW-2
Vendor	Edegecore	Edgecore	Cisco
Platform	AS7726-32X	AS7326-56X	C9300-48T
ASIC	Trident III (BCM56870)	Trident III (BCM56873)	(不明)
NOS (Ver)	ecSONiC (ec202111.4)	ecSONiC (ec202111.4)	IOS (XE 17.3.4)

構成情報

構成情報は以下の通りです。

設定内容

設定内容を以下の通りまとめます。

	SpineSW	LeafSW-1	LeafSW-2
VLAN	設定なし(単一NW)	×2 (vlan10、vlan20)	×3 (vlan10、vlan20、vlan100)
LACP	LeafSW-1,LeafSW-2との接続	SpineSWとの接続	SpineSWとの接続
BGP (iBGP) / EVPN
AS		65100	65100
Router ID		2.2.2.2 /32	3.3.3.3 /32
ネイバー		10.0.0.3	10.0.0.2
IPv4 ユニキャスト通知
通知アドレス		2.2.2.2 /32	3.3.3.3 /32
EVPN
ネイバー		10.0.0.3	10.0.0.2
VNI通知		全VNI	全VNI
VxLAN設定
VTEP		2.2.2.2	3.3.3.3
VLAN-ID / VNI 紐づけ		vlan10 / VNI 10100 vlan20 / VNI 10200	vlan10 / VNI 10100 vlan20 / VNI 10200

SpineSWは単純なレイヤー2スイッチとして動作させます。
LeafSW-1、LeafSW-2は、オーバーレイでvlan10、vlan20を設定します。
アンダーレイではL2VxLAN/EVPNを設定し、vlan10、vlan20の通信をトンネリングします。
また、物理レイヤーでは、LACPを設定することで、SpineSWとの通信経路を二重化・帯域拡張しています。

設定コマンド

実際にスイッチに設定したコマンドをまとめます。
※管理系機能やインターフェースの速度設定は完了しているものとし、割愛します。
(ホスト名、管理用アカウント、マネジメントIP、SSH/Telnet、スピード設定、Breakout設定など)

下記より設定コマンドはダウンロードいただけます。

SpineSWの設定

前提として、AS7726-32Xのインターフェース名・物理ポートは以下のように対応します。

インターフェース名	物理ポート番号
Ethernet112	Port29
Ethernet116	Port30
Ethernet124	Port32 (Breakout レーン1)
Ethernet125	Port32 (Breakout レーン2)

SpineSWには、以下の設定を行います。

インターフェース関連：LACP

LACPの設定

           LACPインターフェース「PortChannel1」「PortChannel2」の作成
           LACPインターフェースはFast Rate設定
           PortChannel1のメンバーポートにEthernet112、Ethernet116を追加
           PortChannel2のメンバーポートにEthernet124、Ethernet125を追加

LeafSW-1の設定

前提として、AS7326-56Xのインターフェース名・物理ポートは以下のように対応します。

インターフェース名	物理ポート番号
Ethernet0	Port1
Ethernet11	Port2
Ethernet124	Port49
Ethernet125	Port50

LeafSW-1には、以下の設定を行います。

           インターフェース関連：VLAN (vlan10、vlan20)、LACP
           IPアドレス：ループバックアドレス、SpineSWへの接続インターフェース
           VxLAN設定：VTEP設定、VLAN/VNIマッピング設定
           BGP(iBGP)/EVPN設定：AS設定、BGPによるVTEP、VNIアドバタイズ

各設定の詳細を以下の通りまとめます。

VLANの設定

           vlan10、vlan20 を作成
           vlan10へEthernet0をアクセスポート(アンタグ)で設定
           vlan20へEthernet1をアクセスポート(アンタグ)で設定

LACPの設定

           LACPインターフェース「PortChannel1」を作成
           LACPインターフェースはFast Rate設定
           PortChannel1に、メンバーポートEthernet48、Ethernet52を追加

IPアドレスの設定

Loopback0 (ループバックインターフェース)：2.2.2/32
(VTEP、BGPのルータIDとして利用)
PortChannel1： 0.0.2/29 (LeafSW-2へL2で接続)

VxLANの設定

           VTEP 2.2.2.2 の設定
           NVO (VTEPとVLAN/VNIマッピングの紐づけポリシー)の作成・設定
           VLAN/VNIのマッピング (vlan10-VNI 10100 / vlan20-VNI 10200)

### VTEPの設定
admin@LeafSW-1:~$ sudo config vxlan add vtep 2.2.2.2

### NVO作成、vtep(2.2.2.2)との紐づけ
admin@LeafSW-1:~$ sudo config vxlan evpn_nvo add nvo vtep

### NVOでVLAN-VNIマッピング
admin@LeafSW-1:~$ sudo config vxlan map add vtep 10 10100
admin@LeafSW-1:~$ sudo config vxlan map add vtep 20 10200

BGP/EVPNの設定

           BGP (AS 65100)を設定
           ネイバーに0.0.3 (AS65100 / LeafSW-2)を設定
           ネイバーに2.2.2/32のセグメントをアドバタイズ
           ネイバーに、自身のVNIを全てアドバタイズ
※ecSONiCでは、BGP設定をFRRouting で設定します。

### FRRouting Configuration モード > Configモードへ遷移
admin@LeafSW-1:~$ vtysh
LeafSW-1# configure terminal

### BGP (AS 65100) を作成、設定モードへ
LeafSW-1(config)# router bgp 65100

### Router ID を2.2.2.2 に設定
LeafSW-1(config-router)# bgp router-id 2.2.2.2

### BGPネイバーとして 10.0.0.3 / AS 65100 [LeafSW-2の情報]を設定
LeafSW-1(config-router)# neighbor 10.0.0.3 remote-as 65100

### BGPネイバーに通知するアドレス情報を設定
LeafSW-1(config-router)# address-family ipv4 unicast

### 2.2.2.2 (自身のVTEP) をアドバタイズ
LeafSW-1(config-router-af)# network 2.2.2.2/32

### アドレスファミリーモードから遷移
LeafSW-1(config-router-af)# exit-address-family

### EVPN設定モードへ
LeafSW-1(config-router)# address-family l2vpn evpn
LeafSW-1(config-router-af)# neighbor 10.0.0.3 activate

### 全てのVNIをアドバタイズ
LeafSW-1(config-router-af)# advertise-all-vni

### アドレスファミリーモードから遷移
LeafSW-1(config-router-af)# exit-address-family
LeafSW-1(config-router)# exit

LeafSW-2の設定

LeafSW-2には、以下の設定を行います。

           インターフェース関連：VLAN (vlan10、vlan20、vlan100)、LACP
           IPアドレス：ループバックアドレス、SpineSWへの接続インターフェース
           VxLAN設定：VTEP設定、VLAN/VNIマッピング設定
           BGP(iBGP)/EVPN設定：AS設定、BGPによるVTEP、VNIアドバタイズ

各設定の詳細を以下の通りまとめます。

インターフェース設定

           vlan10、20、100の作成
           Te1/1/1 をvlan10へ、Te1/1/2をvlan20へアクセスポート(アンタグ)で設定
           Te1/1/7、1/1/8をLACP (ChannelGroup1)へ設定(Fast Rate設定)
           ChannelGroup1をvlan100へアクセスポート(アンタグ)で設定
           ※vlan100はSpineSW、LeafSW-1への接続用VLAN

IPアドレス設定

           Loopback0 (ループバックインターフェース)： 3.3.3/32
           (VTEPや、EVPN/BGPのルータIDとして利用)
           Vlan100：0.0.3/29 (LeafSW-1へL2で接続)

EVPNの設定

           EVPNの作成
▶Ingress replication に設定
▶ルータIDをLoopback0に指定
▶VNIの通知設定
           VLANベースのEVPNインスタンス１、2の作成
▶VxLANの利用設定、Ingress replicationの設定
           VLANにEVPNインスタンスを紐づけ、VNIを設定

NVEインターフェースの設定

NVEインターフェース「NVE1」の設定
　 ▶BGP利用の指定設定
　 ▶Loopback0、VNI 10100、10200の紐づけ、Ingress-Replicationの利用設定

BGPの設定

           BGP (AS65100)の作成
           BGPでルータID 3.3.3.3の利用設定
           ネイバーとして、LeafSW-2 (10.0.0.2 / AS 65100)を指定
           3.3.3をネイバー10.0.0.2 に広報する設定
           ネイバー0.0.2とEVPNの接続を設定

　人気記事ベスト3

1

【第11回】初心者向け Grafana を使用したネットワーク可視化のダッシュボード作成手順

2

【第10回】OSSを活用したSNMPデータの可視化方法～Grafana x OcNOS～

3

【第8回】P4言語とFPGA Smart NICを使用した実装例～NAT編～

通信試験・ステータス確認

試験結果

各端末間でトラフィックを流した結果、以下のように同一VLANの端末同士(端末A～C間、端末B～D間)で通信できていることを確認できました。

	宛先
送信元		端末A (vlan10)	端末B (vlan20)	端末C (vlan10)	端末D (vlan20)
	端末A (vlan10)		- (別VLAN)	〇	- (別VLAN)
	端末B (vlan20)	- (別VLAN)		- (別VLAN)	〇
	端末C (vlan10)	〇	- (別VLAN)		- (別VLAN)
	端末D (vlan20)	- (別VLAN)	〇	- (別VLAN)

ステータス確認

設定した各項目のステータスを確認します。

インターフェース情報

インターフェース情報は、以下コマンドで確認できます。

ecSONiC / IOS共通： show interfaces status

LACP情報

LACPの情報は、以下コマンドで確認できます。

ecSONiC： show interfaces portchannel
IOS： show etherchannel summary

VLAN情報

VLANの情報は、以下コマンドで確認できます。

ecSONiC： show vlan brief　または　show vlan config
IOS： show vlan

BGP

BGPの情報は、以下コマンドで確認できます。

ecSONiC / IOS 共通： show ip bgp

ルート情報

ルート情報は、以下コマンドで確認できます。

ecSONiC / IOS 共通： show ip route

VLAN-VNIマッピング

VLAN-VNIマッピング状況は、以下コマンドで確認できます。

ecSONiC： show vxlan vlanvnimap
IOS： show nve vni

ピアのVNI情報

ピアのVNI情報は、以下コマンドで確認できます。

ecSONiC： show vxlan remotevni <peer-IP>
IOS： show l2vpn evpn peers vxlan

その他注意事項

CatalystスイッチからIngress ReplicationでBUMトラフィックをVxLANで送信できない
VxLAN BUMの転送方式は、Underlay IP Multicast とIngress Replication (EVPN)の2種あります。
以下の理由から、VxLAN BUMの転送方式はingress replicationとする必要があり、CatalystスイッチからはBUMの転送ができません。

　● Catalyst スイッチからは、Ingress Replication でBUMを転送できない。
　● ecSONiC (ec202111.4時点) は、Underlay IP Multicast をサポートしていない。

※BUM： Broadcast、Unknown Unicast、Multicast
※CiscoのNexusシリーズ(データセンタ用スイッチ)では、Ingress ReplicationでもBUM転送可能。

Unknown Unicastの場合C9300から見たRemote VTEP(=試験構成におけるLeafSW-1)配下からパケット送信することで回避可能です。
対向から通信開始することで、C9300のVxLAN MACアドレステーブルに追加されるためです。

Broadcast、Multicast は、現状回避策は無いものと推測しています。

まとめ

今回はWBS(ecSONiC)とCiscoスイッチ製品間で L2 VxLAN/EVPNの構成を構築できました。
相互接続にあたり、WBSとCiscoスイッチでそれぞれ必要な設定がわかりました。
また、WBSとCiscoスイッチ間でL2 VxLAN/EVPNで相互接続ができたことで、WBSの品質の高さも改めて理解できました。

次は、L3 VxLAN/EVPN を利用した相互接続にチャレンジしてみます。

設定ファイルダウンロード

本記事で使用されている設定ファイルは以下「お申し込みはこちら」よりお申込みいただきますと、ご案内メールに記載されているURLよりダウンロードができます。
ぜひお試しください。

お申込みはこちら

最後に

マクニカではオープンネットワーキングを実際に体験し、試験や検証をおこなえる環境をリモートで提供するサービスのご用意があります。
本サービスでは、ネットワークOSの操作性の検証、様々なメーカーのネットワークOSやホワイトボックススイッチ、光トランシーバーを組み合わせた試験をおこなえます。

リモート検証サービスイメージ図

気軽にオープンネットワーキングの検証をおこなえるサービスとなっており、基本構成での利用は無償になっています。
ご利用可能なネットワークOSやホワイトボックススイッチについて、具体的なユースケース、またお申し込み方法はダウンロード資料よりご確認いただけます。資料は下記「マクニカネットワークOS リモート検証サービス」よりアンケートにご回答いただきますとご案内メールに記載されているURLよりダウンロードができます。

マクニカネットワークOS リモート検証サービス