IP Fabric(L3 Fabric)概要。メンテナンス時も無停止のネットワークを実現

IP Fabric概要

1952年にCharles Clos氏によって提案されたClos Networkの原則を適用したトポロジーです。
L2ブロードキャストを排除し、安定性と拡張性を向上
L2制限がなくなる。（VLAN数）
BGPとBFDはベンダーに依存せず、L3レイヤーで経路を制御するので、トラブルが発生したときも従来のIPのトラブルシューティングが適用できます。

構成メリット

帯域が足りない場合、スケールアウト可能
スイッチのバージョンアップも、事前にスイッチをメンテナンスモードにすることで、ダウンタイムなしで可能
複数ベンダーの混在が可能

構成注意点

マルチキャストルーティング

設計メモ

ネットワーク帯域を拡張するときはspineノードの台数を追加します。
障害発生時にはノード数が多いほど、障害発生時の帯域幅の減少は僅かになります。
ノード間は1本のリンクで構成することが推奨。（port-channelをしていると帯域が半分になっても、同量のトラフィックが送信され続けてしまうため）
2層Closネットワーク(Spine, Leaf)
3層Closネットワーク(Spine, Leaf, ToR)

IP Fabricイメージ例

複数のスイッチをまとめて、大きなL3スイッチになります。

IP Fabric用語

VXLAN	Virtual Extensible Local Area Networkの略。「L2 over L3」のオーバーレイネットワーク現在のVLANを拡張する技術で、レイヤー3ネットワーク上にレイヤー2ネットワークをオーバーレイで実現する。
VTEP	VXLAN Tunnel End Pointの略。 VXLAN終端ポイント。 VXLAN対応スイッチ VXLANのトンネルはハイパーバイザーに含まれる仮想スイッチや物理サーバーなどに設置されるVTEPで終端される。 ARP解決のようなことをする。 VTEPでは各仮想マシンのMACアドレスとVNIを指定するのに必要なヘッダを生成する。
VNI	VXLAN Network Identifierの略。 VXLANにおいて、各論理ネットワークの識別を行うためのID。 VLANのようなもので、VLANと紐づける( VLAN 100 = VNI 10100, VLAN 300 = VNI 10300) 24ビットのVXLAN IDを活用することができ、最大で1677万のL2ネットワークを作成できることになるため、 VLANのID制限の課題（4096までのIDしか利用できない）を解決することができる。
CRB	Centrally-Routed Bridgingの略 Spine側でL3を行う一般的にはこれが使われる
ERB	Edge-Routed Bridge Leaf側でL3を行う。 East-Westの通信が多い場合。

VXLAN（Virtual eXtensible LAN）

VXLANフレームはデータフレームにVXLANヘッダを付けた上でUDPにてカプセル化し、L3ネットワーク(アンダーレイネットワーク)上をルーティングされながら転送され、L3ネットワークを越えてL2で宛先に到達することが可能です。

VXLAN EVPN（Ethernet VPN）方式

最近のVXLANの主流
BGP による L2 MAC と L3 IP 情報の転送を可能にするこのような拡張をEVPN(Ethernet VPN)といいます
Ethernet VPN(EVPN)というプロトコルの開発によりBGPを用いてユニキャストでの情報交換が行えるようになった。
この技術によりVXLANをData Center Interconnect(DCI)で利用することもできる。
MP-BGP を用いてホストの IP アドレスや MAC アドレス、VNI、VTEP（VXLAN Tunnel End Point） peer 情報などを各VTEP デバイス（NVE [Network Virtualization Endpoint]デバイス）同士が BGP ルーティングプロトコルを活用し、自律的に情報をやりとりしながらネイバー関係を構築することができる手法
VNIという識別子を元に通信を行い、VTEPという出口を目標にVxlanのトンネルを築いています。

OVSDB 方式（RFC 7047）

OVSDB [Open vSwitch Database Management Protocol] コントローラーが、すべての VTEP デバイスを管理する集中管理型モデル

Multicast 方式

ホスト間のMACアドレス情報の交換のためにマルチキャストルーティング
Underlay ネットワーク上で Multicast ルーティングを動かすことで、VTEP アドレスの検出や VM の IP アドレスや MAC アドレスの検出などすべて Flood & Learn により実現しています。

参考：コラム - クラウド時代のオープンソース実践活用 | 第64回　いまさら聞けない？ VXLANの仕組みとVTEPの役割｜CTC教育サービス研修/トレーニング

VXLAN EVPN（Ethernet VPN）

Control Plane (制御情報の交換)	MP-BGP	Multi Protocol BGP
Data Plane (データの転送)	MPLS	Multi-Protocol Label Switching
	PBB	Provider Backbone Bridge
	NVO	Network Virtualization Overlay

Data Planeは、MPLSかPBBかNVOのどれかを利用する。

MP-BGP (Multi Protocol BGP)

BGP(BGP4)は、IPv4だけでしたが、MP-BGPは、IPv4以外のプロトコルに対応しています。

IPv4 ユニキャスト
IPv4 マルチキャスト
IPv4 VRF
IPv6 ユニキャスト
IPv6 VRF

VXLAN EVPN用語

EVI	EVPN Virtual Instance
MAC-VRF
RD	Route Distinguisher MAC-VRFごとに一意の識別子
RT	Route Target
ES	Ethernet Segment
ESI	Ethernet Segment Identifier L2セグメントの、一意の識別子接続先のPE routerのインタフェースに対して同一の値を設定しておきます。

参考：EVPN-VXLANのAll-Active Multihomingによる拠点間の接続を試しました - FJCT Tech blog

参考

BGP in the Data Centerを読みました (1/6) : Chapter 1 - Introduction to Data Center Networks - baron tech blog

Cloud-Native Data Center Networking

Download your copy of latest book by Dinesh Dutt, "Cloud Native Data Center Networking." It's a 400-page must-read for all network architects, developers and operators. Don't miss out! #CumulusResources https://t.co/JwAAiOHh1f pic.twitter.com/nVJUZyw67Z
— CumulusNetworks (@CumulusNetworks) January 13, 2020

目次