一步步实现SDDC-Edge与动态路由实现

实验摘要：

1>Windows Server软路由器静态路由设置 [难度★复杂度★]

2>Edge Services Gateway边界服务网关部署 [难度★复杂度★]

3>动态路由实现 [难度★★复杂度★★★]

正文：

上篇中，迷你SDDC环境已经实现了逻辑交换和分布式逻辑路由。通过在ESXI内核空间中创建一个DLR Instance，实现dev-web-tier、dev-app-tier和dev-db-tier三个逻辑网络的三层互访。

但是现在虚拟逻辑网络与外部物理网络之间缺少一个互通的桥梁，将物理网络与NSX SDN打通，实现真正意义上的软件定义数据中心网络基础架构。在今天的讨论中，我将向大家演示如何部署Edge Services Gateway和配置动态路由，实现整个迷你SDDC网络环境的最终拓扑。在本文的最后，JUMP代表的外部网络与Web01代表的逻辑网络之间将实现三层互访。

主题：迷你SDDC环境搭建

任务29：Windows Server软路由器静态路由

通过下图，各位可以看到逻辑网络与物理网络之间的边界是ESG设备；我们需要在ADDC、ESG和DLR上配置路由条目，才能实现今天讨论的目标。

在之前的文章“NSX控制平面和静态路由更新流程1” “NSX控制平面和静态路由更新流程2”中，我已经详细描述了NSX-V控制平面组件netcapd与DLR-CVM、DLR-Instance之间如何实现静态路由配置的下发；其中也提及NSX-V6.4版本支持两种动态路由协议，分别是BGP和OSPF。

但是基于Windows Server 2008R2的软路由器动态协议仅支持RIP，因此，我只能在“路由和远程访问”界面下配置静态路由，告知所有迷你SDDC环境外部网络，逻辑网络的路由该如何走。

在ADDC虚拟机的“路由和远程访问”界面，新建IPv4静态路由

新建一条10.0.10.0/24网络的静态路由，NH=172.20.12.100，这是将来ESG边界服务网关的上联地址

各位可以根据自己的喜好，选择是否将所有的逻辑网络目标全部以静态路由的形式发布
实际上，迷你SDDC环境最终想要呈现的3-Tier-App演示效果，是不需要在ADDC软路由器上添加任何静态路由的；因为外部用户只需要访问Web01和Web02两台服务器将来的Load Balance VIP地址，这个地址是172.20.12.200/24，是ADDC软路由器的直连网络，根本不需要配置任何路由条目；本文是为了更好的演示动态路由效果，因此特意添加这些路由条目

由于JUMP主机是我的台式机，只配置了一个172.20.9.150/24的地址，并没有配置网关，因此需要在命令行通过route add命令添加一条静态路由；
在尚未配置ESG的情况下，JUMP主机目前无法ping通dev-web-tier网络的Web01虚拟机地址

主题：迷你SDDC环境搭建

任务30：Edge Services Gateway的部署

接下来，我将演示如何部署一台ESG边界服务网关，这里我想强调四点：

一般来说，ESG和DLR-CVM均部署在边界集群，有时候边界集群和管理集群会合并
由于ESG相当于承接逻辑网络和物理网络的桥梁，因此承载ESG的边界集群主机必须要经过主机准备操作，安装NSX-ESX VIB
如果需要在ESG上启用有状态的服务，如NAT、Load Balancer、VPN等，ESG只能选择以HA方式提供高可用；不可以使用ECMP等价多路径
为了避免路由黑洞的情况发生，DLR-CVM与建立邻居关系的ESG虚拟机不应该放置在同一台ESXI主机上

上述四点是设计NSX时，必须要考量的内容，不过在我的迷你SDDC环境中，由于硬件资源有限，DLR-CVM和ESG虚拟机都只能部署在esxi-1a这台虚拟ESXI服务器上。

在NSX Edges页面，点击ADD，添加Edge Services Gateway

定义设备名称为dev-esg，勾选Deploy Edge Appliance VM

为ESG虚拟机操作系统管理员admin定义密码，同时开启SSH

选择由AT-Management and Edge Cluster下的主机esxi-1a承载dev-esg虚拟机

选择最小规模部署，只部署一台实例，不考虑HA冗余

与创建DLR-Instance实例一样，我们需要为dev-esg配置上联接口和内部接口：

上联接口：172.20.12.100/24

内部接口：10.0.100.1/29

定义dev-esg默认网关为172.20.12.1，该网关是ADDC软路由器的Physical接口地址

可以选择开启ESG的南北向防火墙，设置默认规则为放行

注意，这里的防火墙并不是NSX强大的分布式防火墙

确认各项参数设置无误后，退出向导；NSX Manager将通过vCenter的EAM，在esxi-1a这台服务器上创建一台dev-esg虚拟机

主题：迷你SDDC环境搭建

任务31：动态路由的实现

阶段1：DLR上配置BGP动态路由协议

由于部署ESG的过程，并不涉及任何动态路由协议的配置；因此目前并没有改变JUMP无法访问Web01的情况，反之亦然。

通过在ADDC上配置静态路由，外部网络已经了解到所有逻辑网络目标的下一跳地址是ESG的上联地址，即172.20.12.100/24；接下来，我将演示，如何配置dev-dlr与dev-esg之间的动态路由，最终实现迷你SDDC网络架构拓扑。

首先开始配置dev-dlr，在Routing路由设置下，找到Global Configuration全局设置，点击Dynamic Routing Configuration旁的Edit编辑按键，声明dev-dlr设备的Router ID
一般来说，选择Uplink地址作为该设备的Router ID

完成全局设置后，不要忘记Publish Changes，发布并生效更改

我选择BGP作为动态路由协议，因此进入BGP配置界面，点击Edit编辑

勾选Enable BGP，开启BGP动态路由协议，声明本地自治系统为65002

点击Neighbors邻居下方的绿色加号，添加邻居

添加dev-esg作为dev-dlr的邻居，地址为10.0.100.1，远端自治系统65001

这里有两个特别需要注意的设置，Forwarding Address转发地址和Protocol Address协议地址

转发地址，必须填写dev-dlr的Uplink地址，即10.0.100.2
协议地址，填写的是DLR-CVM的地址，即10.0.100.3

dev-esg与dev-dlr之间建立邻居关系，是10.0.100.1和10.0.100.3(DLR-CVM)之间建立邻居关系；由于dev-dlr的DLR-CVM上拥有所有DRL-Instance直连网络的地址(这一点，可以访问vCenter，查看DLR-CVM的网络摘要知晓)，因此dev-esg在与DLR-CVM建立邻居关系后，可以学习到包括dev-web-tier在内的所有逻辑网络路由；

这里有一个问题值得探讨，DLR-CVM将自己的网络告知自己的邻居dev-esg的时候，路由条目会怎么写？

在物理网络中，肯定是10.0.10.0/24 NH=10.0.100.3；如果是这样，dev-esg在收到外部网络目标地址是10.0.10.0/24的包时，将发往10.0.100.3，可这是一台DLR-CVM，是控制平面组件，并非DLR-Instance，数据转发平面组件。

事实上，DLR-CVM会告知dev-esg的路由条目是10.0.10.0/24 NH=10.0.100.2，会用自己的转发地址替换协议地址。

发布更改，完成BGP动态路由协议的设置

最后不要忘记，进入Route Redistribution，配置路由重分发

激活BGP协议的重分发

将直连的网络重分发给BGP邻居，即dev-web-tier、dev-app-tier、dev-db-tier和dev-transit四个直连的逻辑网络

不要忘记发布更改，重要的事情说三遍！！！

动态路由协议邻居关系的建立是双向的，在完成dev-dlr上的BGP配置后，还需要在dev-esg上配置

主题：迷你SDDC环境搭建

任务31：动态路由的实现

阶段2：ESG上配置BGP动态路由协议

在Edge上配置BGP动态路由协议的操作步骤，与在DLR上的步骤几乎一样，这里就不重复赘述了，请各位直接浏览步骤截图。

两个需要注意的地方是：自治区域和邻居地址是相反的，and ESG没有所谓的协议地址和转发地址区分

为了演示效果，我首先只勾选Connected，即直连网络

在完成dev-esg的动态路由协议配置后，我在Web01虚拟机上，尝试ping 172.20.12.1，即Physical网络的网关地址，可以看到Web01可以访问172.20.12.0/24网络，说明从源为dev-web-tier的包，通过dev-dlr、dev-esg的路由转发，可以到达ADDC这台软路由器；
但是，各位也能发现，为什么同样是ADDC这台软路由器上的模拟物理网络接口地址，Web01依旧无法访问172.20.10.0/24这个网络呢？

主题：迷你SDDC环境搭建

任务31：动态路由的实现

阶段3：合理的重分发设置

答案其实很明显！

此时，如果管理员访问DLR-CVM查看路由表，一定可以发现以下路由条目：

172.20.12.0/24 NH=10.0.100.1

这是dev-esg的直连网络，在设置路由重分发的时候，我在dev-esg上只勾选了直连网络，因此dev-esg一定会将直连的172.20.12.0/24路由告知邻居DLR-CVM，因此在ESXI内核中运行的DLR-Instance可以正确路由目标地址是172.20.12.0/24的IP包；

同时，由于172.20.9.0/24，172.20.10.0/24，172.20.11.0/24并非dev-esg的直连网络，在DRL-CVM中一定没有这三个网络的路由条目，所以Web01虚拟机一定无法访问172.20.10.1这个地址。

如何来解决这个问题呢？

首先，在dev-esg上添加静态路由

添加以下三个目标网络的静态路由：

172.20.9.0/24 NH=172.20.12.1

172.20.10.0/24 NH=172.20.12.1

172.20.11.0/24 NH=172.20.12.1

第四次提起：不要忘记发布更改

在没有正确设置路由充分发之前，Web01依旧无法ping通172.20.10.1

此时，在dev-esg的路由重分发设置下，勾选Static routes，将静态路由条目重分发给BGP邻居
此时，在DLR-CVM的路由表中，就会出现：

172.20.9.0/24 NH=10.0.100.1

172.20.10.0/24 NH=10.0.100.1

172.20.11.0/24 NH=10.0.100.1