一、Spine-Leaf的组网架构的起源
1、关于 CLOS网络架构
Spine+Leaf两层设备的扁平化网络架构来源于CLOS网络。CLOS网络架构是以贝尔实验室的研究人员Charles Clos命名,他在1952年发表了一篇名为《A Study of Non-blocking Switching Networks》的文章,提出了一个模型,即CLOS网络架构,作为克服电话网络中使用的机电开关的性能和成本相关挑战的一种方法。Clos用数学理论来证明,如果交换机按层次结构组织,在交换阵列(现在称为结构)中实现非阻塞性能是可行的,主要是通过组网来形成非常大规模的网络结构,本质是希望无阻塞。在此之前,要实现“无阻塞的架构”,只能采用 NxN 的 Cross-bar 方式。
Charles Clos提出的方法是,分为三层网络架构的CLOS模型,如下图1-1所示,一个三层CLOS网络架构由一个Ingress节点、一个Middle节点和一个Egress节点组成。
图 1-1:CLOS网络架构模型
2、对 CLOS网络架构的扁平化
现在假如我们将图1-1网络架构对折,统一放在一边,那么我们将得到与Spine + Leaf网络架构,如下图1-2所示,俗称叶(Leaf)脊(Spine)架构。接入连接的数量仍然等于折叠后的三层CLOS网络架构的Spine与Leaf之间的连接数,现在流量可以分布在所有可用的链接上,不用担心过载问题。随着更多的连接被接入到Leaf交换设备,我们的链路带宽收敛比将增加,可以通过增加Spine和Leaf设备间的链路带宽降低链路收敛比。
图 1-2:Spine+Leaf网络架构
Spine-Leaf(叶脊)网络架构,可以看作是针对传统三层网络架构局限性的一次扁平化革命。它脱胎于经典的 CLOS网络模型,旨在解决数据中心内部日益增长的“东西向”流量压力。Spine+Leaf网络架构的一个好处就是,它提供了更为可靠的组网连接,因为Spine层面与Leaf层面是全交叉连接,任一层中的单交换机故障都不会影响整个网络结构。因此,任一层中的一个交换机的故障都不会使整个结构失效。
Spine-Leaf架构由两层设备构成:Leaf(叶)层,由叶交换机组成,是网络的实际接入层,它直接连接服务器、存储等设备,并向上连接到所有Spine交换机。Spine(脊)层,由脊交换机组成,是整个网络的骨干,只负责高速转发。每个Spine交换机都与所有Leaf交换机全互联。Spine-Leaf架构带来的优势:确定性与低延迟、无阻塞与负载均衡、高可靠与易扩展,具体详见下表1-2的描述。
表 1-2:Spine-Leaf架构带来的优势
二、数据中心的网络架构
1、传统数据中心的网络架构
早期的传统的数据中心网络还都是基于传统的三层架构,即接入层(将工作站接入网络))、汇聚层(提供基于策略的连接)和核心层(网络的高速交换主干)。这一架构基本都是从园区网络设计中复制而来的。一个标准的传统三层的网络结构如下图2-1所示(流量模型)。下表2-1-1是对各层的简介。
图 2-1:传统数据中心的三层网络架构
表 2-1-1:传统数据中心的三层介绍
欲具体了解互联网数据中心(IDC)介绍的请进入。
对于大多数具有像园区网络这样的南-北配置的流量模型来说是很实用的,而且三层网络结构应用广泛而且技术成熟稳定。但随着技术的发展,它的瓶颈也不断涌现。因为数据中心网络传输模式在不断的变化,大多数传统网络都是纵向(North-South)的传输模式(即南北向流量,详见下表2-1-2的介绍):主机与网络中的其它非相同网段的主机通信都是设备-交换机-路由到达目的地。同时,在同一个网段的主机通常连接到同一个交换机,可以直接相互通信。
表 2-1-2:关于南北向流量与东西向流量
然而,随着云计算的发展,横向(East-West)流量(即东西向流量,见表2-1-2)在数据中心中占据主导地位,涵盖几乎所有的云计算,虚拟化以及大数据。横向网络在纵向设计的网络拓扑中传输数据会带有传输的瓶颈,因为数据经过了许多不必要的节点(如路由和交换机等设备)。主机互访需要通过层层的上行口,带来明显的性能衰减,而三层网络的原始设计更会加剧这种性能衰减,这也就是为什么当前主流的三层网络拓扑结构越来越不能满足数据中心网络需求的原因。
因此,随着云计算和虚拟化技术的普及,这种架构暴露出严重问题:一是带宽浪费与路径低效。为了冗余,汇聚与接入层间有多条链路,但为避免环路,生成树协议(STP)会阻塞其中大部分,只留一条活跃路径。这导致带宽利用率低,且任意两台服务器通信需经过多层设备,跳数多、延迟高且不可预测。环路的形成与危害及生成树协议(STP)的作用详见下表2-1-3的描述。二是扩展性差。升级性能通常需要更换更昂贵的高端核心设备,属于“纵向扩展”,成本高昂且容易达到瓶颈。
表2-1-3:环路的形成与危害及生成树协议(STP)的作用
2、数据中心的IP Fabric网络架构
于是,就有了IP Fabric网络的概念。IP Fabric指的是在IP网络基础上建立起来的Overlay隧道技术,如下图2-2所示,即为基于胖树的叶脊(Spine+Leaf)网络拓扑结构的IP Fabric组网图。
图 2-2:基于叶脊(Spine+Leaf)网络拓扑结构的IP Fabric组网
在这种组网方式中,任何两台服务器间的通信不超过3台设备,每个Spine和Leaf节点全互连,可以方便地通过扩展Spine节点来实现网络规模的弹性扩展。只要遍历一定数量的交换机,可以在几乎所有数据中心结构体系中的服务器节点之间传输流量,该架构由多条高带宽的直接路径组成,消除了网络瓶颈带来的潜在传输速度下降,从而实现极高的转发效率和低延迟。
根据不同的业务需要,Spine和Leaf之间可以使用IP路由、VXLAN或TRILL等技术。具体详见下表2-2的介绍。
表 2-2:Spine和Leaf之间的传输技术
3、简化扩展结构:Spine+Leaf网络结构
事实上,IP Fabric网络允许简化扩展,仅受支持设备及其端口的数量限制,如下图2-3所示,Spine+Leaf网络拓扑结构。
图 2-3:IP Fabric网络允许简化扩展:Spine+Leaf网络结构
三、Spine+Leaf网络结构的局限性
Spine+Leaf网络结构的突出局限性在于:交换机的增多使得网络规模变大。Spine+Leaf网络架构的数据中心需要按客户端的数量,相应比例地增加交换机和网络设备。随着主机的增加,需要大量的叶交换机上行连接到脊交换机。为此,脊交换机和叶交换机直接的互联需要匹配,一般情况下,叶脊交换机之间的合理带宽比例不能超过3:1。
例如,有48个10Gbps速率的客户端在叶交换机上,总端口容量为 480Gb/s。如果将每个叶交换机的 4 个 40G 上行链路端口连接到 40G 脊交换机,它将具有 160Gb/s 的上行链路容量。该比例为 480:160,即 3:1。数据中心上行链路通常为 40G 或 100G,并且可以随着时间的推移从 40G(N x 40G)的起点迁移到 100G(N x 100G)。重要的是要注意上行链路应始终比下行链路运行得更快,以免端口链路阻塞。
另外,Spine+Leaf网络也有明确的布线的要求。因为每个叶节点都必须连接到每个脊交换机,需要铺设更多的铜缆或光纤电缆。互连的距离会推高成本,根据相互连接的交换机之间的距离,叶脊架构所需要的高端光模块数量高于传统三层架构数十倍,这会增加整体部署成本。不过也因此带动了光模块市场的增长,尤其是100G、400G这样的高速率光模块。
总的来说,Spine-Leaf架构通过扁平化、全互联的设计,解决了传统架构的痛点,实现了性能、可靠性和扩展性的全面提升。
欲进一步了解数据中心技术要求的请进入。