數據中心網絡架構

2021-03-06 波分領域明白人
三層網絡

在傳統的大型數據中心,網絡通常是三層結構。通常被稱為:分級的網際網路模型(hierarchical inter-networking model)。這個模型包含了以下三層:

Access Layer(接入層):有時也稱為Edge Layer。接入交換機通常位於機架頂部,所以它們也被稱為TOR(Top of Rack)交換機,它們物理連接伺服器。

Aggregation Layer(匯聚層):有時候也稱為Distribution Layer。匯聚交換機連接Access交換機,同時提供其他的服務,例如防火牆,SSL offload,入侵檢測,網絡分析等。

Core Layer(核心層):核心交換機為進出數據中心的包提供高速的轉發,為多個匯聚層提供連接性,核心交換機為通常為整個網絡提供一個彈性的L3路由網絡。

一個三層網絡架構示意圖如下所示:

通常情況下,匯聚交換機是L2和L3網絡的分界點,匯聚交換機以下的是L2網絡,以上是L3網絡。每組匯聚交換機管理一個POD(Point Of Delivery),每個POD內都是獨立的VLAN網絡。伺服器在POD內遷移不必修改IP位址和默認網關,因為一個POD對應一個L2廣播域。匯聚交換機和接入交換機之間通常使用生成樹協議,STP(Spanning Tree Protocol)。STP使得對於一個VLAN網絡只有一個匯聚層交換機可用,這就意味著大量二層交換機的埠被浪費。

大二層網絡

由於傳統的數據中心伺服器利用率太低,平均只有10%~15%,浪費了大量的電力能源和機房資源。所以出現了伺服器虛擬化技術,為了使得計算資源可以任意分配,需要一個大二層的網絡架構。即整個數據中心網絡都是一個L2廣播域,(相當於取消了匯聚層交換機)。這樣伺服器可以在任意地點創建,遷移,而不需要對IP位址或者默認網關做修改。大二層網絡架構,L2/L3分界在核心交換機,核心交換機以下,也就是整個數據中心,是L2網絡(當然,可以包含多個VLAN,VLAN之間通過核心交換機做路由進行連通)。大二層的網絡架構如下圖所示:

大二層網絡架構雖然使得虛機網絡能夠靈活創建,但是帶來的問題也是明顯的。共享的L2廣播域帶來的廣播風暴隨著網絡規模的增加而明顯增加,最終將影響正常的網絡流量,而且拓撲節點增多後,生成樹協議不容易收斂

CLOS架構

CLOS架構,誕生於1952年,源自一位叫Charles Clos的人提出的Cross Bar結構,這個架構主要描述了一種多級電路交換網絡的結構。Clos最大的優點就是對Crossbar結構的改進,通過Clos架構可以提供無阻塞的網絡。這個結構有點像《三體》裡周文王的黃豆算盤計算機,或者FPGA的Logic Unit。

交換機內部連接輸入輸出埠的是Switch Fabric。最簡單的Switch Fabric架構是Crossbar模型,這是一個開關矩陣,每一個Crosspoint(交點)都是一個開關,交換機通過控制開關來完成輸入到特定輸出的轉發。一個Crossbar模型如下所示:

展開討論之前,先說明一個簡單的概念,如果N Inputs, N Outputs想實現無阻塞轉發,那麼交叉拓撲結構將會是一個全聯接的Full Mesh結構,也就是N*N個交叉點,而且一對輸入輸出之間,只有一條可行路徑,實際網絡這麼設計是非常不靈活的。

怎麼辦呢?

後來有人搞出來了CLOS架構,其實就是在Input Layer 和Output Layer之間加了一個Switch Layer作為中繼,這一層可以有好幾臺交換機。最後需要的交叉節點數就不是N^2了,而變成了下圖的公式。

CLOS架構被廣泛應用在現代的數據中心,因為它提供了數據中心的水平擴展能力和大規模數據中心所需要的穩定和簡單。下圖就是一個最基本的CLOS單元,Spine和Leaf交換機共同組成數據中心網絡,其中Leaf交換機作為TOR交換機,連接伺服器;Spine交換機,為Leaf交換機提供網絡連接。

我們也可以增加CLOS架構的層級數。上面圖中都是3-stages CLOS架構,雖然只有兩層交換機,但是因為對應CLOS的理論,是一個對摺了的架構,所以被稱為3-stages。

甚至在現有的spine-leaf基礎上,再增加一層super-spine交換機,就可以構成一個5-stages CLOS架構。如下圖所示,增加了一層super-spine交換機,數據中心規模也水平擴大了一倍,可謂無限之套娃。

Facebook公司數據中心的Fabric架構就採用了CLOS,這樣用一堆二三線廠家的低端交換機和路由器,就可以得到主流廠家核心交換機的效果。但是因為Fabric架構有更多的交換機互聯鏈路,所以需要更多的光模塊,以及更多的機架。但是隨著100G光模塊價格的下降,數據中心向400G演進,光模塊的成本越來越不是問題。

相關焦點

  • 美國防部:以網絡為中心向以數據為中心安全模式轉變
    E安全10月19日訊,據外媒報導,美國國防部於2020年10月8日發布了首部《數據戰略》,概述了打造「以數據為中心」的新型國防部所需的八項指導原則,四個基本能力和七大目標。其中,「數據安全」佔據了七大目標中的最多篇幅。
  • 支撐美團萬億級數據中心的計算引擎架構演進
    一、OCTO數據中心簡介1.1 系統介紹1.1.1 OCTO系統介紹OCTO 是美團標準化的服務治理基礎設施,目前幾乎覆蓋公司所有業務的治理與運營。1.1.2 OCTO數據中心業務介紹OCTO 數據中心為業務提供了立體化的數字驅動服務治理能力,提供了多維度的精確時延 TP(Top Percent,分位數,最高支持6個9)、QPS、成功率等一系列核心指標,粒度方面支持秒級、分鐘級、小時級、天級,檢索維度支持多種複雜查詢(如指定調用端 IP + 服務端各接口的指標,指定主機 + 接口的指標等
  • 美軍信息網絡安全架構解析
    美軍信息網絡是世界上最複雜的國家級網絡之一,隨著美軍戰略調整始終保持動態演進的態勢,平均每5年就會拋出新的網絡概念、新的網絡架構和新的網絡建設計劃,其安全體系設計也不斷變化,這裡主要梳理美軍網絡整體概況和發展進程,重點關注其網絡隔離與跨域融合的安全保障措施。
  • 維諦技術(Vertiv):「數據中心群落」崛起
    6月27日,在一場只談技術的維諦技術(Vertiv)高峰論壇上,維諦技術(Vertiv)大中華區市場營銷與產品應用部副總裁田軍,在業界率先提出了「數據中心群落」的理念,「在我們深入的研究後發現,群落這個趨勢,要比生態更適合未來數據中心的架構。」田軍說。
  • 工業網絡靶場漫談系列之(五)--工業網絡靶場之架構設計
    2.2 攻防對抗型網絡靶場的通用架構圖2 攻防對抗靶場的通用框架圖[3]編排層——使用來自RLMS的輸入數據的層。它旨在協調網絡安全工具。同時,它集成了網絡靶場的技術和服務組件。基礎設施——基礎設施的水平,它決定了網絡靶場的真實性和準確性。此外,還使用了生成流量和建模攻擊的方法。
  • 國家一體化大數據中心中衛樞紐節點信息安全運營中心揭牌!
    作為戰略合作夥伴,啟明星辰助理總裁王洪巖應邀出席揭牌掛牌儀式,見證「國家一體化大數據中心中衛樞紐節點信息安全運營中心」成立,啟明星辰集團技術專家楊瑞雪做出《以PPT&RGB模型構建全方位實戰化網絡安全保障體系》精彩演講。
  • 大數據架構hadoop .
    大數據分析大分類Hadoop平臺對業務的針對性較強,為了讓你明確它是否符合你的業務,現粗略地從幾個角度將大數據分析的業務需求分類,針對不同的具體需求,應採用不同的數據分析架構。按照數據分析的實時性,分為實時數據分析和離線數據分析兩種。實時數據分析一般用於金融、移動和網際網路B2C等產品,往往要求在數秒內返回上億行數據的分析,從而達到不影響用戶體驗的目的。
  • 神經網絡架構之優化器與調度器詳解
    本文介紹使用優化器和調度器提升模型訓練和調整超參數前言優化器是神經網絡架構的重要組成部分。
  • 深入解讀大數據框架Hadoop之HDFS架構
    (高容錯)HDFS提供對數據的高吞吐量訪問,適用於具有海量數據集的應用程式。(高吞吐量)HDFS放寬了一些POSIX要求,以實現對文件系統數據的流式訪問。(流式訪問)HDFS最初是作為Apache Nutch網絡搜尋引擎項目的基礎設施而構建的。HDFS是Apache Hadoop Core項目的一部分。
  • 給數據中心部署 NVIDIA TESLA P100 的三大理由
    現代化的 HPC 數據中心正攻克當今世界所面臨的部分超級挑戰。傳統的 CPU 已不再能提供其過去所帶來的性能提升,HPC 數據中心的出路是 GPU 加速計算。NVIDIA Tesla 是加速計算領域的先進平臺,也是世界部分超大型計算中心的動力源,能夠在提供超高吞吐量的同時節約成本。
  • 「數據架構」什麼是數據流程圖(DFD)?如何繪製DFD?
    數據存儲數據存儲表示進程所需和/或產生的持久數據的存儲。下面是一些數據存儲的例子:成員表單、資料庫表等。數據流程圖與實例-客戶服務系統本文http://jiagoushi.pro/node/857討論:請加入知識星球【首席架構師圈】或者加微信小號【jiagoushi_pro】或者加QQ群【11107777】公眾號【jiagoushipro】【超級架構師】精彩圖文詳解架構方法論,架構實踐,技術原理,技術趨勢。我們在等你,趕快掃描關注吧。
  • 信息安全/網絡安全/數據安全的關係
    3.網絡安全網絡安全這個概念也是不斷演化的,最早的網絡安全是Network Security,是基於「安全體系以網絡為中心」的立場,主要涉及網絡安全域、防火牆、網絡訪問控制、抗DDOS(分布式拒絕服務攻擊)等場景,特別是以防火牆為代表的網絡訪問控制設備的大量使用,網絡安全域、邊界、隔離、防火牆策略等概念深入人心。
  • ☞未來數據中心新貴: 微伺服器, 定義、商機解讀
    ,導致數據中心將承載著大量並行化、海量小負荷的工作需求,使得傳統的數據中心將面臨巨大的挑戰。在雲計算、大數據、移動網際網路飛速發展的今天,伺服器作為基礎層的支撐設備,高性能與低能耗成為用戶的最終訴求。因此,微伺服器擁有比刀片伺服器更高的部署密度以及更低的能耗。本期,筆者將從十個方面帶大家了解微伺服器那些事。大數據時代的來臨,將海量數據湧入數據中心,導致數據中心將承載著大量並行化、海量小負荷的工作需求,使得傳統的數據中心將面臨巨大的挑戰。
  • 圖解10大CNN網絡架構,通俗易懂!
    這裡還要特別指出,這些 CNN 網絡結構的來源五花八門——計算機硬體性能的提高、ImageNet 競賽、解決特定問題、新想法等等。一位在 Google 工作的研究員 Christian Szegedy 曾經提到: 「這個進程絕大多數不只是由於更強大的硬體、更大的數據集和更大的模型,更是一系列新想法、算法和網絡結構的改進」。
  • 英國網絡安全中心警告:DNS劫持持續上升
    英國政府的網絡安全中心 (NSCS) 已向各組織發出了嚴厲警告,建議他們需要在 DNS 劫持攻擊不斷增加的情況下實施額外的安全措施,否則將面臨慘痛的後果。上周,NCSC發布警告稱,它已經觀察到了各種利用不同層面的 DNS 系統的攻擊行為。
  • EasyScheduler的架構原理及實現思路,大數據工作流調度系統
    Easy Scheduler 大數據工作流調度系統已經開源,下載地址:https://github.com/analysys/在對調度系統架構說明之前,我們先來認識一下調度系統常用的名詞。名詞解釋DAG:全稱Directed Acyclic Graph,簡稱DAG。
  • 2020年網絡中心戰(NCW)大會將於2月在義大利羅馬召開
    網絡中心戰會議旨在使計劃經理,軍事專業人員和行業專家能夠討論和探索世界各地的最新發展,技術和機會。鑑於盟軍之間無縫互通性的迫切需求以及NCW作為力量倍增器的本質,與會人員將獲得寶貴的信息,以優化其內部和聯盟的網絡能力。
  • HA架構的常見設計方法
    實現多活有較高的成本,要考慮數據一致性、網絡延時問題。常見的多活方案有同城雙活、兩地三中心、三地五中心、異地多活等多種技術方案,不同多活方案技術要求、建設成本、運維成本都不一樣。同城雙活:是在同城或相近區域內建立兩個機房。
  • 5G無線網絡架構及其虛擬化技術
    CU/DU分離架構與接口架構特點CU/DU通過F1接口進行連接控制面消息採用SCTP用戶面消息採用GTP-U一個CU可以控制多個DU,現階段一個邏輯DU僅  能連接到一個CU不標準化獨立的DU-IDCU可以分裂成CU-C和CU-P兩個部分
  • GTC 2020 | NVIDIA全新Ampere數據中心GPU全面投產
    A100採用了NVIDIA Ampere架構的突破性設計,該設計為NVIDIA第八代GPU提供了迄今為止最大的性能飛躍,集AI訓練和推理於一身,並且其性能相比於前代產品提升了高達20倍。作為一款通用型工作負載加速器,A100還被設計用於數據分析、科學計算和雲圖形。