如果把數據中心比作一個「人」,則伺服器和存儲設備構成了數據中心的「器官」,而網絡(交換機,路由器,防火牆)就是這個數據中心的「神經脈絡」。本文就針對數據中心的網絡架構和一般設計來說。
01、網絡分區與等保
一般情況下,本著靈活、安全、易管理的設計原則,企業都會對數據中心網絡的物理設備進行分區。通常情況下,數據中心都會採用核心—匯聚—接入三層的網絡結構,核心用於所有流量的快速轉發,而匯聚則是在每個網絡分區上,擔任網關的功能。
一般來說,數據中心的網絡分區中,每一個區域會根據預期的流量和伺服器的數量,分配不同的業務網段。同時,在一些等保要求較高的區域,還會設置防火牆這樣的安全設備,來控制進出這個區域的流量,如下圖所示:
「等保」是等級保護的簡寫,在設置數據中心伺服器區域的時候,不同業務的伺服器的等級保護是不一樣的。比如後臺存儲,帶庫,資料庫這些伺服器的等保和Web、前端、APP的等保就不一樣。而在數據中心網絡中,防火牆的功能,就是用來劃分「等保」,同時用來控制不同等保之間的互訪。
那如何更好的來理解這個「等保」的概念呢?
在目前的數據中心網絡架構中,要考慮到不同等保之間的流量控制,又要考慮到在設計路由的時候的簡便和快捷,目前數據中心的防火牆幾乎都會採用旁路的方式來部署,再配合匯聚交換機上的VRF來控制流量。
02、數據中心網絡分區的方式
分區的劃分方式有以下三種,不同分區方式各有優缺點,通常結合使用。
A.按照伺服器類型分區
比如x86伺服器、小型機、刀片機、大型機、虛擬機進行分類。完全按照伺服器型號分類的話,在實際應用中,可能某個企業小型機被大量使用,而大型機幾乎沒用,就會導致小型機的網絡區域流量巨大而大型機這個區域閒置了。所以,現在的數據中心,幾乎看不見如此分配區域的情形了。
B.按照應用層次分區
比如Web、APP是前端伺服器,而資料庫、存儲、NFS這些是後端伺服器,所以把前端伺服器放在一個區域,後端伺服器放在一個區域。在有些企業的數據中心,也確實是這麼分區的。比如,所有的Web伺服器放在「綜合業務區」,把資料庫就放在「生產管理區」(你也看出來,連區域名字都起得那麼「模糊」 )。如此分區的好處是便於管理,因為前端服務區域和後端服務區域不在一個等保內,前端服務區域直接面對辦公,後端區域則為前端區域服務,如下圖所示:
這種區域的設置方式的好處是便於分開管理,但是壞處也是運維起來屁事太多。比如,前端新上線了一個APP,後端需要相應的資料庫支持,此時系統運維人員就要找網絡運維人員,請他們在後端區的防火牆上開通相應的安全策略。考慮到前端和後端對接也有諸多非網絡的問題,加上前端和後端之間又有防火牆的「阻礙」,所以一旦前端和後端的通信出了問題,網絡運維人員就很容易「被背鍋」了。
C.按照應用類型劃分
例如核心服務,公共服務,辦公區域,隔離區域,開發測試區域進行劃分。這種分區的好處就是,一個「功能業務」的前端伺服器和後端伺服器都在一個等保內了,在前端和後端對接的時候,網絡運維人員不至於因為防火牆策略的原因而「背鍋」。但是這樣劃分又會顯得網絡規劃有點「混亂」。對於一些對前期IP位址規劃不太重視的管理員來說,可能會對前端伺服器和後端伺服器的IP位址規劃帶來些麻煩。比如,給核心伺服器區的IP位址段是10.114.128.0/21,在這裡有10.114.128.0/24---10.114.135.0/24,整整16個C段。但是對於不嚴謹的管理員來說,可能會讓10.114.128.0/24做前端的IP位址,10.114.129.0/24做後端的IP位址,這樣的話,前端和後端的IP位址段就「交叉」了。
如果遇到一種極端的情況,在多級數據中心使用MPLS V.PN網絡對接,讓前端和後端的流量「分流」時,這種前端和後端IP位址段一「交叉」,分流就會顯得極其麻煩。
綜上所述,每一種分區的方式,都有自己的優點和缺點,所以也要按照實際情況進行分區。
03、數據中心常用網絡架構
A.扁平化組網
對於功能單一,伺服器數量小於300臺的小型數據中心來說,通常情況下都會採用兩層式的扁平化組網。也就是匯聚設備擔任網關,接入設備就是一個二層設備,打通二層通道的功能。對於扁平化的組網,也分為比較傳統的VRRP+MSTP,和「堆疊+鏈路捆綁」兩種方式進行組網設計。
第一種就是VRRP+MSTP的結構,如下圖所示:
相比起第一種非常傳統的MSTP+VRRP的架構,第二種「胖樹」結構,則是當前數據中心扁平化組網的常用結構。它的思路是:匯聚交換機必然堆疊,接入交換機按需堆疊,所有冗餘鏈路必須捆綁,形成一個「胖樹」狀結構。它的優點就是,既保證了設備的冗餘性,提升帶寬性能,也能從根本上防止二層環路。但是,要實現設備的堆疊,這個對硬體有要求,所以,這種「胖樹」狀結構的組網,成本比起第一種來說要高不少。
B.三層組網架構
對於大型數據中心,功能多樣,且要進行功能分區的場合,就會採用標準的三層架構。
在這種組網方式中,交換核心區是整個數據中心網絡的樞紐,核心設備通常部署2-4臺大容量高端框式交換機,可以是獨立部署,也可以通過堆疊技術後成組部署(但是考慮到核心和匯聚之間都是三層連接,且堆疊有一定裂開風險,所以一般核心都會採用獨立部署的方式,即核心之間只和匯聚之間有互聯,核心之間無互聯)
分區內的匯聚層和接入層通過堆疊實現二層破環。
下圖為大家展示了一個當前主流的數據中心三層組網架構圖:
剛才的拓撲圖中,各個大區域之間的防火牆採用了旁路的連接方式。防火牆採用旁路連接的目的,也是為了提升可擴展性,並且可以兼容動態路由。而這種結構,要想實現核心—匯聚—接入之間的流量進入防火牆,就需要使用VRF在匯聚交換機上隔離路由了。所以,VRF在這個地方,起到的作用是隔離路由,起到一個「化旁路為串聯」的作用。
本文的難點,也正好是匯聚交換機上使用VRF時,這個業務流的邏輯圖如何畫出。實際上,我本人在剛接到這個項目的時候,也是花了一段時間來理解這個VRF和旁路防火牆之間的關係的。下面我可以簡單為大家說一下劃業務流的方法。
所謂「單一等保」,實際上就是匯聚下方的所有業務網段可以直接訪問,流量無需經過防火牆控制。在這種情況下,就只需要一個VRF,把匯聚—核心和匯聚—防火牆之間的流量隔離開即可。
物理連接圖如下:
由於匯聚、接入,包括防火牆做了雙機或者堆疊,所以在此時可以將匯聚、接入先暫時畫成單個設備,這樣物理結構就不會太複雜了。
然後,去掉匯聚層設備的圖標,用一個方框來代替。在方框內部添加兩個小方框,代表兩個擁有獨立三層路由的虛擬設備,與核心連接的是全局路由,與接入連接的是VRF路由。然後,防火牆上「畫出」兩條線,分別與「全局路由」小框和「VRF」小框互聯。防火牆與匯聚連接的兩條線,可以是不同的物理接口,也可以是不同的子接口。如下圖所示:
最後,去掉匯聚層設備位置的大方塊,將防火牆「塞」在「全局路由」小框和「VRF」小框之間,這樣,一個單一等保級別的,化旁路為串聯的流量圖就完成了。
兩個等保級別,這就要求了兩個等保級別內的業務在互訪時,流量需要經過防火牆。這裡你就要記住:一個等保一個VRF,不同等保級別的流量要放在不同的VRF內。
在畫雙等保邏輯流量的時候,採用的方式和單一等保邏輯流量的方式是一樣的。第一步,仍然是把雙機結構改成單機結構,所不同的是,防火牆和匯聚之間,需要畫三條線。總之,匯聚下面有N個等保,匯聚和防火牆之間就畫N+1條線。
然後,去掉匯聚層設備的圖標,用一個方框來代替。在方框內部添加三個小方框,代表三個擁有獨立三層路由的虛擬設備,接入層交換機換成兩個,分別代表等保1的接入和等保2的接入。
然後,去掉大方框,將防火牆「塞」在「全局路由」小方框和「VRF-1」、「VRF-2」小方塊之間,先形成如下圖所示的結構:
最後,將兩個等保「VRF」的小方塊,分別連接在防火牆的兩邊,這樣,一個雙等保的化旁路為串聯的業務流邏輯圖就畫好了,根據標註的接口編號和規劃的IP位址,就可以寫配置腳本了。而且串聯的邏輯圖畫好以後,也立刻能夠知道靜態路由該如何規劃了。
記住一點:「全局」、「VRF-1」、「VRF-2」上標註的接口,其實全是匯聚交換機的。
記住這個方式,以後遇到旁路防火牆,下面有N多個等保的業務流,也可以按照這個方式去照葫蘆畫瓢了。
04、數據中心未來的發展
隨著大數據時代的到來,企業數據中心承載的業務越來越多,新業務上線越來越快。為了滿足業務的需要,傳統數據中心網絡將逐漸向具備彈性、簡單和開放特徵的新一代數據中心網絡演進。
A.彈性
彈性是指網絡能夠實現靈活、平滑擴展以適應業務不斷發展的需要。彈性擴展包括設備級、系統級和數據中心級的擴展。
設備級彈性擴展:網絡設備需要具備持續的平滑擴容能力。例如接入交換機可以提供25GE/40GE的接入能力,核心交換機能提供百T以上的交換容量,高密度的100GE/400GE接口等。
系統級彈性擴展:數據中心網絡需要支持更大規模的二層網絡。例如提供X萬臺10GE伺服器接入的能力。
數據中心級彈性擴展:數據中心網際網路要能夠支持多個數據中心的資源整合,實現更大規模虛擬機跨數據中心遷移。
B.簡單
簡單就在於要能夠讓網絡更好的為業務服務,能夠根據業務來調度網絡資源,例如要能夠實現網絡資源和IT資源的統一呈現與管理,能夠實現從業務到邏輯網絡再到物理網絡的平滑轉換等。
C.開放
傳統網絡的管理維護是封閉的,獨立於計算、存儲等IT資源。網絡開放以後,可以打破原有的封閉環境,使網絡設備可以與更多的SDN控制器、第三方管理插件、虛擬化平臺等協同工作,從而打造更靈活的端到端數據中心解決方案。
【編輯推薦】
【責任編輯:
龐桂玉TEL:(010)68476606】