雲網絡工程師必看丨6大最新OpenStack網絡架構

2021-02-23 OpenStack


繼上周發布 觀影指南丨十大最值得收看的奧斯汀Summit網絡主題演講 之後,我們再次為沒能親臨奧斯汀OpenStack Summit現場的童鞋們梳理本屆峰會SDN網絡主題的重要技術講座。UnitedStack有雲SDN網絡部PTL王為在奧斯汀峰會期間共觀看了20餘場技術講座,綜合之後再YouTube上觀看的回放,對36個Session進行了介紹和評論。

這些網絡技術講座的觀影指南涉及架構、功能與工具、開發與其他四大領域。我們將分主題系列發布,希望幫助國內的開發者、架構師和用戶更好地了解OpenStack在SDN網絡領域的最新發展。本文所介紹的相關講座在 YouTube 均有完整視頻(詳見:https://www.youtube.com/user/OpenStackFoundation/videos,在 Youtube 上搜索對應名稱即可)。

▼1. Practical OVN Architecture, Deployment, and Scale of OpenStack▼2. OpenStack and Opendaylight The Current Status and Future Direction▼3. OpenDay Light - Collaborating with OpenDaylight for a Network-Enabled Cloud▼4. Dragonflow - Neutron Done the SDN Way▼5. Deploying Neutron Provider Networking on Top of a L3 Provider Network Using BGP-EVPN▼6. Overstock.com's OpenStack Networking Strategy

1. Practical OVN Architecture, Deployment, and Scale of OpenStack

評分:★★★★
簡介:開頭科普了一下 OVN 的架構,一些做的不錯的地方,然後著重介紹了這個 Release Cycle 中社區對 Scale 的進展和測試,以及其他一些目標。對 OVN 感興趣的同學應該看一看。 

評論: 標題雖然叫Practical,但遺憾的是實踐的內容並不多,提到了社區做的 Scale測試,主要是利用Sandbox在20 臺物理機上做 2000個Hypyervisor的控制平面模擬,IBM在實際物理環境中部署過90個Hypervisor的Scale,下一步要測試 300 臺和 700 臺的規模。

關於最近的進展,Scale上有一定提升,例如 ovsdb-nb 和 ovsdb-sb 分拆到兩個進程等,但遺憾的是比較受人關注的 ovsdb 的多進程還在開發中,原生 NAT、擺脫 MQ 等一些關鍵 Feature 也還沒有做完。部署上已經支持了 Puppet OpenStack,同時社區對 Rolling Upgrades 也比較重視,這方面做的也不錯。下一步的目標主要還是 OVSDB 的 HA(關鍵 Feature)、L3 Gateway 和 NAT 的支持(關鍵 Feature)、Native 的 DHCP、MetaData 等等,還有一段路要走啊。

OVN 剛推出很多人看好,原因最主要是強大的社區,其次剛開始給出的設計文檔也不錯,遺憾的是剛拿出來的版本距離長期設計目標就差的很遠(OVSDB 的 HA 問題,甚至目前還是單進程的!大量的非分布式實現等等),所以就讓很多人憂慮 OVN 是不是太晚了。

一年多過去了,OVN 社區確實做出了很多努力,但遺憾的是前有 DragonFlow,後有 OpenDaylight OVSDB Netvirt 各種競爭,而且前者發展時間長、已有部署案例,後者在 HA、各種功能(SFC、VxLAN Gateway 等)也有所擅長,而且兩者對如何解決資料庫/資源同步問題都提出了自己的方案(versioned object、async sync)等,而OVN社區目前還沒有考慮過這個問題,只能說留給OVN的時間已經不多了啊。

2. OpenStack and Opendaylight The Current Status and Future Direction

評分:★★★★☆

簡介:開頭科普了一下 OpenDaylight 的架構,然後介紹了在 OS M 版和 ODL Beryllium 版上的進展,特別是 V2 版 Driver 的情況,值得一看。 

評論: V2 Driver 是一個關鍵性但複雜的事情,主要是增強了 HA 和 Scalability,這也得益於 OPNFV 的不斷測試。其中的關鍵問題之一是資料庫的不同步。做過類似 SDN 與 OpenStack 對接的開發者都知道,因為事涉兩個系統,兩個資料庫,所以保持數據一致性是一個很麻煩但有很重要的問題,一旦處理不好,輕則狀態不一致,重則大量髒數據充斥兩個系統還無法輕易刪除,最終無法維護。ODL 選擇了一個相對簡單一些的方案,就是將一個 Sync 操作拆開,拆一部分為獨立的循環,這個思路可能是和以前的 Neutron agent 學的?

我們可以看到 API 返回過程實際是沒變的,仍然是直接寫資料庫然後就返回,但此時狀態時 Pending 的,由另一個獨立線程周期去取 Pending 的數據,然後交給 ODL,這樣來保證 API 操作的即時性和狀態的一致性。

輕量測試框架看起來對用戶不會有很大的影響,但是對開發真會方便很多,跑和 OpenStack 的集成測試不需要專門跑 ODL 了,簡化很多。支持了基於 Port binding 的 OVS DPDK 集成(這樣你可以混布 DPDK 和 非 DPDK 了!),100% 通過 Tempest 測試。在新版的 ODL 上,HA、穩定性、各種 Feature 也增強很多,可以認為 ODL 和 OpenStack 集成已經很靠譜了。

在下一個版本中,一方面是 v2 的繼續增強,一方面是 SFC、FD.io、BGPVPN、L2GW 等這些的增強。按照 FD.io 的文檔,FD.io 社區的計劃也是通過 ODL 與 OpenStack 集成,按照目前的資料 FD.io 的性能特別是多流性能上就超出 OVS DPDK 一大截,值得期待。SFC 有其他 Session 做介紹,這裡就不多說了。最後做一點科普,OpenDaylight 可以作為純軟的 OpenStack SDN 後端,具體的模塊是 netvirt,也是以 OVSDB 來控制 OVS 完成網絡功能,目前功能的完善程度還是比較高的。 

3. OpenDay Light - Collaborating with OpenDaylight for a Network-Enabled Cloud

評分:★★★

簡介:這是一個在MarketPlace的短片演講,主要介紹了ODL本身和其與OpenStack集成的好處,以及一些客戶案例。 

評論:對ODL不了解的同學可以看一看,看過 OpenStack and Opendaylight The Current Status and Future Direction 的同學就不用看了。

4. Dragonflow - Neutron Done the SDN Way

評分:★★★★★

簡介:開頭科普了DragonFlow的架構和意義,然後介紹了最新的進展,其中重點是 Plugable DB (你將可以愉快的使用 ETCD、RamCloud、Redis 等作為分布式的資料庫後端)、Plugable 消息後端(你可以愉快的使用 0MQ)、分布式的 DNAT、DHCP 和 OVS 實現的安全組均已完成!

評論: 在2015年的溫哥華Summit 會後總結上,筆者就向國內同僚介紹過 DragonFlow 這個生機勃勃架構的項目,主要 Contributor 中 Gal 和 Eran 都是很有創造力的人,最近隨著國內的馬力的加入讓這個「小社區」更加充滿活力,從他們的 Feature 介紹中也能看出裡其發展之強。演講著重介紹了關於資料庫一致性的問題解決,和 ODL 重點討論的那個事情是一樣的,區別是二者的方法,DragonFlow 目前採用的是基於鎖實現,類似於兩步提交,但計劃修改成基於版本的對象控制,這個計劃其實和 ODL 的實現也是有類似的,但是這裡不用狀態這個欄位,而是用版本,確實看起來更優雅但實現難度還是比較高的。

OpenStack 與 SDN 集成的兩大痛點,一個消息問題,一個資料庫問題,不同的社區給出了不同的解決方案(棄用 MQ 還是採用分布式 MQ?基於 CAS 的比較還是基於狀態的異步處理?),很讓人拭目以待。此外 DragonFlow 還公布了他們在 Scale 上的路線圖,隨著 0MQ 的引入,他們把理論的 Scale 已經提高到 4000 節點,但這還是不是終點,目前的目標是 10000 臺節點!

DargonFlow 在更新速度上、架構上(他們在架構上在不斷進化)都絕對不輸目前 Neutron 幾個其他 SDN 方案,唯一遺憾的是社區和聲音都小了些,希望未來能有更多的慧眼識珠之人參與進來。


5. Deploying Neutron Provider Networking on Top of a L3 Provider Network Using BGP-EVPN

評分:★★★★

簡介:這是一個 Walmart 出品的其網絡結構設計 Case Study,主要技術是 MPBGP EVPN,對大型的 OpenStack 網絡設計(VxLAN 網絡設計)還是很有價值的,演講附有珍貴的實際性能數據。 

評論: Walmart 首先談了他們的痛點: 

1. 目前數據中心建設過程太過漫長,需要6-12個月;
2. 流程長、重複工作多、缺乏進度可視、相互依賴;
3. 傳統網絡架構需要很多網絡工程師維護,應用喜歡二層而網絡工程師喜歡三層,網絡和安全由不同的人負責 。

據此,Walmart 希望一個支持裸機和虛機、支持大二層、安全、可靠、無廠商鎖定的網絡方案。最終他們選擇MPBGP EVPN VxLan組網。 

MPBGP EVPN 在網絡界已經不是新技術了,但和 OpenStack 結合其實不多,一來設備支持不那麼豐富,二來社區有L2 POP+ARP Responder的解決方案(當然也有 MPBGP EVPN 的軟體實現方案,BaGPipe!),此外 OpenContrail 作為開源軟體 SDN 界的技術擔當也一直支持,所以這個話題在 OpenStack 社區圈內討論的不多,但是如果你想真的解決 VxLan 的廣播問題,或者想擴展 VxLan 到 DCI,那 MPBGP EVPN 確實值得考慮。此外通過設備解決分布式路由?Ancast Gateway(簡單的說就是分布式的 VRF)。網絡架構整體是和 Spain-leaf 沒什麼區別,但重要的是 VxLan de/encap 是在 ToR 上做的。

最後,Walmart 給出了其性能測試數據,基於 Dell 和 Cisco 的硬體。有意思的是他們還有一個測試項叫 AppMix,混合了各種應用來模擬真實情況。另外還有 Walmart 給出的小包性能一般,瓶頸應該在軟體或虛擬機上,不應該是 ToR 的問題。

對了,筆者在會上問了 Walmart 使用的控制器或自動換軟體是什麼,答案是目前在用 VTS,將來計劃遷移到 Ansible 上,網絡資源全部是預配置的。

6. Overstock.com's OpenStack Networking Strategy

評分:★★

簡介:用一句話介紹就是 Overstock.com 是如何使用 Midonet 然後過上了幸福的生活的。 

評論:演講者之前網絡設計和規劃比較一般般,故障恢復需要數小時,用了 Midonet 和改善了架構後之後做到了零丟包,End。廣告太硬了,差評。 

編者註:本文作者為UnitedStack有雲SDN網絡部PTL王為。有關此次奧斯汀OpenStack Summit各個技術主題的演講視頻,可以在YouTube上完整觀看。

相關焦點

  • 美團雲的網絡架構演進之路
    但其實,從深入電影、外賣等領域起,美團就早已不再是一家團購公司了,打開今天的美團APP:電影、外賣、機票、酒店、上門、甚至周邊遊等多重垂直業務均被囊括其中。2015年年底,美團與大眾點評宣布合併,合併後新美大的年活躍用戶量達到1.7億,高速增長的業務壓力和巨額交易量的背後,是美團雲提供的技術支持,讓其保持著平穩運營。
  • OpenStack架構分析與實踐
    網絡部署雖然網絡既可以單獨部署,也可以與其他的節點一起部署,這裡還是需要單獨來說明一下,因為網絡規劃的好處,極大的影響了整個雲平臺穩定性、安全性與可維護性。這裡我們暫且將部署網絡服務的節點稱為網絡節點吧(雖然它有可能與上面提到的節點角色有所重疊)。網絡節點部署時一般分為三類:管理網、存儲網、數據網和上聯網。管理網。
  • 阿里雲「雲網絡3.0」:構建應用、雲、邊一體網絡
    雲網融合、雲網協同、網絡雲、雲網絡、雲邊一體……隨著網絡與雲的結合越來越緊密,產業生態鏈上的重要玩家提出了一系列概念和各自的雲網發展規劃,以求佔據產業先機。  以三大運營商為例,中國電信發布了雲網融合戰略和雲網融合白皮書,提出「網是基礎、云為核心、網隨雲動、雲網一體」。中國移動表示,正在大力推動網絡雲化部署,NFV網絡雲伺服器規模已達6萬臺。
  • 華為雲擎天架構 引領雲基礎設施升級
    【中國,深圳,2020年5月20日】2020年華為全球分析師大會上,華為雲CTO張宇昕介紹了華為雲最新推出的華為雲擎天架構,並發布由擎天架構加持的「零損耗」裸金屬容器解決方案,引領雲基礎設施升級。Gartner最新報告顯示,2019年華為雲在中國IaaS市場排名前三,在全球排名上升至第六,全球增速最快。「歷經八年技術積澱的擎天架構,正是驅動華為雲穩健增長的關鍵動力源之一。」張宇昕表示,「基於擎天架構的雲基礎設施,實現了全場景的一致體驗與生態,為客戶提供最優算力、極致效能、穩定可靠的雲。
  • 億速雲北京三區雲伺服器,提供高可用性機房+領先全國的網絡性能!
    億速雲北京三區以「雙可用區」開區,依託首都北京的地理區位輻射優勢、各大網絡運營商的全國網絡架構以及流量模型,再結合億速雲自主設計的智能骨幹路由優化調度方案,可實現承載大規模的雲服務以及領先全國的網絡性能。
  • 網絡安全行業職業發展方向
    通過以上網絡安全產品和技術,我們可以設計並提供一個安全可靠的網絡架構,為政府/國企、網際網路、銀行、醫院、學校等各行各行的網絡基礎設施保駕護航。(MAC泛洪與欺騙、802.1x、WiFi暴力破解…)、硬體安全(利用NSA洩露工具包攻擊知名防火牆、設備遠程代碼執行漏洞getshell、網絡設備弱口令破解.. )、配置安全(不安全的協議被開啟、不需要埠服務被開啟…)… 3、學習這個安全方向不需要太多計算機編程功底(不是走研發路線而是走安全服務工程師路線),更多需要掌握常見安全網絡架構、對網絡協議和故障能抓包分析
  • 百度大腦:端-雲-邊緣協作時代,如何小時級變身AI端計算工程師
    那麼企業如何處理圖片、文本、視頻等不同類型的業務數據,又該選擇哪種端-雲-邊緣的協作方案,才能在這千變萬化的競爭時代,使用少量數據快速實現高精度的 AI 開發,抓住市場的機會呢?我的業務需要毫秒級的預測速度,高並發且沒有網絡環境,哪種 AI 方案適合我?我有很多歷史積累的視頻數據,該怎麼處理才能應用於 AI 方案呢?
  • 網絡安全現狀的「豐滿」與「骨感」,華為安全雲服務如何扭轉乾坤
    為此,華為本月發布了華為乾坤安全雲服務,這是一款面向線下政企客戶的創新網絡安全雲服務業務,可幫助客戶在有限的安全投資下達成更好的安全實效。 網絡安全雲服務領域的所謂「乾坤」,乾為天(雲端),坤為地(本地),乾坤渾然一體。那麼,華為安全雲服務又是如何做到一套創新架構來定乾坤的呢?對此,華為安全產品領域總裁宋端智在接受專訪時為我們進行了詳細解讀。
  • 網絡優化工程師是做什麼的?
    想要知道「網絡優化工程師是做什麼的?」首先要知道「什麼是網絡優化?」所謂網絡優化,就是對4G/5G無線網絡進行測試、分析、優化的專業技術工作。所以網絡優化工程師就像是4G、5G無線網絡的「醫生」和「健康顧問」,診斷和解決網絡存在的問題,同時優化提升網絡健康度及性能。網絡優化工作的進展程度,直接關係著我們對4G/5G無線網絡的使用體驗。網絡優化工程師就是在通信網絡建成之後,在此基礎上進行各種優化(包括軟體、硬體、配置等)。
  • 網絡工程師能做什麼?
    (我們這主要講講售後崗位,售前做的比較少)運維崗位的幾個等級,網絡管理員、信息技術員、運維主管、網絡構架師;系統集成的幾個等級,系統集成初級工程師、系統集成工程師、系統集成高級工程師、系統集成主管、項目經理;廠家工程師的幾個等級,廠家外協工程師、廠家正編工程師、渠道主管、區域主管、
  • 「戴爾+紅帽」聯袂成就OpenStack雲平臺
    該解決方案將最新的OpenStack軟體集成到戴爾伺服器、存儲和網絡平臺之中,採用Red Hat Enterprise Linux OpenStack平臺技術來支持開放、靈活、可擴展的雲,為革新IT服務交付模式打下了基礎,消除了雲解決方案的複雜性,使OpenStack組件更加穩定,簡化了代碼維護,延長支持生命周期,打造出敏捷、靈活、高效的雲環境,充分滿足企業客戶在全新網際網路時代的需求。
  • 通信網絡優化工程師是做什麼的
    如果還沒有從事過通訊行業,你最容易面試到的崗位就叫做通訊網絡優化工程師,但是有些小白對於這樣的崗位是幹什麼的都不太清楚,所以網絡工程師成長日記作者小編來給大家介紹一下。通訊網絡優化工程師的工作內容是幹什麼的?
  • K8S + Openstack ,烽火雲平臺整合進行時
    Openstack定位於底層,在雲服務模型中處於IaaS層,擅長管理底層資源;Kubernetes的定位處於上層,在雲服務模型的PaaS層,更多關注的是應用的交付及管理。在網絡方面,兩者之間在存在各自的解決方案,通信過程中存在多重網絡問題,增加了運維的複雜度且降低系統網絡性能。
  • 華為認證網絡工程師的含金量怎麼樣
    很多朋友聯繫網絡工程師成長日記作者小編其實是想進入到網絡工程師這個行業,但是對華為認證尤其是對華為認證網絡工程師不是太了解就想知道這個行業發展怎麼樣,未來前途怎麼樣?會不會幹一段時間被淘汰了第一網絡工程師是計算機行業中非常常見的一個崗位對於很多朋友在進行職業選擇的時候,首先你是要出於自己的興趣,比如說如果你現在決定自己到底是做軟體工程師還是做網絡工程師的話,那麼你首先你就不要盲目,要不然說軟體好的說軟體不好的人都有說和網絡好說網絡不好的人也大量存在,你首先要根據自己的興趣
  • 順網科技推雲遊戲X86架構:超低時延高性能「霧計算」平臺
    事實上,順網科技雲遊戲新品順網雲玩也在ChinaJoy上正式發售,售價599元,模式為包時制,月卡會員費用為108元。該產品是順網科技推出的最新的雲遊戲終端產品。作為ChinaJoy控股方,今年是順網深度融合ChinaJoy的第二年。
  • 採用片上網絡(NoC)的新型FPGA數據架構賦能5G網絡和數據中心智能...
    應對智能網卡設計的挑戰在傳統的FPGA架構中,用戶需要設計電路來連接加速器,從而導致不理想的布局和布線。更新的FPGA架構使用了一種網絡,在邏輯陣列內的處理單元與各種片上高速接口和內存埠之間傳輸數據(如下面的圖6所示)。
  • 想應聘網絡工程師?記住下面4點,你離成功只會差那麼個好運氣
    網絡工程一直是一個高需求的領域,並且工作領域的發展非常迅速。在世界範圍內,平均工資約為50,000至60,000美元。成為網絡工程師的其他原因也很多,例如現場機會,使用趨勢技術等。一旦進入網絡領域,機會將無窮無盡!人們之間普遍對網絡工程師的工作有疑問?
  • 網絡工程師轉行JAVA30歲?
    有一個朋友添加了網絡工程師成長日記作者小編的聯繫方式之後溝通了很長時間,他過去做的是網絡工程師,他自己現在想轉行做軟體開發,他就想知道是否可行。網絡工程師成長日記作者小編,老鄭本身也是計算機專業出身,同時也做過軟體開發,這樣的崗位對了早幾年網工記小編。連續拿了10年的微軟全球最有價值專家mvp這個認證,所以和程式設計師的圈子是非常貼近的,那麼網工記小編來談談對這個問題的看法,當然這僅代表個人看法。一 首先你做軟體開發還是做網絡,要基於個人的興趣。
  • 選擇OpenStack發行版時,抓住這7個點
    確保你選擇的OpenStack發行版儘快支持最新的穩定的上遊發行版是至關重要的,原因有幾個:上遊版本可能有對組織很重要的功能,或者有一些他們認為是關鍵的bug修復。選擇一個具有可預測的發布節奏且與上遊同步的下遊發行版可以確保透明度並允許組織規劃升級過程。
  • 【英企實習】中國電信(歐洲總部)-網絡架構師助理
    項目崗位 網絡架構師助理 項目時長 6周 項目形式 線上PTA項目名額 2名 項目內容 根據倫敦某世界級銀行網絡通信項目的客戶需求,參與完成客戶需求分析 根據項目要求,參與網絡通信架構服務方案設計,進行項目Proposal材料製作,以及方案現場展示的演練準備