Tungsten Fabric架構和最新技術進展丨TF成立大會演講實錄

2021-01-07 IT168

  本文整理自瞻博網絡傑出工程師Sukhdev Kapur在「TF中文社區成立暨第一次全員大會」上的演講,增加了對於TF功能的描述。

  瞻博網絡傑出工程師Sukhdev Kapur

  大家好,我叫SukhdevKapur,來自Tungsten Fabric(以下簡稱TF)社區技術指導委員會,下面我為大家介紹一下TF的架構和技術的現狀,以及最新的進展。

  TF架構與部署模式

  我們可以看一下這張TF的宏觀架構圖,整體圖描述是設備的物理連接,而右上角有虛機之間的邏輯網絡,TF基本的工作原理和機制,就是你創建VM或者POD,然後(通過SDN)把它們放到這些邏輯網絡裡。

  在這些邏輯網絡中,你能夠以根據自己業務需要,放置任何虛機、PODS、或者裸伺服器,它們的物理位置在哪裡沒有關係,它們可能會在一個集群裡,也可能在一個機架中,這都沒有關係。

  大家再看一下它下面底層的部分,TF會利用虛擬的路由器(計算節點上),來負責是這些虛擬的工作負載的轉發,而左邊是一個物理網絡的連接,例如一個裸機的物理網絡,一旦你做好了網絡定義,它可能會和實際網絡連接,也可能會和右邊邏輯網絡裡頭虛擬網絡的虛機來進行連接

  第四部分(上半部分)是CONTRAILController(SDN控制器),是做配置控制分析和CSN的。

  第五部分是網關的功能,它可能是一個物理網關,或者是一個虛擬的網關,當數據中心的虛機需要對外互聯的時候,通過IP的組網——也就是MPLS這種協議——進出骨幹網絡。

  所有這一切,都是通過一個ORCHESTRATOR編排器去管理,它可能是OpenStack、K8s或OpenShift,通過API來調度TF來工作。

  TF中Vrouter的體系架構概述

  這張圖說的是TF的路由vRouter的架構,左上角是vRouter的Agent,主要是控制的部分,在這裡它會通過路由的學習,VRFs的定義,以及策略的定義,如果虛擬路由器要進行策略的執行,必須是由Agent去控制的:它來決定網絡的流量是允許通過,還是拒絕,如果允許的話,應該把它轉發到哪個位置。

  你可以看到,vRouter有一個轉發的路徑,學習的路徑進行封裝,然後做二層或者三層的數據流量的轉發。

  vRouter的部署模式

  這是TF虛擬路由器的四種部署模式,左上角是默認的模式,在內核的vRouter部署。

  右上角呢?如果你在一個高吞吐、高流量的狀態下,網絡支持DPPK的話,TF可以有的DPDKvRouter的部署。

  左下角其實是一種混合部署的模式,如果你有好幾個VNF這種虛擬網絡的功能,可以用到SR-IOV的話,可以採用SR-IOV和內核的vRouter共存的混合模式。

  第四種就是基於SmartNIC的vRouter,也就是說,這些VM可以充分地利用到所有處理器的能力。

  TF與Kubernetes的集成

  大家再來看一下TF和Kubernetes(以下簡稱K8s)的集成,首先,TF的CONTRAIL Controller會和K8s通過API進行通訊,那麼,某一個指定的位置,它是如何得到IP位址以及策略的呢?首先,K8s會和TF的Scheduler也就是調度管理程序進行通訊,再通過調度管理程序和CNI Plugin插件進行聯繫,在左上角就表示vRouter是如何獲得在K8s這邊的策略,去進行IPAM的讀取和執行的,簡單一點說,K8s的管理器會和TF的CONTRAIL Controller進行通訊,確定網絡的策略,然後TF的Controller會把這個策略發布到vRouter。

  TF的微服務架構

  TF的技術演進,一開始主要是基於虛機部署,後來開始支持容器技術,現在已經演進到了微服務(Microservices)的架構。目前我們的TF在部署是完全採用containers的方式進行部署,大概有27-30個左右的image。

  K8s環境下的網絡隔離

  K8s是一個非常扁平的網絡,租戶和租戶之間可以進行任意的溝通,工作負載之間也是這樣。

  基於這樣的場景,我們就通過網絡策略的執行,去實現網絡中租戶的隔離,也就是說,只是在指定區域內的用戶之間,才可以進行溝通。

  那麼在TF這一層,我們把管理又向前推進了一步,即在一個租戶的空間之內,我們也可以決定哪個位置和哪個位置可以溝通,也就是哪個POD和哪個POD通訊。

  TF提供的統一策略管理功能

  下面為大家介紹一下TF的獨特的策略框架。假設我們有一個應用,該應用有三層,分成三層,分別是Web層、應用層和資料庫層。而這個應用的生命周期會有三個階段,分別是開發的階段,部署準備的階段,和最後的生產階段。

  不同的階段可能部署在不同的網絡環境,甚至於不同的雲平臺中,那麼在最上面的開發階段,不同的層之間(層也是tie的概念),會有一些安全的訪問策略(圖中P1的策略也),而這個策略可能在部署準備階段也需要(圖中P2的策略)在生產階段也需要,在不使用TF的情況下,很有可能會出現重複的策略,而是用TF之後,我們可以只使用一個策略

  我們所做的就是把策略的管理進行了簡化,首先就是降低了複雜性,簡化管理,提高了可伸縮度。一旦定義好了策略,你就可以在各種各樣的環境之下,進行規模性的、可伸縮的復用,包括公有雲、私有雲,以及多雲的環境。

  給大家介紹一個實際的策略框架用例。

  假設我們有一個應用,我們允許它的Web層和應用層進行溝通,那麼不管是在開發階段,還是在生產階段,我們都可以使用這樣一個定義,比如在開發階段的Web層,也可以和生產環境下的應用層進行溝通。

  但是,也許我們並不希望有這樣的事情發生,我們不希望某一個開發人員能夠隨意修改在生產環境下的代碼。這時你不用去改變策略,只需要在策略裡頭加上App Match Deployment的標籤,它可以去規定——比如說只有在開發階段的Web層和開發階段的應用層才可以進行通信。

  同樣地,如果你的應用是一個地理分布式的應用,你可以通過定義策略,讓在地理區域A的Web層和在地理區域B的應用層之間進行通信。

  如果你不希望這種跨層、跨區域的通信產生,就在AppMatch Deployment的後頭再加上End Site。所以說這個match,不光是它的部署,還有它的位置,你都要把它match一下。

  我們再加一層,你看我們第二個策略的意思,就是說只要是這個站點我們match上了,匹配上了,那麼它們都可以和資料庫進行訪問。

  這樣的一種策略在管理方面非常的有用。如果你有一個非常大型的跨地理區域分布式的金融應用,它可能使用了多個網絡,網絡上還有數百種的應用,這個時候你只需要一個策略,就可以對整個分布式的金融應用進行管理。

  一個界面,搞定多雲部署

  同時,TF還可以實現多雲部署的自動化管理。比如說我們在駐地這裡自動創建了一個叫做多雲的網關MC-GW,它會建立一個通道,和在雲端的(比如說AWS上的)同樣的部署,自動地進行安全的連接。

  這裡也要看,你在雲上部署的工作負載到底是什麼種類的。有了這個工作負載,你可以在本地雲的環境下進行管理,而TF能夠給你一個多雲的可視性。

  大家可以看一下,如果你自己去進行多雲管理,需要通過很多的流程來實現。而TF只需要一個單一的圖形用戶界面,就能夠輕鬆地進行多雲管理,你需要做的,只是做幾下點擊的動作。

  多雲環境的服務鏈

  下面來介紹一下TF的多雲服務鏈。大家看到最上面有兩個網絡在駐地,左邊的是2.2.2.4,右邊的是3.3.3.5,然後有一個服務的實例,假設服務實例是POD的虛擬化服務,通過TF的服務鏈,可以將工作負載從左邊的網絡傳到右邊。

  同樣地,如果要在不同的公有雲上也去部署這樣的虛擬網絡,你可以通過TF,從駐地到多雲建立這樣一個服務鏈。

  我來總結一下,只需要一個SDN的控制器,就能夠去管理連接——不管是金屬裸機、K8s CNI、OpenStack,還是左邊的各種邊緣的站點——並且提供非常豐富的網絡功能。

  TF與Akraino的集成

  TF在邊緣計算的環境下也做出了自己的貢獻,這是另外一個開源的項目,TF實現了和Akraino的集成,能夠為邊緣計算這樣的場景提供支持,它是純基於K8s原生基礎架構的,非常適用於輕量級的,像工業自動化這種應用。基本上它部署的環境是非常小的,目標行業主要是電信運營商和企業級用戶。

  這是另外一個Akraino和TF集成的用例,主要是打造電信雲,目前美國電信運營商AT&T就做了這樣的一個架構部署。這裡主要是使用SR-IOV這種虛擬化,我們所做的就是把TF作為一個單一的SDN,它的部署模式包含了以上所有類型。

  這是第三個用例,它是一種叫做微雲的軟體堆棧,主要應用於移動的場景,例如手機遊戲,工作負載是移動化的這種架構。

  在這裡我們是怎麼做的?首先,我們有一個DME(分布式的匹配引擎),它知道有多少個設備或者多少個移動用戶接入進來,並根據移動用戶的數量,啟動微雲資源管理器去做信息傳遞;然後微雲資源管理器就會匹配到相應的資源;接下來CRM會和TF的控制器進行溝通,來進行這種資源的部署;再到下面一層,通過vRouter的轉發層,和TF的控制器進行聯繫。

  TF與OpenStack的集成

  熟悉OpenStack的朋友都知道,它有兩種部署模式,一種是單一的插件方式,另一種是基於ML2的部署。

  TF專門有一個Networking Open Contrail,可以將TF作為一個ML2的插件去啟動。這樣做有什麼好處呢?我們可以同時去運行基於OVS、SR-IOV和vRouter的這工作。

  你可以用OpenStack來運行OVS、SR-IOV的工作負載,並且在網絡層面使用我們的TF去進行管理。

  接下來我們將為大家進行演示,看看如何把基於OVS的計算遷移到基於vRouter上面。大家也可以打開下面藍色的連結,自己去進行類似的實驗。

  謝謝各位!

相關焦點

  • Tungsten Fabric中文社區成立大會暨社區第一次全員大會成功舉行
    11月7日,美麗的黃海之濱見證了中國開源雲網絡的歷史性一頁——Tungsten Fabric中文社區正式啟動,並召開第一次全員大會,43家創始會員代表與兩百多位技術愛好者出席。在這樣的時代背景下,專門成立一個中文的開源雲網絡社區,我覺得非常及時和有必要。」 中國工程院院士倪光南特別向大會發來了賀信,為Tungsten Fabric建立中文社區的做法點讚,同時也期待中文社區能跑得更快,把頂尖的技術和專家資源加速引進來,同時帶著中國用戶的實踐經驗,帶著中國技術研發的創新成果,跑到全球社區的前面去,引領多雲網絡領域的國際合作。
  • NCDC Tungsten Fabric開發者論壇 6月亮相北京 聚焦5G網絡邊緣雲
    有著出色的應用記錄和龐大的數據規模,將SDN技術提升到了新的水平,適用於對運營商的網絡部署要求日益提升的今天。2019年6月,Tungsten Fabric將聯合「NCDC網絡與計算開發者大會」主辦方下一代網際網路國家工程中心(www.cfiect.net),共同舉辦Tungsten Fabric開發者論壇。將通過項目介紹、最新5.1版本講解、深挖項目架構與部署,全方位展示Tungsten Fabric的先進理念和技術特點。
  • Tungsten Fabric中文社區成立 為開源雲網絡提速
    11月7日,美麗的黃海之濱見證了中國開源雲網絡的歷史性一頁——Tungsten Fabric中文社區正式啟動,並召開第一次全員大會,43家創始會員代表與兩百多位技術愛好者出席。Tungsten Fabric中文社區創始會員在啟動儀式上開源網絡大勢所趨「混合雲和多雲架構,包括軟體定義網絡的應用,已經是非常明確的技術潮流。
  • GIAC 2020 全球網際網路架構大會演講實錄:基於TarsGo的微服務技術...
    2020年8月14日-15日,GIAC 2020 全球網際網路架構大會於上周五正式在深圳開幕。 GIAC(GLOBAL INTERNET ARCHITECTURE CONFERENCE)是長期關注網際網路技術與架構的高可用架構技術社區和msup推出的,面向架構師、技術負責人及高端技術從業人員的年度技術架構大會,是中國地區規模最大的技術會議之一。
  • GTC大會飛槳專家演講實錄:簡單易用的飛槳分布式訓練功能升級
    有著「年度 AI 風向標」之稱GTC 大會是英偉達每年最重要的發布平臺之一,廣納當今計算領域最熱門話題的相關培訓和見解,並為廣大開發者創造與頂級專家交流的機會。12月15日-19日,GTC中國大會首次以線上大會的形式與開發者相見,共組織265場技術演講,演講者分別來自百度、阿里、騰訊、字節跳動等眾多知名企業與清華大學、中科院計算所等知名高校。
  • TensorFlow 2.0 發布以來,又有哪些最新進展?| AI ProCon 2020
    其中有來自行業內 70+ 頂尖企業、開源社區與科研高校的近 100 位行業領袖、技術大咖與研究學者。他們用更新鮮、更有趣、更年輕的方式,聚焦智能時代 AI 技術的發展曲線以及 AI 與社會各行業結合的最新應用進展,深入解析熱門 AI 技術在行業中的實踐與落地經驗,揭示技術與行業發展面臨的機遇與挑戰。
  • NVIDIA首席科學家Bill Dally將於GTC 中國線上大會首日發表主題演講
    著名計算機科學家將通過線上演講分享AI、數據科學、圖形學等技術領域的最新進展文:Sheryl Huynh全球最負盛名的計算機科學家之一、NVIDIA研究工作負責人Bill Dally將於GTC 中國線上大會發表主題演講, GTC中國線上大會是近期聚焦AI、深度學習、高性能計算技術的全球頂級會議。
  • 2013中國大數據技術大會圓滿落幕
    大會以「應用驅動的架構與技術」為主題,共設立「大數據架構與系統」、「大數據技術」、「大數據應用」、「大數據研究與發展」,「大數據基準測試(Benchmark)」五大技術分論壇,並首次增加「2013中國智能交通與大數據技術峰會」和「傳統行業如何駕馭大數據總裁研討會」。作為分論壇數量最多的一屆大會,2013中國大數據技術大會參會人數首次突破2000人。
  • EasyStack at OpenInfra:推動OpenStack多架構標準化建設
    本次大會聚焦「智能開源基礎設施」,圍繞人工智慧、機器學習、5G等應用場景以及容器基礎設施、硬體自動化、網絡與存儲而展開基礎設施演進的討論和技術展望。大會邀請來自全球社區的技術專家和行業資深領袖,分享全球前沿基礎設施技術的展望和探索路徑。
  • TensorFlow 2.0 發布以來,又有哪些最新進展?|AI ProCon 2020
    【導讀】7 月 3-4 日,由 CSDN 主辦的第三屆 AI 開發者大會(AI ProCon 2020)在線上舉行。本次大會有超萬人報名參與,參與人群覆蓋 50+ 領域、4000 家企業。其中有來自行業內 70+ 頂尖企業、開源社區與科研高校的近 100 位行業領袖、技術大咖與研究學者。
  • 西電先進遙感技術研究院成立大會圓滿召開
    中國科學院空天信息創新研究院郭華東院士、武漢大學龔健雅院士、國家海洋局第一海洋研究所和中國遙感應用協會等十餘位遙感領域頂尖專家受邀出席。校黨委副書記楊銀堂出席活動並致辭,會議由電子工程學院院長廖桂生主持,電子工程學院、前沿交叉研究院、物理與光電工程學院、人工智慧學院等學院負責人、遙感系師生代表出席成立大會。
  • 大會實錄|清華徐葳:人工智慧讓數據中心更好運維
    主要方向為基礎架構的監控,日誌等,目前以分布式系統以及人工智慧等方向為主、包括人工智慧、隱私保護、反欺詐等內容。以下為徐葳在數人云PaaS  Innovation 2017,構建靈動新IT大會上的演講實錄。清華大學數據中心運維那點事兒
  • MySQL原生Sharding方案–Fabric體驗之旅
    MySQL Fabric的主要飛躍就是提供了原生的HA和Sharding策略,在上一篇MySQL原生HA方案– Fabric體驗之旅中我們重點討論了HA部分,本文做為HA的妹姐篇,主要講解如何部署和搭建Sharding架構,
  • GMIS 2017大會汪德亮演講:基於深度學習的語音降噪技術
    全球機器智能峰會( GMIS 2017 ),是全球人工智慧產業信息服務平臺機器之心舉辦的首屆大會,邀請來自美國、歐洲、加拿大及國內的眾多頂級專家參會演講。本次大會共計 47 位嘉賓、5 個Session、32 場演講、4 場圓桌論壇、1 場人機大戰,兼顧學界與產業、科技巨頭與創業公司,以專業化、全球化的視角為人工智慧從業者和愛好者奉上一場機器智能盛宴。
  • 郭憶:網易資料庫高可用架構最新進展!
    [來自IT168]  【IT168 專稿】本文根據郭憶老師在2018年5月12日【第九屆中國資料庫技術大會(DTCC)】現場演講內容整理而成。  講師簡介:  郭憶——七年雲端資料庫開發經驗,主導了網易私有雲關係資料庫服務的建設,支撐了網易雲音樂、考拉海購、網易新聞等大型網際網路應用,專注於雲端資料庫的高可用架構和性能優化。
  • 2020國際新一代信息技術合作大會召開
    來自學術組織、高校、企業的200餘名專家及嘉賓參加會議,就新一代信息技術領域新技術、新模式進行了交流探討。28日主題大會上,工業和信息化部電子信息司副司長董小平、深圳市工業和信息化局副局長何志梅分别致辭。
  • 作業幫受邀參加2020 Techo Park開發者大會,分享平臺架構容器化...
    12月19日-20日,由騰訊主辦的2020 Techo Park開發者大會在京舉行,全球200餘位頂級技術專家以及數千位參會者在大會現場就雲計算、大數據和人工智慧等前沿技術話題展開深度交流。  作業幫基礎架構部架構方向負責人呂亞霖受邀出席本次大會的「企業IT架構雲原生的必經之路」容器分論壇,並在現場發表《作業幫容器化探索和落地實踐》主題演講,分享作業幫容器化背景、目標、落地、收益及未來規劃,深入剖析容器在教育行業落地所面臨的問題、挑戰以及相應的高效解決方案。
  • 中國建築學會BIM技術學術委員會成立大會暨第一屆常務理事會順利召開
    12月19日,中國建築學會BIM技術學術委員會成立大會暨第一屆常務理事會在中國建築科學研究院隆重舉行。本次大會吸引了政府部門、科研機構、名企高校的專家和勘察設計、生產運維、地產開發等領域的領軍人物參加,是一場學術大咖雲集、行業明星匯聚的高規格會議。會議由中國建築科學研究院設計院副院長、中國建築學會副秘書長孫建超主持。
  • 世界網際網路大會主題演講 百望雲以數位技術賦能產業發展
    原標題:世界網際網路大會主題演講 百望雲以數位技術賦能產業發展   10月20日-22日,第六屆世界網際網路大會在烏鎮召開,全球頂尖新概念、黑科技繽紛亮相。「網際網路+智慧財稅」獨角獸企業百望雲獲邀出席世界網際網路大會,CSO楊正道做「發票數位化助推數字經濟新發展」主題演講。
  • 倒計時 5 天 | 亞馬遜 re:Invent 2020,AWS 技術領袖和高管演講...
    在亞馬遜 re:Invent 2020AWS的技術大咖們都將雲集於此為您帶來精彩的主題演講和高管演講分享最新的黑科技產品及行業發展洞見!小夥伴們,記得準時打卡聽課喲~主題演講觀看主題演講直播,聆聽 AWS 技術領袖分享對行業和技術趨勢的真知灼見,第一時間了解 AWS 的最新消息!高管演講了解 AWS 最新技術和產品的進展及成功實踐案例,一同探討未來的行業趨勢,發現引人入勝的成功案例!