報名|聯邦學習入門第4課:基於Kubernetes構建FATE聯邦學習環境

2020-12-17 機器之心Pro

3 月 17 日,機器之心聯合微眾銀行開設的公開課《聯邦學習 FATE 入門與應用實戰》第三講結課,微眾銀行人工智慧部算法研究員譚明超為我們分享了《聯邦學習 FATE 算法模塊梳理及建模演示》。

3 月 19 日(本周四),我們將迎來本系列公開課的第 4 講,詳情如下:

公開課第4講(附 Live Demo)

課程主題:使用 KubeFATE 部署生產環境的聯邦學習 Kubernetes 集群

課程時間:3 月 19 日 20:00 主題講解+在線答疑+Live Demo

講師簡介:彭麟,Layne Peng,現任 VMware CTO 辦公室資深研究員。之前在 Dell EMC CTO 辦公室工作超過 7 年,負責雲計算相關領域前沿研究,也曾在某網際網路金融公司負責基礎設施部門,有豐富的一線實踐經驗。熱愛開源技術,參與了 OpenStack, Kubenetes, Docker 等開源項目,並在 OpenStack Summit, Apache Big Data Conference, LinuxCon 等會議發表過相關演講。

課程摘要:Kubernetes 是目前最流行的機器學習調度平臺,我們推薦基於 Kubernetes 構建 FATE 的聯邦學習生產環境。KubeFATE 是我們推出的 FATE 部署工具,可以通過一行命令在 Kubernetes 上從 0 部署一個生產級別的 FATE 集群,支持 FATE 的按模塊部署,多 FATE 集群管理,實現重啟、刪除、升級等功能。另外,KubeFATE 還提供了 RestAPI,可以進行集群管理的二次開發,以及跨網絡的多方部署等高級需求。

Live demo:使用 KubeFATE 在 Kubernetes 上從 0 部署一個多方 FATE 集群,並且進行集群的簡單管理。

課前準備:請預先了解 Kubernetes 的基本概念及操作,提前熟悉 MiniKube 及 KubeFATE。

第2課精選問答

在每期課程的 QA 環節中,有一些問題被廣泛提到並且很有價值,所以我們進行了精選與編輯,供大家參考。以下為第2課問答精選(第2課主題為快速部署FATE開發環境):

1)「toy_example」跑不通原因是什麼?

因為 FATE 的架構比較複雜,加上系統和網絡不穩定性等客觀原因,一遍下來某些步驟有不可控的小問題。這些問題可以逐步去排除,但是我們推薦比較簡單的方法是可以重新跑一遍或幾遍。如果還是不行那就定位是否是指令集不支持的問題,詳情請參考我們 kubeFATE 在 github 上的 wiki。

2)Exchange 也負責模型聚合嗎,還是只負責建立底層通信?

它是不負責模型聚合的,只負責通訊。

3)目標機和部署機有什麼區別?

我們前面說 KubeFATE 的使用其實分為兩個部分,一個部分是生成啟動集群的配置文件。另外一個部分就是運行的 FATE 集群。部署機就是生成配置文件的機器,目標機是運行集群的機器。部署機和目標機只是一個邏輯上的劃分,他們實際上可以是同一臺伺服器。

4)每個 party 都是有自己的 k8s 集群麼?

其實取決於你是哪種部署方式,如果是 docker-compose 的話,你就不需要有 k8s 集群了。

5)這些 party 裡有分中心機構和參與機構嗎?

沒有嚴格的區分,一個 party 即可以做分享數據的中心機構,也可以做參與機構,這取決於訓練的具體內容。

6)如何實現分布式訓練?

分布式訓練由 EggRoll 模塊提供支持,它向上提供了一個 MapReduce 的功能。

7)kubefate 支持容災嗎,節點掛了怎辦?

如果是使用 k8s 部署的話,那麼容災其實是依賴於 k8s。節點掛也沒關係,k8s 會幫你重新起一個。

8)一個 party 有多個用戶嗎?

一個 party 可以有多服務多個用戶,這是沒問題。

相關焦點

  • 從零入門聯邦學習(二):快速部署FATE開發環境
    3 月 5 日,機器之心聯合微眾銀行開設的公開課《聯邦學習 FATE 入門與應用實戰》第一課正式開始,微眾銀行人工智慧部高級研究員馬國強為大家介紹了聯邦學習技術、應用以及開源框架 FATE。
  • 聯邦學習 OR 遷移學習?No,我們需要聯邦遷移學習
    此外,本文還將梳理目前主流的聯邦遷移學習方法,並重點介紹其中的 4 篇文章。作者將 FTL 問題在一個隱私保護的環境下形式化,提供了一個用於解決現有 FL 方法無法應對的聯邦學習問題的解決方案。此外,作者提供了一個端到端的 FTL 解決方案,並證明了該方法在收斂性和準確性方面的性能與非隱私保護的遷移學習相當。
  • 加速聯邦學習產業落地:星雲Clustar聯手Xilinx全球首創聯邦學習...
    ,(NASDAQ: XLNX))達成深度合作,雙方基於賽靈思Alveo 加速卡以及星雲Clustar的同態加密技術方案實現定製化工藝突破,推出全球首款聯邦學習加速卡。該加速卡的面世,將滿足聯邦學習中高強度、高負荷的計算需求,解決聯邦學習產業化落地面臨的「算力問題」這一核心挑戰,加速聯邦學習產業化進程。
  • 微眾銀行開發的全球首個工業級聯邦學習開源框架 FATE 升級 v1.1...
    FATE 作為聯邦學習全球首個工業級開源框架,支持聯邦學習架構體系,為機器學習、深度學習、遷移學習提供了高性能聯邦學習機制,FATE 本身還支持多種多方安全計算協議,如同態加密、秘密共享、哈希散列等,具有友好的跨域交互信息管理方案
  • 中國聯邦學習「五大流派」
    今年4月,微眾銀行人工智慧部、電子商務與電子支付國家工程實驗室(中國銀聯)、鵬城實驗室、平安科技、騰訊研究院、中國信通院雲大所、招商金融科技等多家企業和機構聯合推出《聯邦學習白皮書V2.0》。在白皮書中,聯邦學習的最新定義是:在進行機器學習的過程中,各參與方可藉助其他方數據進行聯合建模。
  • 聯邦學習開源框架FATE新版本發布!配套引擎EggRoll煥新登場
    但這種基於集中數據的做法無疑會嚴重侵害用戶隱私和數據安全。如今,世界上越來越多的人開始強烈要求科技公司必須根據用戶隱私法律法規妥善地處理用戶的數據,歐盟的《通用數據保護條例》是一個很好的例子。而聯邦學習這門技術,則可以將分布式機器學習、密碼學、基於金融規則的激勵機制和博弈論結合起來,從而解決分散數據的使用問題。
  • 模型攻擊:魯棒性聯邦學習研究的最新進展
    1.2 聯邦學習的攻擊概述在聯邦學習架構中,各個客戶端基於本地數據單獨訓練局部模型,這就給攻擊者提供了一個脆弱的攻擊面,局部的訓練過程很有可能遭到攻擊、破壞。特別是在數千個客戶端的情況下,準確找出攻擊者幾乎是不可能的。
  • 想了解風頭正勁的聯邦學習?這篇400多個參考文獻綜述論文滿足你
    大型科技企業和小型創業公司都在打造囊括聯邦學習技術的商業數據平臺。下表 1 從多個維度對比了跨設備聯邦學習、cross-silo 聯邦學習和傳統的單數據中心分布式學習。這些特徵構建了聯邦學習實際系統必須滿足的一些約束,從而促進聯邦學習的發展,找到其面臨的開放性挑戰。
  • 星雲公開課回顧|《AI金融》系列課程之楊強:聯邦學習概述與四大...
    5月22日,HKSAIR創會理事長、微眾銀行首席AI官、香港科技大學講席教授楊強老師,領銜HKSAIR《AI金融》系列線上講座第一課,主講聯邦學習及其四大應用場景。HKSAIR小編整理了課程演講稿,讀者可以配合直播回放觀看。
  • 明晚八點|騰訊安全天御金融風控負責人李超:透視聯邦學習與金融信貸
    近期,江蘇銀行與騰訊安全的聯邦學習項目戰略合作,引發了銀行業和金融科技界的廣泛關注。如何獲得更高質量的數據?如何用合規有效的方式讓數據釋放出比以往更大的價值?聯邦學習的本質,正是在於解決高質量數據短缺和數據安全問題。基於20年來的黑灰產打擊經驗,騰訊安全的聯邦學習服務,能夠通過低成本快速迭代的聯合建模,在保護隱私的同時,讓數據的價值得到釋放。聯邦學習真的能解決合規問題、打破數據藩籬嗎?
  • 對話楊強教授:聯邦學習不僅是技術 更是一個開源生態的建立|SDBD2020
    面對挑戰環境,團隊的研究集中在兩方面,一是從大數據領域把知識遷移到小數據領域,實現不同的領域間的互通有無,解決數據小的問題,稱之為遷移學習。二是將散落在不同地方的數據,在不將數據物理聚合的前提下,形成大數據的效果,稱之為聯邦學習。
  • 同盾AI研究院深度學習首席專家李宏宇:解構知識聯邦,開創數據...
    近日,同盾科技人工智慧研究院深度學習首席專家李宏宇做客雷鋒網公開課,以《知識聯邦:開創數據「可用不可見」新局面》為題進行分享。此前同盾在數據聯邦、聯邦學習和安全多方計算的基礎上演化出統一框架體系「知識聯邦」,並基於知識聯邦體系發布了國產原創、自主可控的智邦平臺(iBond)及《知識聯邦白皮書》。
  • 騰訊安全天御榮獲「聯邦學習應用獎」 助力信貸風控開啟4.0時代
    炙手可熱的「聯邦學習」技術正在從概念逐步轉變為各行各業數位化轉型的底層技術支撐。現有風控的人工模式(1.0),信貸工廠模式(2.0),甚至基於通用評分的大數據風控模式(3.0),都只能做到局部的優化,無法在整個風控鏈條對新客群或新變化進行迭代調整。而「聯邦學習」這一新興 AI 基礎技術,因能在多參與方或多計算結點之間實現高效機器學習而成為金融行業打通信貸風控「大循環」,實現對差異客戶定製化,對市場變化自適應的動態風險管控,將信貸風控帶到4.0時代。
  • 微眾銀行首席AI官楊強:萬字圖文詳談聯邦學習最前沿
    這個算法用4個步驟在右邊這裡展開,下面我就先一步一步的來給大家進行講解。因為第三方有可能洩露用戶隱私,是可以(去掉)的,只不過要多加一些步驟,整體步驟變得比較冗長,但是可以做到,這裡不再展開。實驗室環境裡的無人車,得到的數據是有限的,但是假設滿大街的無人車,每一輛每時每刻都在獲取新的數據。有沒有辦法不暴露每個無人車上具體的數據,同時把它聚集起來,能夠形成一個聯邦模型?
  • 京東數科首度公開聯邦學習戰略全布局,薄列峰詳解兩大算法突破
    兩個典型的聯邦學習算法,分別是橫向聯邦學習和縱向聯邦學習,橫軸表示特徵維度,豎軸表示用戶維度。橫向聯邦學習,看兩方的數據和標籤,用戶重合度非常低,特徵重合度比較大。這裡顯示的是用戶無重合的極端情況,實際情況中它可能僅僅重合90%用戶特徵,5%用戶重合,到時進行對齊即可。縱向聯邦學習,兩方用戶重合較多,可對用戶的部分對齊。
  • 中科院上海藥物所蔣華良院士團隊聯合華為雲,發布AI藥物聯邦學習服務
    中科院上海藥物所蔣華良院士團隊聯合華為雲,發布AI藥物聯邦學習服務 中科院上海藥物所蔣華良院士團隊聯合華為雲,發布AI藥物聯邦學習服務 2020-09-30 17:58:21  來源:網際網路
  • 騰訊「神盾-聯邦計算」平臺帶你翻越數據合作的重重大山
    這是一個主要基於聯邦學習、多方安全計算(MPC)、區塊鏈、可信計算等安全技術的分布式計算平臺,產品針對機器學習算法進行定製化的隱私保護改造,保證數據不出本地即可完成聯合建模,最大化各個合作企業的數據價值:
  • 聯邦學習實現數據互通,產品轉化率提升50%
    另一方面,今年4月1日開始,我國正式取消外資對證券公司、公募基金管理公司的持股比例限制,外資投行正在加速湧入中國市場。傳統銀行亟需通過技術創新等手段提升資管業務的競爭力。聯邦學習技術在保護本地數據的同時,允許擁有數據的多方聯合建模,從而真正實現大數據AI深度學習,提升模型效能。目前,聯邦學習已經在一些關鍵的金融領域取得了進展。例如,江蘇銀行攜手騰訊,運用"聯邦學習"技術對200餘個業務指標進行篩選與聯邦建模,疊加銀行自有風控模型後,信貸審批准確性顯著提升。
  • IDC DX Summit|星雲Clustar:聯邦學習賦能金融企業戰略升級
    星雲Clustar AI算法工程師張馳發表了以「聯邦學習賦能金融企業戰略升級」為題的精彩演講。聯邦學習:人工智慧落地的最後一公裡當前,數位化時代在日益成熟的分析技術的加持下,海量數據從資源升級為企業資產,為不同行業開闢了新的價值。人工智慧等關鍵性技術的高速發展,驅動數位化轉型進入深水區。
  • 鬥羅大陸4終極鬥羅25冊:叛徒是他,龍馬聯邦危在旦夕,鬥羅聯邦出手!
    各位書友,大家好,很高興又和大家見面了,非常快樂書友們能夠在學習工作之餘點開我們的文章,小編拜謝了。 今天要來和書友們分享一下鬥羅大陸4終極鬥羅實體書第25冊的精彩看點,大家一起來看看吧。