NeurIPS 2019聯邦學習國際研討會引關注,聯邦學習技術應用再拓邊界

2020-11-30 手機鳳凰網

2019年12月8日-14日,第33屆國際人工智慧頂級會議NeurIPS 2019(Thirty-third Conference on Neural Information Processing Systems)於加拿大溫哥華舉行,投稿論文數量(6743篇)、參會人數(1.3萬人)均創下歷史新高。大會期間,微眾銀行人工智慧首席科學家範力欣博士和高級研究員劉洋、谷歌研究科學家Brendan McMahan和Jakub Konečný 、新加坡南洋理工大學於涵教授,卡內基梅隆大學Virginia Smith助理教授組織主持了「實現數據隱私保護的聯邦學習國際研討會」(Workshop on Federated Learning for Data Privacy and Confidentiality in Conjunction with NeurIPS 2019),共有400餘位來自國際知名高校及企業的AI領域專家、研究人員及從業者圍繞聯邦學習、差分隱私、安全多方計算、編碼理論及激勵機制等議題展開討論,並為AI落地中的數據孤島和數據合規利用問題提供了現實可行的解決方案。

NeurIPS 2019聯邦學習國際研討會現場

聯邦學習作為加密的分布式機器學習新範式,可以讓各方在數據不出本地,保護數據隱私的前提下,進行聯合建模,實現跨機構跨組織AI協作,為打破數據孤島和數據隱私保護難題提供了新思路。在近兩年數據監管越發嚴格的大環境下受到了國內外眾多機構的關注。

此次研討會吸引了眾多學者參與聯邦學習生態的建設,共收到68篇論文投稿,33篇被接收,哈佛大學、耶魯大學、普林斯頓大學、康奈爾大學、麻省理工學院、卡耐基梅隆大學、清華大學、北京大學和香港科技大學等國際名校與研究機構以及谷歌、微軟、Facebook、華為、騰訊和微眾銀行等知名企業均榜上有名。12篇優秀論文於現場進行了講解,21篇優秀論文進行了海報展示,來自世界各地的學者與論文作者展開了對話與交流,最終評選出「傑出論文(Distinguished Paper Award)」和「傑出學生論文(Distinguished Student Paper Award)」兩大獎項。

12篇優秀論文於研討會現場進行了講解

21篇優秀論文於研討會現場進行了海報展示

來自甲骨文實驗室(Oracle Labs)的論文團隊以及來自哈佛大學、耶魯大學的論文團隊獲得了傑出論文獎。來自卡內基梅隆大學、Bosch Center for Artificial Intelligence(BCAI)的論文團隊以及來自卡內基梅隆大學、東京大學的論文團隊則摘得傑出學生論文獎。

傑出論文及傑出學生論文獎項於「WeBank AI Night」頒發

這是繼今年8月國際人工智慧聯合會議(IJCAI 2019)首屆聯邦學習研討會之後,聯邦學習再次亮相國際人工智慧頂級會議。谷歌研究員Daniel Ramage的統計結果顯示:聯邦學習論文數量近期呈現高速增長趨勢,研討深度與應用廣度都有長足進步,在微眾銀行和谷歌等企業研究的頭雁效應下,聯邦學習發展進入了新階段。

國際AI專家聚力探索「聯邦學習」多重可能,理論研究與實踐應用共同發力

近年來,人工智慧技術已跨越從理論到實踐階段,正快速進入全球市場化階段。在人工智慧新產品和新技術大量出現的同時,數據安全和數據隱私保護也越發受到關注,聯邦學習作為一種加密的分布式機器學習技術,可以在數據不出本地,用戶數據不洩露,遵循數據保護法規的前提下,多方共建AI模型,實現跨機構跨組織協作。

研討會上,微眾銀行首席人工智慧官、香港科技大學講席教授楊強,谷歌語音識別技術研髮帶頭人Francoise Beaufays,谷歌研究員Daniel Ramage,美國計算機學會ACM新晉院士、加州大學伯克利分校教授Dawn Song,加州大學伯克利分校助理教授Raluca Ada Popa,高通技術副總裁、阿姆斯特丹大學機器學習首席教授Max Welling,卡內基梅隆大學助理教授Ameet Talwalkar,中國科學院計算技術研究所泛在計算系統研究中心主任陳益強等國內外頂尖學者,深入探討了聯邦學習的個性化和普適性問題,以及貝葉斯方法、分布式學習、去中心化等技術要素在聯邦學習中的影響。

在聯邦學習的實際應用方面,微眾銀行首席人工智慧官楊強教授著重分享了聯邦學習技術在推薦系統中的應用,谷歌的研究員Daniel Ramage則講述了谷歌在聯邦學習系統、算法和實際應用方面的探索,Francoise Beaufays更是以谷歌輸入法為例,深入細緻地分析了聯邦學習在實踐中的最新進展,中科院陳益強主任則揭示了聯邦學習在醫療領域輔助帕金森診斷方面的應用。

聯邦學習造就人工智慧未來新趨勢

圓桌討論環節,針對主持人楊強教授和聽眾的提問,歐洲人工智慧領軍人物、歐洲人工智慧聯盟(ECCAI)與國際人工智慧學會(AAAI)院士Boi Faltings教授,新加坡南洋理工大學計算機科學與工程學院院長苗春燕與特邀演講嘉賓一起,就聯邦學習當前面對的挑戰、對傳統機器學習的影響、最有前景的落地應用、如何達成多贏的結果等焦點問題,展開了全面而深入的討論。其中,Dawn Song教授提出:「聯邦學習的安全性是生死攸關的問題」,Max Welling教授則提出了一個發人深思的觀點:聯邦學習場景中海量的分布式異質數據,對統計分析的穩定性和魯棒性提出了更高的要求,這方面的研究也將進一步提升傳統機器學習的性能。谷歌研究科學家Brendan McMahan最後在總結中指出, 建立共同的評測數據、指標及標準, 則是聯邦學習穩健發展的必由之路。

聯邦學習研討會圓桌環節

近兩年來,聯邦學習在學術研究、標準制定和行業落地等方面發展迅速,有望成為下一代人工智慧協同算法和協作網絡的基礎,全球範圍內也正在掀起「聯邦學習」的熱潮,越來越多的知名企業和著名學者參與到了共建聯邦學習生態中來。此次聯邦學習國際研討會的召開,標誌著聯邦學習在人工智慧研究領域已處於重要地位,在該領域的影響力顯著提升。未來將在更多行業、更多場景發揮無限潛能,全面加速AI普惠的到來。

關於NeurIPS:

神經信息處理系統大會(Conference on Neural Information Processing Systems,NeurIPS),是人工智慧機器學習和計算神經科學領域的頂級國際學術會議。該會議固定在每年的12月舉行,由NIPS基金會主辦,被中國計算機學會列為人工智慧領域的A類會議。

相關焦點

  • 從概念到技術,再到國際標準和開源社區,聯邦學習只用兩年時間
    而在這諸多內容中,「聯邦學習」無疑是最值得關注的內容之一。在 8 月 12 日的 Workshop Day 中,由微眾銀行與 IBM 等機構舉辦的「首屆聯邦學習國際研討會」成為了當天最受歡迎的 Workshop,研討會尚未開始就已爆滿,還有不少參會者擠在門外旁聽,聽眾的熱情超出了主辦方的預期。
  • 微眾銀行楊強教授:聯邦學習的最新發展及應用丨CCF-GAIR 2019
    7 月 13 日,香港科技大學講席教授,微眾銀行首席AI官,IJCAI理事會主席楊強為 CCF-GAIR 2019「AI 金融專場」做了題為「聯邦學習的最新發展及應用」的大會報告,以下為楊強教授所做的大會報告全文。
  • 聯邦學習 OR 遷移學習?No,我們需要聯邦遷移學習
    機器之心分析師網絡作者:仵冀穎編輯:H4O在這篇文章中,作者通過 4 篇論文詳細介紹了聯邦學習中的聯邦遷移學習問題,並探討了向經典聯邦學習中引入遷移學習的目的和意義。海量訓練數據是現代機器學習算法、人工智慧技術在各個領域中應用獲得成功的重要條件。
  • 當傳統聯邦學習面臨異構性挑戰,不妨嘗試這些個性化聯邦學習算法
    通過上述多輪學習和通信的方法,聯邦學習消除了在單個設備上聚合所有數據的需要,克服了機器學習任務中的隱私和通信挑戰,允許機器學習模型學習分散在各個用戶(客戶機)上存儲的數據。聯邦學習自提出以來獲得了廣泛的關注,並在一些場景中得以應用。聯邦學習解決了數據匯聚的問題,使得一些跨機構、跨部門的機器學習模型、算法的設計和訓練成為了可能。
  • 聯邦學習算法綜述
    聯邦學習算法綜述王健宗1,孔令煒1,黃章成1,陳霖捷1,劉懿1,何安珣1,肖京21. 平安科技(深圳)有限公司,廣東深圳 5180632. 中國平安保險(集團)股份有限公司,廣東深圳 518031摘要:近年來,聯邦學習作為解決數據孤島問題的技術被廣泛關注,已經開始被應用於金融、醫療健康以及智慧城市等領域。
  • 星雲Clustar主持聯邦學習工作組投票,正式標準預年中出臺
    近日,IEEE P3652.1(聯邦學習基礎架構與應用)標準工作組第五次(線上)會議順利召開。此次會議結束後,標準工作組宣布:聯邦學習IEEE標準草案已完成並通過標準工作組表決。星雲Clustar 作為標準工作組重要成員之一,參與了草案撰寫及投票環節。
  • 想了解風頭正勁的聯邦學習?這篇400多個參考文獻綜述論文滿足你
    聯邦學習使用局部數據收集和最小化原則,降低傳統中心化機器學習方法帶來的一些系統性隱私風險和成本。近期該領域在研究和應用層面都受到了極大關注。這篇論文將介紹聯邦學習的定義性特徵和面臨的挑戰,重點介紹重要的實踐局限和考量因素,並列舉大量珍貴的研究方向。本論文旨在提出具備重大理論和實踐意義的研究問題,鼓勵大家對這些問題展開研究,進而為現實世界帶來巨大影響。
  • 聯邦學習+風控,會是信貸業務的N95嗎?
    怎樣在特殊時期為信貸業務保駕護航,這一問題也排在了各大風控技術團隊的任務清單榜首。牽一髮動全身,信貸風控雪上加霜一份關注小微企業的調研報告指出,有85%的企業,現金維持時間不超過三個月。通過初審篩選掉黑名單和不可能轉化貸款客戶,在「信審漏鬥第一步」減去無效客戶,從而在信貸預審階段使單接口調用成本預計節省20-30%,有效控制了信貸審核成本。聯邦學習奏AI金融明日之歌目前國內外很多企業都在進行聯邦學習相關的研究,但在聯邦學習研究與應用方面,尤其是金融領域,微眾銀行可以說是先行者。為什麼是微眾銀行?
  • 模型攻擊:魯棒性聯邦學習研究的最新進展
    我們從近兩年公開的研究成果中選取了四篇文章進行詳細分析,重點關注模型攻擊類的魯棒聯邦學習(Robust Federated Learning)。圖 1:模型攻擊概覽《How To Backdoor Federated Learning》隨著聯邦學習的推廣應用,越來越多的研究人員聚焦於解決聯邦學習框架中的模型攻擊問題。我們從近兩年公開的研究成果中選取了四篇文章進行詳細分析,重點關注模型攻擊類的魯棒聯邦學習(Robust Federated Learning)。
  • 星雲Clustar和微眾銀行達成戰略合作,推動聯邦學習新發展
    據悉,此次星雲Clustar和微眾銀行雙方的合作主要圍繞人工智慧新技術「聯邦學習」展開,重點解決聯邦學習需要大量算力以進行加密數據計算的挑戰。技術研發上,星雲Clustar和微眾銀行雙方將在高性能異構計算、加速計算軟硬體開發、分布式高性能通信技術、分布式遠距離通信優化技術等進行深度研究和開發。
  • 富數科技安全計算首席專家卞陽:隱私計算江湖與聯邦學習的「上帝...
    卞陽在課程中用武林各大門派做例子,詳細分析了聯邦學習和隱私計算安全部分的主要算法原理,以及聯邦學習如何實現跨越數據要素邊界,在供應鏈金融、聯合營銷、金融機構存客促活等具體場景中落地應用。關注微信公眾號  AI金融評論 ,在公眾號聊天框回復「聽課」,進群可收看本節課程視頻回放。
  • 楊強:應對對抗攻擊、結合AutoML,是聯邦學習接下來的研究重點 |...
    演講中,楊強教授介紹了聯邦學習的關鍵技術以及應用案例,並進一步介紹了最新開展的聯邦學習和遷移學習的結合研究以及接下來的重點研究方向對於學生來說,將算法和聯邦學習相結合是一個很好的研究題目。不管是To C還是To B,可以採用橫向聯邦學習也可以採用縱向聯邦學習。三、聯邦學習應用案例給大家舉幾個聯邦學習的應用案例。
  • 聯邦學習:Tensorflow中的逐步實現
    在本教程中,我將實現聯邦學習(FL)的構建塊,並從頭開始對MNIST機器學習數據集進行訓練。介紹FL架構的基本形式包括一個位於中心的管理員或伺服器,負責協調訓練活動。客戶端主要是邊緣設備,可以達到數百萬的數量。這些設備在每次訓練迭代中至少與伺服器通信兩次。
  • 課程預告|星雲Clustar首席科學家胡水海:如何定義聯邦學習新算力?
    儘管聯邦學習在隱私保護和數據安全上有著眾多優勢,但這一技術目前也存在不小進步空間,效率就是亟待改善的問題之一。聯邦學習的模型訓練過程,很難繞開同態計算和密文傳輸,二者對算力和網絡都有嚴苛的要求,星雲Clustar也因此選擇從GPU加速同態運算,以及高速網絡助力密文傳輸效力的角度切入,來改善聯邦學習的計算速度。如何理解聯邦學習的性能與效率問題?星雲Clustar的解決思路又是怎樣的?
  • 微眾銀行與星雲Clustar大牛解讀聯邦學習中的同態運算與密文傳輸
    本次專場講解中,黃啟軍老師從聯邦學習中的隱私保護問題,以及其在實際應用案例兩個角度進行分析,全面解析聯邦學習在同態計算中的挑戰與原理。胡水海老師著重分析同態運算和密文傳輸的問題,並就如何提高同態計算和密文傳輸的效率,進行相應的方案解析。
  • 騰訊天衍實驗室聯合微眾銀行研發醫療聯邦學習,讓腦卒中預測準確率...
    數據問題讓醫療AI成了「空中樓閣」,在這一難題下,騰訊天衍實驗室聯合微眾銀行聯合研發了醫療聯邦學習框架,成功地實現了在保護不同醫院數據隱私下的疾病預測模型,破解醫療行業數據安全與隱私保護難題。這是聯邦學習在醫療健康大數據領域應用的首個成功案例,為醫療大健康的各種潛在應用如分診診療、慢病防控、疾病早篩、醫保控費的落地等探索出了新的方向。
  • 楊強:應對對抗攻擊、結合AutoML,是聯邦學習接下來的研究重點|CCF...
    8月9日下午,在「聯邦學習與大數據隱私」專場上,微眾銀行首席人工智慧官、香港科技大學楊強教授進行了題為「聯邦學習下的數據價值與模型安全」的演講。演講中,楊強教授介紹了聯邦學習的關鍵技術以及應用案例,並進一步介紹了最新開展的聯邦學習和遷移學習的結合研究以及接下來的重點研究方向。
  • 7篇ICLR論文,遍覽聯邦學習最新研究進展
    機器之心機器之心分析師網絡作者:仵冀穎編輯:H4O本篇提前看重點關注 ICLR 2020 中關於聯邦學習(Federated Learning)的最新研究進展。本篇提前看重點關注 ICLR 2020 中關於聯邦學習(Federated Learning)的最新研究進展。聯邦學習是一種在分布式網絡中實現的客戶端本地存儲數據並訓練局部模型、中央伺服器匯聚各客戶端上載數據後訓練構建全局模型的分布式機器學習處理框架。
  • FATE1.0重磅發布:首個可視化聯邦學習產品與聯邦pipeline生產服務...
    作為全球首個聯邦學習工業級技術框架,FATE支持聯邦學習架構體系與各種機器學習算法的安全計算,實現了基於同態加密和多方計算(MPC)的安全計算協議,能夠幫助多個組織機構在符合數據安全和政府法規前提下,有效和協作地進行數據使用和聯合建模。
  • 兩位專家詳解TEE聯邦學習與開源向量...
    其中富數科技首席科學家陳立峰的講解主題為《基於TEE增強的聯邦學習與多方安全計算平臺解析》,Zilliz 數據工程師李晴的講解主題為《開源向量相似搜尋引擎Milvus的框架與應用》。數據的隱私問題一直是人們所關心的焦點問題。尤其是工業界來說,隨著對數據安全的重視和隱私保護法案的出臺,以前粗放式的數據共享受到挑戰,各個數據擁有者重新回到數據孤島的狀態。