大數據合作新方向 多機構聯合發布聯邦學習新版白皮書

2020-12-17 金臺資訊

2020年4月8日,微眾銀行人工智慧部聯合電子商務與電子支付國家工程實驗室(中國銀聯)、鵬城實驗室、平安科技、騰訊研究院、中國信通院雲大所、招商金融科技等多家企業和機構發布了《聯邦學習白皮書V 2.0》(以下簡稱白皮書)。白皮書對聯邦學習技術及應用進行了系統化闡述,其1.0版本於2019年發布,此次發布的新版白皮書在場景應用等多方面進行了全面升級。在數據安全與隱私保護日益重要的當下,白皮書將對各行業企業和機構通過聯邦學習構建數據安全應用起到極大的指導意義。獲取白皮書可前往FedAI官網。

過去幾年,AI、大數據等發展進入紅利期。但與此同時,數據隱私安全問題也受到世界各國重視,從歐盟的《通用數據保護條例》(GDPR)、美國《美國加州消費者隱私法》(CCPA)、新加坡修訂《個人數據保護法案》、再到中國《信息安全技術網絡安全等級保護基本要求》(等保2.0)等,都對用戶隱私進行立法保護。而在社會層面,頻頻曝光的企業大規模洩露用戶數據事件,也使得人們對隱私保護越發重視,企業對數據價值的應用也日趨謹慎。而AI、大數據等創新領域的行業應用也因此受阻,作為極其依賴龐大數據的行業,如無法解決數據安全隱私保護問題,將面臨著輿論、監管的巨大挑戰。

聯邦學習作為新興的技術範式,能夠在數據不出本地的前提下,實現安全數據模型共建與AI協作。「數據不出本地」這一特性可以保證數據隱私保護,而AI聯合建模則可以最大程度挖掘數據價值,也因此,聯邦學習技術近兩年來市場呼聲極高。但隨著技術研究不斷深入與行業應用範圍日益擴大,市場亟需一份官方「指南」,幫助機構及從業者快速與系統化地了解該技術及其相關應用。

因此,白皮書應運而生,進一步規範了聯邦學習的基本概念,介紹了其重要價值,並對聯邦學習的整體構架、技術原理進行了系統化介紹,此外,更是通過援引「聯邦學習 場景」的案例,首次詳細闡述了聯邦學習在各領域的應用方案,涵蓋金融、零售、安防、醫療、廣告、自動駕駛等多個行業,剖析了如保險業務情境下的大數據風控、反欺詐;信貸業務情境下的風控增強、白名單初篩、貸中貸後分級預警;零售業務場景下的爆品預測、智能用工;智慧安防業務場景下的城市攝像頭聯盟建設等多領域的發展瓶頸及綜合運用聯邦學習技術實現數據安全共聯的解決方案,為業界展示了聯邦學習從「理論」到「實踐」的關鍵轉變,為各行業各領域的企業機構提供了技術應用參考及指導。

白皮書作為標杆性的參考文書,由微眾銀行AI團隊聯合國內多個權威組織機構撰寫並發布。作為國內聯邦學習領域的領航者,微眾銀行AI團隊正大力推動聯邦學習生態的建設,自主研發並開源了全球首個工業級聯邦學習框架FATE、召集了海內外多家頭部企業與研究機構共同制定國際標準、還持續發展聯邦學習技術與各行業結合進行應用落地,助力各行各業智慧升級,實現數據安全隱私保護下的發展與騰飛。此次白皮書的發布,更聯合了探索聯邦學習金融領域應用的平安科技、招商金融科技,推動聯邦學習相關標準成立的中國信通院雲大所、電子商務與電子支付國家工程實驗室(中國銀聯),以及建設聯邦學習開源平臺open I縱橫應用的鵬城實驗室。這也體現了在聯邦學習這一前沿科技領域,中國企業與機構佔據了領先地位與話語權。這份白皮書的發布,也標誌著由微眾銀行AI團隊帶領構建的聯邦學習生態影響力正進一步擴大。隨著各行業參與機構數量不斷增加,聯邦學習應用範例不斷積累,未來勢必將出現一個全領域合作的聯邦生態,建立起安全有效的「數據聯盟」,釋放數據無限價值。

相關焦點

  • 中國聯邦學習「五大流派」
    聯邦學習作為新一代人工智慧基礎技術,正在滲透到AI商用瓶頸的根源,通過解決數據隱私與數據孤島問題,重塑金融、醫療、城市安防等領域。近兩年,在楊強教授等世界級專家的聯合推動下,國內外諸多科技巨頭,均已開始搭建聯邦學習的研究與應用團隊。
  • 澳大利亞駐華使館等聯合發布《澳大利亞中學白皮書》
    澳大利亞駐華使館、中國教育在線和招商銀行26日在北京聯合發布《2019澳大利亞中學白皮書》。圖為澳大利亞駐華使館商務處教育團隊負責人Rhett Miller介紹調研情況。 李晗雪 攝中新網北京6月26日電 (李晗雪)澳大利亞駐華使館、中國教育在線和招商銀行26日在北京聯合發布《2019澳大利亞中學白皮書》,以期為低齡留學家庭提供實用、全面的赴澳留學參考信息。該《白皮書》由澳大利亞駐華使館商務處和中國教育在線聯合編寫,介紹了澳大利亞中學教育的基本信息、中國中小學留澳家庭情況調研報告及澳大利亞中學詳細信息。
  • 同盾AI研究院深度學習首席專家李宏宇:解構知識聯邦,開創數據...
    此前同盾在數據聯邦、聯邦學習和安全多方計算的基礎上演化出統一框架體系「知識聯邦」,並基於知識聯邦體系發布了國產原創、自主可控的智邦平臺(iBond)及《知識聯邦白皮書》。本次課程中,李宏宇詳細講述了知識聯邦的技術細節,以及信用分評估、多頭共債風險、用戶體驗A/B test等多個典型場景的聯邦學習應用案例。
  • 聯邦學習,解開數據產業「鐐銬」的金鑰匙
    微眾銀行人工智慧部副總經理陳天健老師在分享聯邦學習帶來的變化前,先為與會者介紹了跨雲大數據合作的真實現狀。跨機構間的大數據合作在嚴格的合規要求下難以推進,機構內的大數據合作卻也遭遇了真實的瓶頸。陳天健老師指出,數據合作難題背後有一個第一性原理需要解決:保證數據安全是大數據合作的基本命題。保證數據安全是大數據行業從第一天開始就一直在研究解決的問題,也是聯邦學習出現的歷史沿革:上世紀90年代到2000年左右,聯邦資料庫的概念被提出,力圖解決存儲安全。
  • 微眾銀行倡建大數據合作生態 聯邦學習為AI開通「綠色發展通道」
    微眾銀行首席人工智慧官楊強受邀參與全球智能合作交流盛會,並主持了7月9日下午本次大會兩場全體會議之一——「科學前沿」的圓桌論壇,聚焦和探索人工智慧最前沿科技發展趨勢,圍繞下一代人工智慧新範式、人工智慧算法創新、多學科交叉融合等話題展開分享與討論,描繪未來人工智慧技術發展的路線圖。
  • 助力各大機構疫情研究 百度數據聯邦平臺提供智能大數據解決方案
    百度研究院大數據實驗室與商業智能實驗室主任竇德景向大眾帶來了百度在智能大數據的處理能力上的全新演進,並發布了全國首個面向疫情預測與追蹤的多方數據協作和雲上可信計算平臺——百度數據聯邦平臺。這時候,數邦平臺上的數據不僅包括數邦平臺用戶,也包括了百度公司自己的數據,合作方、用戶都可以去直接下載,減少了不必要的資源浪費。例如今年年初,國內爆發新冠疫情,百度數據聯邦平臺就通過百度地圖慧眼時空大數據和百度搜索的大數據,積極助力各大研究機構的疫情研究,共同抗疫。
  • 聯邦學習最新醫療場景發布:楊強團隊與劉琦團隊合作打破藥物數據...
    來自同濟大學生物信息系的劉琦教授課題組與微眾銀行楊強教授AI團隊合作,通過聯邦學習來進行本地藥物隱私數據的保障,以及模擬多個製藥機構(用戶)之間的藥物協同開發,助力製藥機構在保障自身藥物數據隱私安全的前提下進行協同藥物發現。
  • 平安科技聯邦學習技術成果入選EMNLP2020,業內聯邦學習NLP模型重磅發布
    此外,團隊在聯邦網絡訓練過程中引入了可管理的差分隱私技術,有效保護了聯邦學習參與者的數據安全(見圖1)。與現有的客戶端級別的隱私保護方案不同,團隊提出的差分隱私是定義在數據集樣本級別的,這與目標場景——機構間的聯邦合作訓練是一致的。通過綜合大量實驗分析,團隊研究了聯邦學習框架下TextCNN模型的超參數的最佳設置並評估了在不均衡數據負載情況下,差分隱私要求對聯邦TextCNN模型的性能影響。
  • 中國製造2025,英飛凌聯合西安交大發布《智能製造管理白皮書》
    在這場席捲全球製造業的大變革中,創新的主體企業從未像今天這樣與科研高校走得如此緊密,原來處在象牙塔尖的高校科研力量也從未如此貼近產業一線。近日,全球領先的半導體公司英飛凌攜手西安交通大學共同發布了《智能製造管理白皮書》(簡稱《白皮書》)。
  • 平安科技聯邦學習技術成果入選EMNLP2020,業內聯邦學習NLP模型重磅...
    業內聯邦學習NLP模型重磅發布聯邦學習為深度學習提供了一種數據可用不可見的訓練方式,因而在深度學習領域激起了新的熱潮。利用大量的訓練樣本,深度學習能夠學習到幾乎任意任務的數學模型。在論文中,團隊在支持GPU的伺服器群集上成功部署了聯邦自然語言處理網絡。以一個常用的NLP模型:TextCNN為例,展示了聯邦學習在自然語言處理領域的應用潛力。此外,團隊在聯邦網絡訓練過程中引入了可管理的差分隱私技術,有效保護了聯邦學習參與者的數據安全(見圖1)。與現有的客戶端級別的隱私保護方案不同,團隊提出的差分隱私是定義在數據集樣本級別的,這與目標場景——機構間的聯邦合作訓練是一致的。
  • 《政府數據供應鏈白皮書2.0》發布,倡議共同推進全國一體化大數據...
    ,同時,還發布了關於推進政府數據供應鏈的聯合倡議。《白皮書2.0》中提到,全社會的數據資源是倒二八結構,數據共享從政府內部共享走向了政府與社會協同共享。在我國,大數據也是一項國家戰略。大數據、區塊鏈、人工智慧、5G等新一代信息技術蓬勃發展,尤其是區塊鏈,要利用區塊鏈技術促進生產技術的有序高效流動,深化最多跑一次的改革。因此,應用區塊鏈技術,實現數字業務的多方協同。
  • 微眾銀行發布世界第一本《聯邦學習》專著:大數據時代,效率和隱私...
    在大數據時代,在機器學習日新月異的時代,數據安全和隱私邊界成了最難解決的問題之一。那麼如何在保證用戶隱私安全的前提下合法合規獲取數據?已經成為當下人工智慧大規模應用於產業的關鍵。聯邦學習(Federated Learning),正是解決這一矛盾的利器。
  • 騰訊天衍實驗室聯合微眾銀行研發醫療聯邦學習,讓腦卒中預測準確率...
    數據問題讓醫療AI成了「空中樓閣」,在這一難題下,騰訊天衍實驗室聯合微眾銀行聯合研發了醫療聯邦學習框架,成功地實現了在保護不同醫院數據隱私下的疾病預測模型,破解醫療行業數據安全與隱私保護難題。這是聯邦學習在醫療健康大數據領域應用的首個成功案例,為醫療大健康的各種潛在應用如分診診療、慢病防控、疾病早篩、醫保控費的落地等探索出了新的方向。
  • 聯邦學習算法綜述
    1 引言隨著數位化技術進入高速發展期,大數據和人工智慧等技術迎來爆發式發展,這一方面為傳統業態帶來了升級變革的新機遇,另一方面不可避免地給數據和網絡安全帶來了全新的挑戰,而數據孤島問題是關鍵挑戰之一。在與其他合作數據持有方達成協議後,聯合建模設想被確立,各數據持有方進入聯合建模過程。由中心伺服器向各數據持有方發布初始參數。步驟2:局部計算。聯合建模任務開啟並初始化系統參數後,各數據持有方將被要求首先在本地根據己方數據進行局部計算,計算完成後,將本地局部計算所得梯度脫敏後進行上傳,以用於全局模型的一次更新。步驟3:中心聚合。
  • 美國聯邦大數據研發戰略計劃述評
    賀曉麗  [摘要]《聯邦大數據研發戰略計劃》是美國政府於2016年發布的國家大數據戰略性文件,其中包含新興技術、數據質量、基礎設施、共享機制、隱私安全、人才培養、相互合作七項戰略內容。《倡議》發布後,又有聯邦12個政府部門共18個單位提出了總計89個大數據研發項目清單;[7]國家科學基金會和國防高級研究計劃局發布《大數據項目申請指南》,為相關單位申請大數據項目提供指導。[8]  在《倡議》促進下,聯邦機構、科研院所及社會企業在大數據研發、管理及應用等方面進行了積極探索,取得明顯進展。
  • 「羊吃草」論數據隱私保護難題?世界第一本聯邦學習專著問世
    實際上,這本書「意義重大」,絕非童話,是用「羊吃草」的比喻給我們解釋:大數據時代,人工智慧在隱私安全前提下實現數據合作的最優解決方案。當然,不僅僅是零售領域,在其他領域聯邦學習也同樣發揮出色,比如對「安全」十分看重的金融領域:多家機構聯合建模的風控模型能更準確地識別信貸風險,聯合反欺詐;多家銀行建立的聯邦反洗錢模型,能解決該領域樣本少,數據質量低問題。
  • 《政務雲數據中心發展白皮書》發布
    原標題:《政務雲數據中心發展白皮書》發布隨著國家提出加快「新基建」的號召,承載數據分析、存儲、計算的數據中心再次被推向新的發展熱潮,成為提升數字經濟能級、助力現代化治理、實現智慧生活的「算力底座」,在推動「新基建」高質量、高效能發展的過程中發揮著重要作用
  • 課程報名 | 微眾銀行首席AI官楊強:為什麼需要聯邦學習?
    AI金融的每一步,大數據紅利在左,數據隱私安全在右。誰能兼顧數據挖掘和隱私保護?聯邦學習。聯邦學習作為新興技術範式,得到了產學兩界的極大青睞。2020年4月8日,《聯邦學習白皮書V2.0》正式面世,由微眾銀行人工智慧部、電子商務與電子支付國家工程實驗室(中國銀聯)、鵬城實驗室、平安科技、騰訊研究院、中國信通院雲大所、招商金融科技等多家企業和機構聯手發布。
  • 重要通知|新版FMEA標準白皮書發布(中、英文版)!
    美國汽車工業行動集團(以下簡稱「AIAG」)和德國汽車工業協會(以下簡稱「VDA」)聯合出版的失效模式及影響分析(以下簡稱「FMEA」)新標準,將於2019年6月1日發行,並將首次同步發行德語版、英文版和中英雙語版標準。
  • 中國綠金委與歐洲投資銀行聯合發布白皮書
    中國金融學會綠色金融專業委員會(綠金委)和歐洲投資銀行於11月11日在第23屆聯合國氣候大會期間聯合發布了題為《探尋綠色金融的共同語言 (The Need for a Common Language in Green Finance)》的白皮書。