新加坡國立大學在讀博士張景鋒:基於對抗學習的模型魯棒性研究...

2020-12-12 智東西

對抗樣本,即對輸入樣本故意添加一些人類無法察覺的細微幹擾從而形成的新樣本,可以導致模型以高置信度給出一個完全錯誤的輸出。對抗樣本給深度學習領域帶來了極大的挑戰與實際危害,如針對面部識別系統缺陷的非法認證、醫療數據等領域的隱私竊取和自動駕駛系統的惡意控制等。因此,提升深度學習神經網絡的魯棒性變得愈發重要。

對抗學習是目前提升模型魯棒性最有效的方式,其核心思路是針對當前的神經網絡構建對抗樣本,然後通過不斷更新網絡參數來學習對抗樣本。傳統對抗學習是基於極小極大算法(Minimax),這是一種找出失敗的最大可能性中最小值的演算法(即最小化對手的最大收益)。Minimax算法假設了對手有完美決策能力,我方策略只能是在對方所能導致的最差情況中選擇最好的那種,因此其本質上是一種悲觀算法。

在上述公式的內層中,通過最大化損失函數尋找最惡劣情況的對抗樣本;在外層中,通過學習對抗樣本來最小化損失函數。此公式被證明在提升模型魯棒性方面表現優異,但由於此算法的「悲觀性」,也導致了學習過程中的諸多問題。如在最大化損失函數的過程中,此算法並不在意模型對數據的分類是否正確,因此魯棒性的提升是以犧牲準確率為巨大代價的。除此之外,因為每次尋找對抗數據都需要多次反向傳播,所以學習過程十分耗時。那麼是否有可能對極小極大公式進行改進優化,使得模型能兼顧對抗魯棒性與準確性,並降低計算複雜度呢?

8月6日晚上8點,智東西公開課邀請到新加坡國立大學在讀博士張景鋒參與到「機器學習前沿講座」第4講,帶來主題為《基於對抗學習的模型魯棒性研究》的直播講解。張景鋒博士將從對抗學習在提升模型魯棒性中的研究與挑戰出發,詳解極小極大公式的原理及缺陷,並深入講解如何在兼得模型魯棒性與準確性的前提下,構建一種基於友好對抗樣本的對抗訓練模型—Friendly Adversarial Training(FAT)。

張景鋒是新加坡國立大學計算機學院的在讀博士,主要研究領域為人工智慧的魯棒性,在ICML等頂級會議發表多篇論文。張博士本科畢業於山東大學泰山學堂。

課程內容

主題:基於對抗學習的模型魯棒性研究

提綱:1. 對抗學習在提升模型魯棒性中的研究與挑戰2. 基於極小極大優化的對抗學習原理3. 基於友好對抗樣本的對抗訓練模型FAT的構建

講師介紹

張景鋒,新加坡國立大學計算機學院在讀博士。主要研究領域為人工智慧的魯棒性;在ICML等頂級會議發表多篇論文;本科畢業於山東大學泰山學堂。

直播信息

直播時間:8月6日 20:00直播地點:智東西公開課小程序答疑地址:智東西公開課討論群

加入主講群

本次課程的講解分為主講和答疑兩部分,主講以視頻直播形式,答疑將在「智東西公開課討論群」進行。加入討論群,除了可以免費收看直播之外,還能認識講師,與更多同行和同學一起學習,並進行深度討論。掃碼添加小助手曼曼(ID:zhidx006)即可申請,備註「姓名-公司/學校/單位-職位/專業」的朋友將會優先審核通過哦~

相關焦點

  • 萬字長文 | 對抗魯棒性簡介
    作者:陶略,PARNEC Group,南京航空航天大學本文介紹對抗魯棒性,主要針對的是深度學習時代下深度神經網絡的魯棒性問題。
  • 模型攻擊:魯棒性聯邦學習研究的最新進展
    這兩種類型的語義後門都能夠造成模型基於未經修改的數字輸入產生攻擊者選擇的輸出。另一類後門攻擊問題稱為像素模式(pixel-pattern)。像素模式後門要求攻擊者在測試時以特殊方式修改數字圖像的像素,以便模型對修改後的圖像進行錯誤分類。在一些應用場景下,這些後門攻擊導致的問題比針對全局模型直接對抗式破壞的方式更加嚴重。後門與對抗樣本。
  • 新加坡博士留學|新加坡國立大學(NUS)博士申請條件
    新加坡國立大學是新加坡首屈一指的世界級頂尖大學,在工程、生命科學及生物醫學、社會科學及自然科學等領域的研究享有世界盛名。國大每年都會有大批的海外學生前來求學,其中就有不少中國留學生。國大擁有1700名博士、博士後專家與學者和500名研究人員。
  • Talk預告 | Hawkes process模型新研究: 約翰霍普金斯大學在讀博士...
    北京時間12月24日(周四)晚8點,約翰霍普金斯大學計算機科學系在讀博士—梅洪源的Talk將準時在將門TechBeat技術社區開播!  Talk·信息  ▼  主題:用一個"神經"了的Hawkes process  對事件序列建模  嘉賓:約翰霍普金斯大學  計算機科學系在讀博士
  • 香港中文大學博士沈宇軍:生成對抗網絡的可解釋性研究及其應用
    神經網絡由於網絡特徵或決策邏輯在語義層面難以理解,同時也缺少數學工具去診斷與評測網絡的特徵表達能力,進而解釋目前不同神經網絡模型的信息處理特點,一直被大家稱為是一種「黑箱」。而如何對神經網絡進行「解釋」,稱為近年來的熱門研究方向。生成對抗網絡近年來隨著其不斷的發展,生成圖片的質量以及模型的訓練穩定性不斷提高。
  • 新加坡國立大學2020/21年度碩博招生人數匯總!
    新加坡國立大學是新加坡首屈一指的世界級頂尖大學,在2020年11月QS發布的2021年亞洲大學排行榜中,新加坡國立大學穩居第一。趁熱打鐵,小助手為大家整理出NUS2020/21年度碩博招生人數,給將要申請2021年秋季入學的小夥伴提供參考,助大家一臂之力!
  • 同濟大學-新加坡國立大學研究生國際學術論壇圓滿落幕
    日前,2019年度同濟大學-新加坡國立大學研究生國際學術論壇在新加坡舉行。本次研究生國際學術論壇由同濟大學物理科學與工程學院與新加坡國立大學工學院電氣與計算工程系聯合舉辦,旨在促進雙方研究生交流學習,並拓展兩校在超構材料領域的人才培養與科研合作。來自物理科學與工程學院李果、呂渴強、吳瓊、陳旭、王宇倩、胡勇亮、曾超、吳家駒、範才富、房鑫盛10位研究生以及電子與信息工程學院的碩士研究生何逸輝一行參加了論壇。
  • 新加坡國立大學2020/21年度本科在讀人數出爐!
    它是新加坡國立大學歷史最悠久、規模最大的學院之一,有16個系,為對中國及東南亞文學、歷史、哲學、語言以及與海外華人社區有關的問題感興趣的學生提供全面而高質量的亞洲研究和語言研究的學術課程。根據2020 QS世界大學排名,FASS社會科學專業排第12名,藝術和人文專業排第19名。
  • 德克薩斯A&M大學在讀博士遊宇寧:自監督學習在圖卷積網絡中的研究...
    當前自監督學習已經被廣泛用於訓練卷積神經網絡(CNNs),有效地提高了圖像表示學習可傳遞性、泛化能力和魯棒性,並且已在語義分割、目標檢測、圖像分類、人體動作識別等實戰場景中展現出卓越效果。現在更多無需人工標註的前置任務訓練也被提出,如前景對象分割、圖像修補、圖像著色等。然而,自監督如何應用於處理圖數據結構的圖卷積網絡(GCNs)的問題卻很少被探索。
  • 豐田工業大學芝加哥分校在讀博士石昊悅:基於自然監督信號的句法...
    在「NLP前沿講座」第1講的講座中,智東西公開課邀請到豐田工業大學芝加哥分校的在讀博士石昊悅,為大家帶來主題為《基於自然監督信號的句法結構學習》的講座。隨著深度學習在NLP領域的應用,特別是本身攜帶句法關係模型的推陳出新,句法分析似乎不那麼受到關注了。
  • 阿德萊德大學在讀博士陳昊:高質高效的實例分割模型BlendMask:公開...
    實例分割兼具目標檢測和語義分割的特點,因此逐漸演化出基於語義分割的down-top apporach與基於目標檢測的top-down apporach兩種方法。而目前雖然FCIS和YOLACT已有類似的思想,但都沒有很好的處理top-level和bottom-level的特徵,高維特徵包含整體的instance信息,而低維特徵的則保留了更好的位置信息,如何合併高低維特徵,8月7日晚8點,智東西公開課邀請到阿德萊德大學在讀博士、BlendMask一作陳昊參與「CV前沿講座」第13講,陳博士將圍繞《BlendMask-高質高效的實例分割模型》這一主題進行直播講解
  • 新加坡國立大學工科如何?
    從中可以發現,新加坡國立大學的工科專業實力還是非常強勁的。新加坡國立大學申請條件新加坡國立大學本科申請條件:國內學生如果以高考成績申請新加坡國立大學本科,應屆或往屆高中畢業生高考分數超過當地一本分數線100分以上,有雅思6.5分或者sat成績,並通過國立大學在國內舉辦的筆試和面試,才能錄取。
  • 新加坡國立大學公共政策與公共衛生學院有多強?
    新加坡國立大學(National University of Singapore),簡稱國大(NUS),是新加坡首屈一指的世界級頂尖大學。新加坡國立大學前身為1905年成立的海峽殖民地與馬來亞聯邦政府醫學院。1912年,該校改名為愛德華七世醫科學校。1928年,萊佛士學院成立。1949年,愛德華七世醫學院與萊佛士學院合併為馬來亞大學。
  • 多倫多大學在讀博士朱子寧:如何利用語言探針檢測深度神經模型性能...
    「NLP前沿講座」,是智東西公開課針對自然語言處理領域推出的一檔講座,聚焦於自然語言處理前沿領域研究成果與進展。我們將持續邀請研究者、專家與資深開發者,為大家帶來直播講解。語言模型編碼在神經模型中的評估越來越受到科研人員的關注。
  • 天津大學、東京大學等研究:用深度強化學習檢測模型缺陷
    新智元專欄作者:段義海【新智元導讀】天津大學多智能體與深度強化學習實驗室與東京大學、日本 AIST 研究所合作的一篇論文,提出利用深度強化學習方法來檢測信息物理系統(CPS)模型中的缺陷。與傳統方法相比,深度強化學習方法在大多數情況下能夠通過更少次的模擬實驗找出系統的缺陷。
  • 新加坡國立大學蘇斌博士訪問國科大管理學院
    6月26日上午,新加坡國立大學蘇斌博士訪問國科大管理學院。管理學院副院長董紀昌教授等接待了蘇斌博士。蘇博士此行主要是針對雙方合作開展高端經理人培訓項目進行洽談。蘇博士首先介紹了他所在的新加坡國立大學能源研究中心(Energy Studies Institutes-ESI)的概況,並指出,ESI作為新加坡國內唯一一所以能源政策為研究對象的研究平臺,非常願意發展同中國科學院的合作。
  • 新加坡國立大學商學院成立中國商務研究中心
    作為一個資源中心,它將是一個關於中國商業圖景的知識寶庫,而高質量的研究將不斷更新它的內容。作為一個學習機構,它將為任何對中國感興趣的人提供向專家學習與互動的機會,而這些專家深入了解蓬勃發展的中國商業圖景。」中國商務研究中心是新國大商學院「深度參與中國」舉措的「延伸」。
  • 新加坡留學之新加坡國立大學
    新加坡國立大學成立於1905年,佔地150公頃,地處風光明媚的新加坡西南部,它背倚蒼綠青翠的肯特山崗,遙望碧波萬頃的新加坡海港。 2014年QS世界大學排行版中,新加坡國立大學名列世界第二十二位, 亞洲第一。在幾個重要的學科領域表現更為出色。
  • 天津大學-新加坡國立大學福州聯合學院舉行開學儀式 迎來首批博士...
    (記者焦德芳 攝影攝像劉延俊、丁宇)8月31日,天津大學-新加坡國立大學福州聯合學院舉行開學儀式,60名博士新生成為了天津大學福州國際校區第一批「主人」。陳偉匯報了近期學院科研教學開展情況和取得成績,陳偉表示,年輕的聯合學院已經開始在科學研究的世界版圖上佔有一席之地,相信通過天津大學-新加坡國立大學福州聯合學院與福州當地高校和科研院所展開緊密合作,一定能夠把福州的高等教育和科研水平推上一個新的高度。
  • 新加坡國立大學博士做客南開金融學術講堂
    南開新聞網訊(通訊員 丁樹澤)近日,新加坡國立大學房地產系張笑語博士應邀做客南開金融學術講堂,並作了題為 「Golfing for Information: Social Interactions  報告通過採用房地產開發公司高管打高爾夫球的社交活動,識別高管間的社交網絡,並圍繞社交網絡中獲取信息對開發商土地競標的影響展開研究。研究發現,政府宣布供地計劃後,開發商高管之間打球概率顯著增加。這一結果顯示土地市場對開發商高管打球的行為產生了顯著影響,開發商高管確實將打球作為交流信息的手段之一。  張笑語,新加坡國立大學房地產系博士候選人。