機器學習頂會ICML 2018:復旦大學副教授獲最佳論文亞軍 騰訊清華...

智東西(公眾號:zhidxcom)
文 | 心緣

智東西7月12日消息，第35屆機器學習國際大會ICML 2018在7月10日至15日期間登陸瑞典斯特哥爾摩。ICML官網上提前公布了最佳論文名單，來自MIT和UC Berkeley的研究人員摘得最佳論文的桂冠。復旦大學大數據學院副教授黃增峰獨立署名的論文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》和來自DeepMind、史丹福大學的兩篇論文共同位居最佳論文亞軍行列。

▲ICML 2018舉辦場地

ICML源於1980年卡內基•梅隆大學舉辦的機器學習研討會，如今它已成為代表學術界機器學習最高水準的國際頂級會議。今年ICML 2018共入圍621篇論文，我國騰訊、清華、北大等研究機構也在論文入選排行榜上佔據一席之地。

▲ICML 2018官網公布最佳論文和最佳論文亞軍名單

一、最佳論文（Best Paper Awards）

1、《Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples 》

作者：來自麻省理工大學（MIT） 的 Anish Athalye ，來自加州伯克利大學（UC Berkeley）的 Nicholas Carlini 和 David Wagner。

簡介：如果在一張圖片添加幹擾，可能就能騙過分類器。為了抵禦對抗樣本的攻擊，使得神經網絡在受到迭代攻擊時不受對抗樣本幹擾，研究人員在尋找強大的對抗樣本防禦器，使其在面對基於優化的攻擊之下，可以實現對對抗樣本的魯棒性防禦。

摘要：我們確定一種混淆梯度（Obfuscated gradients）現象，它會給對抗樣本的防禦帶來虛假安全感。儘管引發混淆梯度的防禦似乎能抵禦基於迭代優化的攻擊，但我們發現依賴於此效果的防禦方法可能會被繞過。我們將描述和展示我們所發現的三種類型混淆梯度效果的防禦特徵，並針對每一種混淆梯度開發了可以克服問題的攻擊技術。在案例研究中，通過在ICLR 2018上檢驗未經證明的白盒安全防禦，我們發現混淆梯度是一種常見現象，9種防禦方法中有7個都依賴於混淆梯度。在每篇論文所考慮的原始威脅模型中，我們的新攻擊成功完全攻克6種防禦，部分攻克1種防禦。

論文下載：http://proceedings.mlr.press/v80/athalye18a/athalye18a.pdf
補充材料：http://proceedings.mlr.press/v80/athalye18a/athalye18a-supp.pdf

2、《Delayed Impact of Fair Machine Learning》

作者：來自加州伯克利大學電子工程與計算機科學部的 Lydia T. Liu、Sarah Dean、Esther Rolf、Max Simchowitz 和 Moritz Hardt。

簡介：機器學習模型常受數據影響而存在偏見問題，本文以借貸問題為背景，探索靜態公平性準則等長期影響，分析和探討如何使機器學習算法更加公正的對待各個群體，保護弱勢群體並獲得長期收益。

摘要：研究者們主要在靜態分類的場景下研究機器學習的公平性準則，但沒有關心這些決策隨著時間推移會如何改變潛在群體。傳統觀點認為，公平性準則可以更好保護受不公平群體的長期利益。我們研究靜態公平性準則如何與利益指標之間相互作用，例如利益變量的長期增長、停滯和下降。我們證實了即使在一階反饋模型中，常規的公平性準則通常也不會促進隨著時間的推移而有所改善，並且對於那些在無約束的目標不會導致損害的情況，公平性限制反倒可能會造成傷害。我們完整描述了三個標準的公平性準則的延遲影響，對比了這些準則行為表現出可量化的不同行為。此外，我們還發現自然形式的測量誤差放寬了有利於公平性準則發揮作用的制度。我們的結果顯著體現了評估公平性準則的測量和時間建模的重要性，也提出了一系列新挑戰和權衡取捨問題。

論文下載：http://proceedings.mlr.press/v80/liu18c/liu18c.pdf
補充材料：http://proceedings.mlr.press/v80/liu18c/liu18c-supp.pdf

二、最佳論文亞軍（Best Paper Runner Up Awards）

1、《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》

作者：來自復旦大學大數據學院的副教授黃增峰。

▲復旦大學大數據學院副教授黃增峰

簡介：該論文討論的在線流（online streaming）算法可在只有協方差誤差非常小的情況下，從大型矩陣抽取出最能近似它的小矩陣。

摘要：給定一個n×d維的大型矩陣A，我們考慮計算一個ℓ×d維的概要矩陣（sketch matrix）B，它的維度明顯小於但仍然很接近矩陣A。我們對最小化協方差誤差感興趣。考慮到流模型中的問題，其算法只能在有限的工作空間中輸入通過一次。而流行的Frequent Directions算法（Liberty，2013）和它的變體實現了最優空間和誤差權衡。然而，是否可以改善運行時間仍然是一個懸而未決的問題。在本文中，我們幾乎解決了這個問題的時間複雜度。尤其是，我們提供了新的空間優化算法，運行時間更短。此外，除非可以顯著提高矩陣乘法的最新運行時間，否則我們算法的運行時間是近似最優的。

論文下載：http://proceedings.mlr.press/v80/huang18a/huang18a.pdf
補充材料：http://proceedings.mlr.press/v80/huang18a/huang18a-supp.pdf

2、《The Mechanics of n-Player Differentiable Games》

作者：來自DeepMind的David Balduzzi、Sebastien Racaniere、James Martens、Karl Tuyls、Thore Graepel和和牛津大學的研究者 Jakob Foerster。

簡介：深度學習在訓練過程保證梯度下降收斂於局部最小值，但當產生對抗式網絡時，收斂於一個極值會造成損失。對此，本文研究新技術用於理解和控制可微分多萬家博弈中的動態機制。

摘要：支撐深度學習的基石是保證目標函數能利益梯度下降收斂於局部最小值。不幸的是，這種保證在某些情況下會失效，比如生成對抗性網絡（GAN）中會存在多個交互損失。基於梯度的方法行為在博弈中沒有得到很好的理解， 隨著對抗性和多目標架構的激增，這方面的研究變得越來越重要。在本文中，我們開發了新技術來理解和控制一般博弈中的動態表現。其中關鍵成果是將二階動態分解為兩個項。第一項與潛博弈（potential game）有關，可以根據隱式函數簡化梯度的下降而減小；第二部分涉及到哈密爾頓博弈，這是一種遵循守恆定律的新博弈，類似於經典力學的守恆定律。其分解手段啟發了辛梯度調節（SGA）算法，這是一種在一般博弈中尋找穩定固定點的新算法。基礎性實驗表明，SGA與最近提出的用於尋找GAN局部納什均衡的算法不分伯仲，同時適用於一般博弈並保證收斂性。

論文下載：http://proceedings.mlr.press/v80/balduzzi18a/balduzzi18a.pdf
補充材料：http://proceedings.mlr.press/v80/balduzzi18a/balduzzi18a-supp.pdf

3、《Fairness Without Demographics in Repeated Loss Minimization》

作者：來自斯坦福的Tatsunori Hashimoto、Megha Srivastava、Hongseok Namkoong、Percy Liang。

簡介：通常機器學習系統只考慮最大化整體的準確率，導致模型無法識別少數群體，這會造成少數群體在整體數據中的流失。該論文研究的是在不知道用戶分布的情況下，如何保證重複損失最小化的算法公平性。

摘要：訓練平均損失方面的機器學習模型（例如，語音識別器）遭受著表徵差異問題，少數群體（例如非母語人士）在訓練目標中承載較少的權重，並因此往往受到更高的損失。更糟糕的是，隨著模型準確性對用戶保留的影響，少數群體的數量會隨著時間的推移而減少。在本文中，我們首先展示經驗風險最小化（ERM）的方法加重了表徵差異問題，甚至可能使最初公平的模型也變得不公平。為了緩解這種情況，我們開發了一種基於分布式魯棒優化（DRO）的方法，該方法可以最大限度地降低所有分布的最壞風險，使其接近經驗分布。我們證明了這種方法符合羅爾斯分配正義，可控制每個時間步驟的少數群體風險，同時該方法仍然沒有認清群體標識。我們證明DRO可以組織樣本表徵差異的擴大，這是ERM做不到的，我們還展示了該方法在現實世界文本自動完成任務上對少數群體用戶滿意度的提高。

論文下載：http://proceedings.mlr.press/v80/hashimoto18a/hashimoto18a.pdf
補充材料：http://proceedings.mlr.press/v80/hashimoto18a/hashimoto18a-supp.zip

三、國內外研究機構參與論文入選情況

與其他人工智慧相關會議情況相似，今年的投稿數再創新高，達到2473篇，比去年ICML投稿數足足多了797篇。今年5月23日，ICML公布入選的論文榜單，有621篇論文突破重圍，幾乎比去年的434篇入圍數量超了接近一半。根據對所有論文關鍵詞做出的詞雲，神經網絡架構、強化學習、深度學習、優化、監督學習、在線學習、生成模型、統計學習理論等詞彙在投稿和入選論文中出現的頻率都遙遙領先。

▲ICML 2018現場PPT

下圖為621篇論文中位居前25名的一作論文所屬機構。單看第一作者，谷歌以49篇穩居冠軍寶座，UC伯克利大學、麻省理工大學（MIT）、史丹福大學分別以22、21、20篇緊隨其後。根據圖中列出的25個機構，有23個都是學術機構，僅有谷歌和微軟研究院屬於企業研究機構。我國只有清華擠入一作論文排行榜單。

▲ICML 2018各機構一作論文入選情況

下圖為國內學術機構和企業機構參與ICML 2018入圍論文的總篇數。

▲ICML 2018國內機構論文總篇數（包含非一作）入選情況

從圖中可以看出，國內學術機構以清華和北大獨領風騷，復旦、中科大、香港科技大、浙大位居第二梯隊。而企業機構以騰訊AI研究院表現最為卓越，不僅有6篇一作入圍，在全球企業中僅此於谷歌和微軟，參與的論文總數更是高達14篇，超過了清華和北大。另外，阿里巴巴的螞蟻金服有4篇入選，百度研究院有2篇入選，第四範式有1篇入選。

從整體來看，無論是國際上還是國內，學術機構的貢獻佔ICML論文數量的大頭。不過，位居前列的企業機構，如谷歌、微軟以及我國的騰訊和阿里，在參與論文總數上的成績均超過多數高校研究機構。