機器之心報導
機器之心編輯部
人工智慧頂級會議 ICML 2018 即將於 7 月 10 日至 15 日在瑞典首都斯德哥爾摩舉行。昨天，大會提前公布了最佳論文獲獎名單，在超過 600 篇被接收論文中，來自 MIT 和 UC Berkeley 的研究人員分享了最佳論文的殊榮。值得一提的是，此前攻破 ICLR 2018 大會七篇對抗樣本防禦方法的研究眾望所歸地成為了最佳論文。
而復旦大學副教授黃增峰一人署名的論文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》則和 DeepMind、史丹福大學的兩篇論文一同位居「亞軍」論文行列。
Best Paper Awards
來自 MIT 的 Anish Athalye 與來自 UC Berkely 的 Nicholas Carlini 和 David Wagner 獲得了最佳論文。早在今年 2 月份，這項攻破 ICLR 2018 七篇對抗樣本防禦論文的研究就引起了深度學習社區的熱烈討論。該研究定義了一種被稱為「混淆梯度」（obfuscated gradients）的現象。在面對強大的基於優化的攻擊之下，它可以實現對對抗樣本的魯棒性防禦。這項研究引起了深度學習社區的討論，GAN 提出者 Ian Goodfellow 也參與其中。機器之心曾對此做過報導。
論文：Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
論文地址：https://arxiv.org/abs/1802.00420
項目地址：https://github.com/anishathalye/obfuscated-gradients
摘要：我們發現了一種「混淆梯度」（obfuscated gradient）現象，它給對抗樣本的防禦帶來虛假的安全感。儘管基於混淆梯度的防禦看起來擊敗了基於優化的攻擊，但是我們發現依賴於此的防禦並非萬無一失。對於我們發現的三種混淆梯度，我們會描述展示這一效果的防禦指標，並開發攻擊技術來克服它。在案例研究中，我們試驗了 ICLR 2018 接收的 8 篇論文，發現混淆梯度是一種常見現象，其中有 7 篇論文依賴於混淆梯度，並被我們的這一新型攻擊技術成功攻克。
來自 UC Berkeley EECS 的 Lydia T. Liu、Sarah Dean、Esther Rolf、Max Simchowitz 和 Moritz Hardt 的論文同樣也獲得了最佳論文獎。由於機器學習系統易受到數據偏見而導致歧視性行為，人們認為有必要在某些應用場景中用公平性準則約束系統的行為，並期待其能保護弱勢群體和帶來長期收益。該研究探索了靜態公平性準則的長期影響，發現結果和人們的期望相去甚遠。
論文：Delayed Impact of Fair Machine Learning
論文地址：https://arxiv.org/abs/1803.04383
摘要：機器學習的公平性主要在靜態分類設置中得到研究，但沒有關注這些決策如何隨時間改變潛在的群體。傳統的觀點認為公平性準能提升他們想保護的群體的長期利益。
我們研究了靜態公平性標準如何與暫時的利益指標相互作用，例如利益變量的長期提升、停滯和下降。我們證實了即使在一步反饋模型中，常見的公平性準則沒有隨時間帶來改善，並可能實際上給特定案例帶來傷害（無約束的目標函數反而不會）。
我們完整地總結了三個標準準則的延遲影響，對照了和這些準則的行為存在質的不同的制度。此外，我們發現一種自然形式的度量誤差可以放寬公平性準則能夠在其中順利執行的制度。
我們的結果強調了評估公平性準則的度量和時序建模的重要性，展示了一系列的新挑戰和權衡問題。
BAIR 博客此前曾經介紹過這篇論文，參見：前沿 | BAIR 探索機器學習公平準則的長期影響：對弱勢群體的善意真的種出了善果？
Best Paper Runner Up Awards
在最佳論文亞軍（Runner Up）論文中，復旦大學數據科學學院副教授黃增峰完成的在線流（online streaming）算法獲得了這一榮譽，黃增峰為這篇論文的唯一作者。該論文討論的這種在線流算法可以在只有非常小的協方差誤差的情況下，從大型矩陣抽取出最能近似它的小矩陣。
論文：Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices
論文地址：http://203.187.160.132:9011/www.cse.ust.hk/c3pr90ntc0td/~huangzf/ICML18.pdf
摘要：給定一個 n×d 維的大型的矩陣 A，我們考慮計算一個 l×d 維的概要矩陣（sketch matrix）B，概要矩陣的維度 l 要顯著小於原矩陣 A，但它仍是矩陣 A 優良的近似。我們希望最小化協方差誤差：
現在我們考慮流模型（streaming model）中的問題，其中的算法只能在有限的工作空間內傳輸輸入一次。而流行的 Frequent Directions 算法（Liberty, 2013）與它的變體實現了最優空間和誤差間的權衡。然而運行時間是否能提升還是一個懸而未決的問題。在本論文中，我們幾乎可以解決這個問題的時間複雜度。特別是，我們提供了有更快運行時間的新型空間-最優（space-optimal）算法。此外，除非矩陣乘法的當前最優運行時間能顯著提升，否則我們算法的運行時間是近似最優的（near-optimal）。
對於大規模矩陣運算，精確的算法通常會非常慢，因此有非常多的研究聚焦於設計一種快速的隨機近似算法。為了加速計算，採用小矩陣近似大矩陣的矩陣概要是常用的技術。而在實際應用中，數據通常以流式的形式傳輸，將整個數據集儲存在主內存中通常是不切實際和不可能的。
在本論文中，作者黃增峰研究了在小的協方差下保留概要矩陣的在線流算法。在流模型中，輸入矩陣的行秩能一次降低到 1；該算法只允許在有限的工作空間內傳輸一次，這是持續保留概要矩陣所必須的。
流行的 Frequent Directions 算法在空間佔用和近似誤差間實現了最優的權衡，該算法目前已經廣泛應用於在線學習。然而，我們仍然不太清楚它們的運行時間是否能提升，也許我們只能寄希望於得到線性（稀疏）時間的算法，這在很多矩陣問題上是可能的。本論文主要由以下問題驅動：
是否存在輸入稀疏時間的 Frequent Directions 算法，能夠實現同等最優的空間-誤差權衡？
以下展示了黃增峰提出的主要算法，他的核心思想是在原始 FD 中使用快速逼近的 SVD，產生次優的時間。
來自 DeepMind 和牛津大學的研究者也獲得了 Best Paper Runner Up Awards。
論文：The Mechanics of n-Player Differentiable Games
作者：David Balduzzi, Sebastien Racaniere, James Martens, Jakob Foerster, Karl Tuyls, Thore Graepel
論文地址：https://arxiv.org/abs/1802.05642
摘要：支撐深度學習的基石是保證目標函數能利用梯度下降收斂到局部極小值。不幸的是，這個保證在某些情況下會失效，例如生成對抗網絡，其中有多個交互損失。在博弈中，基於梯度的方法的行為並沒有得到很好的理解，隨著對抗性和多目標架構的數量激增，這變得越來越重要。在這篇論文中，我們開發了新的技術來理解和控制一般博弈中的動態。主要的結果是將二階動態分解為兩個部分。第一個和潛博弈（potential game）相關，可以用內含的函數簡化為梯度下降；第二個和哈密頓博弈相關，這是一種新的博弈類型，遵循一種守恆定律——類似於經典力學系統中的守恆定律。該分解啟發了辛梯度調整（Symplectic Gradient Adjustment，SGA），這是一種用於尋找一般博弈中的穩定不動點的新算法。基礎實驗表明 SGA 的性能和近期提出的尋找 GAN 穩定不動點的算法不相上下，同時可以應用到更多的一般博弈中，並保證收斂性。
同樣獲得該榮譽的還有來自史丹福大學的研究者。
論文：Fairness Without Demographics in Repeated Loss Minimization
作者：Tatsunori Hashimoto, Megha Srivastava, Hongseok Namkoong, Percy Liang
論文地址：https://arxiv.org/abs/1806.08010
摘要：機器學習模型（如語音識別器）通常被訓練以最小化平均損失，這導致了表徵差異（representation disparity）——少數群體（如非母語說話者）對訓練目標函數的貢獻較少，並因此帶來了更高的損失。更糟糕的是，由於模型準確率會影響用戶保留，因此少數群體的數量會隨著時間而日益減少。本論文首先展示了經驗風險最小化（ERM）的現狀放大了表徵差異，這甚至使得最初公平的模型也變得不公平了。為了緩解這一問題，我們開發了一種基於分布式魯棒優化（distributionally robust optimization，DRO）的方法，可以最小化所有分布上的最大風險，使其接近經驗分布。我們證明了該方法可以控制每個時間步的少數群體風險，使其符合羅爾斯分配正義，同時該方法對群體的標識並不清楚。我們證明 DRO 可以阻止樣本的表徵差異擴大，而這是 ERM 做不到的，我們還在現實世界的文本自動完成任務上證明了該方法對少數群體用戶滿意度的改進。