機器之心整理
參與：一鳴
本周 NeuralPS 2019 論文評審結果公布，其中包括周志華等的一篇「AI 蒙汗藥」論文。同時還有一些有趣的研究，如網易伏羲實驗室的 GAN 建立遊戲角色、上海交大的無監督詞嵌入命名實體識別等論文，同時還有關於深度學習數學計算和 GAN 的應用綜述論文。
目錄：
Deep Learning: Computational AspectsSystematic Analysis of Image Generation using GANsEvaluating the Search Phase of Neural Architecture SearchNamed Entity Recognition Only from Word EmbeddingsLearning to Confuse: Generating Training Time Adversarial Data with Auto-EncoderFace-to-Parameter Translation for Game Character Auto-CreationRethinking the Number of Channels for the Convolutional Neural Network
論文 1：Deep Learning: Computational Aspects
作者：Nicholas Polson、Vadim Sokolov論文地址：https://arxiv.org/pdf/1808.08618v2.pdf
摘要：在本文中，研究者回顧了深度學習（DL）計算方面的知識。藉助於包含潛在變量層級的網絡架構，深度學習構建用於高維輸入-輸出模型的預測器（predictor）。訓練深度學習架構的計算開銷大，並且高效的線性代數庫是訓練和推理的關鍵。隨機梯度下降（stochastic gradient descent，SGD）優化和分批採樣從海量數據集中學習。
推薦：本文是回顧深度學習數學方面的論文，適合希望了解理論基礎的讀者閱讀。
論文 2：Systematic Analysis of Image Generation using GANs
作者：Rohan Akut、Sumukh Marathe、Rucha Apte、Ishan Joshi、Dr. Siddhivinayak Kulkarni論文地址：https://arxiv.org/ftp/arxiv/papers/1908/1908.11863.pdf
摘要：在當今時代，生成對抗網絡（GAN）在促進無監督學習取得進展的過程中發揮了至關重要的作用。從文本或其他圖像的圖像合成示例來看，這些對抗網絡的性能較傳統方法有了極大的提升。此外，這些網絡根據對抗訓練理念進行訓練，旨在估計真實數據的潛在分布，並將潛在分布作為輸入以生成合成數據。基於這種基本原理，一些框架得以生成，並在藝術合成、高解析度輸出生成以及手工繪製圖像合成等現實應用中獲得完美實現。儘管在理論上生成對抗網絡的結果更好並在諸多方面較傳統方法好得多，但在特定應用中實現這些框架依然面臨挑戰。因此，在本文中，研究者探討並提出了這些框架的分類法以及它們在各種圖像到圖像和文本到圖像合成應用中的使用。研究者還對基本的生成對抗網絡以及各種不同的利基框架進行了批判性分析。此外，他們還介紹了生成對抗網絡相對於其他傳統方法的優劣勢，並討論了生成對抗網絡未來在醫療保健、藝術和娛樂等行業中的應用。
GAN 的總體分類。
StackGAN的總體架構。
AttnGAN 的架構
表 1：文本-圖像轉換任務中使用的 GAN 的方法總結。
推薦：GAN 是近年來圖像處理領域最值得關注的算法之一。本文是目前相當全面的一篇 GAN 的綜述，為讀者提供了 GAN 在不同場景下的方法全景圖。
論文 3：Evaluating the Search Phase of Neural Architecture Search
作者：Christian Sciuto、Kaicheng Yu、Martin Jaggi、Claudiu Musat、Mathieu Salzmann論文連結：https://arxiv.org/abs/1902.08142
作者提出的神經架構評價機制和其他機制的對比。
摘要：神經架構搜索（NAS）旨在促進用於處理新任務的深度網絡設計。現有技術依賴以下兩個階段：架構空間的搜索和最佳架構的驗證。目前，NAS 算法的評估僅比較它們在下遊任務中的結果。雖然很直觀，但這種比較無法明確評估搜索策略的有效性。因此，在本文中，研究者提出了一種涵蓋搜索階段的 NAS 評估框架。為此，他們對 NAS 搜索策略獲得的解決方案效果與隨機架構選擇的效果進行了比較。
比較結果顯示：（i）平均而言，隨機策略的效果優於當前 SOTA 神經架構搜索算法；（ii）NAS 算法的結果和候選排名（candidate ranking）無法反映候選架構的真實性能；（iii）廣泛使用的權重共享策略對良好架構的訓練產生負面影響，因而降低搜索過程的有效性。研究者認為他們提出的評估框架將成為設計 NAS 策略（這些策略能夠真正發現高質量架構）的關鍵。
推薦：本文提出了一種新穎的觀點——SOTA 的 NAS 甚至不如隨機策略，進而文章作者提出了一種新的 NAS 評價方法。讀者朋友可以借鑑文章中的觀點，重新思考 NAS 現在的研究。
論文 4：Named Entity Recognition Only from Word Embeddings
作者：Ying Luo、Hai Zhao、Junlang Zhan論文連結：https://arxiv.org/pdf/1909.00164.pdf
摘要：深度神經網絡在沒有手工構建特徵的情況下有助於命名實體（NE）識別實現出色的性能。但是，現有網絡需要大量的人工標註訓練數據。雖然研究人員付出努力以外部知識（如 NE 詞典、詞性標註等）替代人工標註，但獲取這種有效資源成為另一項挑戰。在本文中，研究者提出一種完全無監督的 NE 識別模型，這種模式只需要從預訓練詞嵌入中提取有益線索即可。
他們首先在詞嵌入上應用高斯隱馬爾可夫模型（Gaussian Hidden Markov Model）和深度自編碼高斯混合模型（Deep Autoencoding Gaussian Mixture Model），用於實體跨度檢測和類型預測；接著進一步設計了一個基於強化學習的實例選擇器，以區分積極句子和嘈雜句子，並通過神經網絡改善這些粗粒度標註。在 CoNLL 基準數據集上的大量實驗結果表明，研究者提出的輕量級 NE 識別模型在不使用任何標註詞典或語料庫的情況下實現了出色的性能。
無監督命名實體識別模型的基本架構。左圖的模型用於實體文本的檢測，右圖的模型則用於實體類型的預測。
強化學習模型的框架圖示。
推薦：萬能的詞嵌入又有新應用。本文是上海交大的一篇論文，用詞嵌入進行無監督的命名實體識別任務，為文本數據上進行無監督學習提供了新的思路。
論文 5：Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder
作者：Ji Feng、Qi-Zhi Cai、 Zhi-Hua Zhou論文連結：https://arxiv.org/pdf/1905.09027.pdf
摘要：本文提出了高效生成對抗訓練數據的最先進方法之一——DeepConfuse，通過劫持神經網絡的訓練過程，教會噪聲生成器為訓練樣本添加一個有界的擾動，使得該訓練樣本訓練得到的機器學習模型在面對測試樣本時，泛化能力儘可能地差，非常巧妙地實現了「數據下毒」。
「數據下毒」即讓訓練數據「中毒」，具體的攻擊策略是通過幹擾模型的訓練過程，對其完整性造成影響，進而讓模型的後續預測過程出現偏差。（「數據下毒」與常見的「對抗樣本攻擊」是不同的攻擊手段，存在於不同的威脅場景：前者通過修改訓練數據讓模型「中毒」，後者通過修改待測試的樣本讓模型「受騙」。）
推薦：這篇又名為「AI 蒙汗藥」的論文作者是周志華等，採用了從數據層面對模型進行攻擊的方法。論文已被 NeuralPS 2019 接收。
論文 6：Face-to-Parameter Translation for Game Character Auto-Creation
作者：Tianyang Shi、Yi Yuan、Changjie Fan、Zhengxia Zou、Zhenwei Shi、Yong Liu 論文連結：https://arxiv.org/pdf/1909.01064
摘要：角色定製系統是角色扮演類遊戲（RPG）的重要組成部分，玩家可以根據自身喜好對他們遊戲中角色的面部外觀進行編輯，而不使用默認模板。本文提出的方法能夠根據輸入的人臉照片自動創建玩家的遊戲角色。基於面部相似性度量和參數搜索範式，並通過解決大量具有物理意義的人臉參數的優化問題，研究者制定了上述「藝術創造」過程。
方法概覽。該方法可基於輸入人臉圖像自動生成遊戲角色，它基於人臉相似性度量和參數搜索機制（對大量具備物理意義的面部參數執行搜索）實現。之後用戶可以根據需要自行微調生成遊戲角色的面部參數。
該方法的處理流程。模型包括模擬器 G(x) 和特徵提取器 F (y)。前者模擬遊戲引擎的行為，以用戶定製的面部參數 x 為輸入，生成「渲染後」的人臉圖像 y。後者則決定了人臉相似性度量可以執行的特徵空間，以搜索最優的面部參數集。
推薦：本文是網易伏羲實驗室的一篇論文，是 GAN 在遊戲領域一個非常有創意的應用。利用人臉圖像生成遊戲中的角色人臉參數。據論文介紹，這個方法已在網易的遊戲中使用了百萬次。
論文 7：Rethinking the Number of Channels for the Convolutional Neural Network
作者：Hui Zhu, Zhulin An, Chuanguang Yang, Xiaolong Hu, Kaiqiang Xu, Yongjun Xu論文連結：https://arxiv.org/pdf/1909.01861v1
摘要：最近的一些神經架構搜索（NAS）相關的論文——儘管取得了一定的成果，但缺少一種能夠設計卷積神經網絡中通道數的 NAS 方法。本文提出了一種針對卷積神經網路通道數的高效自動架構搜索方法。在 CIFAR-10 和 CIFAR-100 數據集分類任務上，可以使用很小的計算資源（0.4~1.3 GPU-days）來發現新的架構，並分別取得了 0.5% 和大約 2.3% 的精確度提升，而且模型參數更少。作者認為，這一方法適用於各種卷積神經網絡，用於快速發現合適的通道數。
推薦：NAS 的研究正在滲透到深度學習的各個領域，甚至可以設計神經網絡的通道數。本文作者來自中科大和中科院，適合讀者了解 NAS 的前沿應用。