參與：杜偉，楚航，羅若天
本周的重要論文有管軼課題組與胡豔玲課題組在穿山甲樣本中發現冠狀病毒以及 MIT 合成生物學中心研究人員利用深度學習方法發現新型抗生素分子 halicin。Identification of 2019-nCoV related coronaviruses in Malayan pangolins in southern China
Fully hardware-implemented memristor convolutional neural network
CodeBERT: A Pre-Trained Model for Programming and Natural Languages
A Deep Learning Approach to Antibiotic Discovery
Sequence Generation with Optimal-Transport-Enhanced Reinforcement Learning
MALA: Cross-Domain Dialogue Generation with Action Learning
Gradient Boosting Neural Networks: GrowNet
ArXiv Weekly Radiostation：NLP、CV、ML更多精選論文（附音頻）。
論文 1：Identification of 2019-nCoV related coronaviruses in Malayan pangolins in southern China摘要：2 月 18 日，來自香港大學管軼課題組與廣西醫科大學胡豔玲課題組合作的研究被提交到生物學預印版論文平臺 BiorXiv 上。研究人員對廣西和廣東反走私行動中查獲的多個穿山甲樣本進行了檢測，並在穿山甲樣本中發現了冠狀病毒，屬於此次新冠病毒的兩個亞型，其中一個受體結合域與新冠病毒密切相關。研究顯示，穿山甲體內發現的冠狀病毒與新冠病毒全序列相似性為 85.5-92.4%, 低於蝙蝠 RaTG13 的 96.2%。但穿山甲病毒的受體結合域（RBD）與新冠病毒更相似，達 97.4%，5 個關鍵位點完全相同。相比之下，蝙蝠 RBD 與新冠病毒的相似性只有 89.2%，5 個位點只有 1 個相同。此外，新冠病毒 RBD 以外序列與蝙蝠序列更相似，提示存在趨同進化或病毒重組。通過擴增子測序等技術，研究者獲得了 6 份完整或接近完整的病毒基因組序列，在系統發育分析中，這些都屬於新冠肺炎（2019-nCoV）病毒的同族。這些病毒的基因組結構也與 2019-nCoV 相似。2019-nCoV 與廣東穿山甲冠狀病毒在受體結合域上表現出了非常高的序列相似性，儘管它的其餘部分與蝙蝠冠狀病毒 RaTG13 在病毒基因組方面的關係最為密切。推薦：在此前華南農業大學的研究報告後，管軼等人的新論文為穿山甲作為新冠病毒中間宿主的思路提供了進一步的證據。論文 2：Fully hardware-implemented memristor convolutional neural network摘要：基於憶阻器的神經形態計算系統為神經網絡訓練提供了一種快速節能的方法。但是，最重要的圖像識別模型之一——卷積神經網絡還沒有利用憶阻器交叉陣列的完全硬體實現。此外，由於硬體實現收益小、變化大，設備特性不完善，其結果很難媲美軟體實現。不久之前，來自清華大學和麻薩諸塞大學的研究者在《自然》雜誌上發表文章，提出用高收益、高性能的均勻憶阻器交叉陣列實現 CNN，該實現共集成了 8 個包含 2048 個單元的憶阻器陣列，以提升並行計算效率。此外，研究者還提出了一種高效的混合訓練方法，以適應設備缺陷，改進整個系統的性能。研究者構建了基於憶阻器的五層 CNN 來執行 MNIST 圖像識別任務，識別準確率超過 96%。推薦：研究者構建的基於憶阻器的五層 CNN 在 MNIST 手寫數字識別任務中實現了 96.19% 的準確率，為大幅提升 CNN 效率提供了可行的解決方案。論文 3：CodeBERT: A Pre-Trained Model for Programming and Natural Languages摘要：在本文中，研究者提出了 CodeBERT，這是一種用於程式語言（PL）和自然語言（NL）的雙峰預訓練模型。CodeBERT 學習支持自然語言代碼搜索以及代碼文檔生成等下遊 NL-PL 應用的通用表徵。他們使用基於 Transformer 的神經架構來開發 CodeBERT，並利用結合了 replaced token 檢測預訓練任務的混合目標函數進行訓練，從而用於檢測從生成器採樣的可能替代方案。通過對模型參數進行微調，研究者在兩個 NL-PL 應用上評估 CodeBERT。結果表明CodeBERT 在自然語言代碼搜索和代碼文檔生成任務上均實現了 SOTA 性能。為了調查在 CodeBERT 中學習到了哪種知識，他們還創建了 NL-PL 探測數據集，並在 zero-shot 設置中進行了評估，其中預先訓練的模型的參數是固定的。結果表明CodeBERT 在 NL-PL 探測方面的性能也優於以前的預訓練模型。推薦：值的注意的是，當模型參數固定時，CodeBERT 的性能要優於 RoBERTa 和僅使用代碼的連續訓練模型。論文 4：A Deep Learning Approach to Antibiotic Discovery摘要：在過去的幾十年裡，研發人員使用多種傳統方法挖掘新的抗生素，但很多時候他們會一次又一次地發現相同的分子，因此新抗生素的發現步履維艱。在此背景下，生物醫學界亟需新的方法來幫助發現新抗生素。為了解決上述問題，來自 MIT 合成生物學中心的研究者開發了一種可以預測抗生素分子活性的深度學習方法，從超過 1.07 億種分子中識別出了強大的新型抗生素分子——halicin。halicin 可以對抗多種細菌，如肺結核以及被認為無法治療的菌株。而且，這種新發現的分子在結構上與已知的抗生素分子有很大不同。雖然之前已有使用人工智慧作用於部分抗生素發現的應用案例，但研究團隊強調，此次最新發現是基於沒有任何先前假設的情況下，完全從零開始識別出的全新抗生素種類。研究者針對每一個組成部分的 SMILES 表達式建立分子圖，其中 SMILES 是一種用 ASCII 字符串明確描述分子結構的規範。推薦：這是人類首次完全使用人工智慧的方法發現新抗生素。論文 5：Sequence Generation with Optimal-Transport-Enhanced Reinforcement Learning摘要：序列生成是 NLP 研究中極其重要的組成部分，序列生成任務包含了很多應用——機器翻譯、文本摘要、圖像注釋以及風格遷移等。在序列生成模型中，常見的方法之一就是使用 Maximum Likelihood Estimation（MLE）。這裡的 MLE 主要是基於自回歸的形式，即最大化已知背景知識（對前面文本進行的編碼）後當前單詞的條件概率，這種做法導致了暴露偏差（exposure bias）問題，即在訓練階段模型對生成序列的暴露不足，從而導致測試時長序列的語義一致性快速降低。為了解決這個問題，本文對 RL 和 OT（Optimal Transport，最優運輸）學習的不同狀態進行分析，從而發現了一種融合了 RL 和 OT 正則化的退火調度學習策略——最優運輸 RL (OTRL)，讓 OT 損失自適應地調節 RL 探索時的策略空間，從而讓訓練過程更加穩定。相較於其他基線模型，本文提出的 MLE+OTRL 模型在三個數據集上均實現了性能提升（機器翻譯任務）。就 Rouge-1、Rouge-2 和 Rouge-L 三項評估指標而言，本文提出的模型在 gigaword 測試數據集上均獲得最高分（文本摘要任務）。推薦：本文主要是結合了兩種不同方法的優點，從而互補了對方的缺點，將一些簡單的算法應用到深度學習算法中去，也可以獲得一些很好的效果。論文 6：MALA: Cross-Domain Dialogue Generation with Action Learning摘要：任務導向的對話系統的主要工作就是在多輪對話中提取出用戶的需求，並完成其需求。過去的方法將整個任務看做一個整體來解決，使用生成模型（Encoder-Decoder）直接將對話映射到對應的回答上，但實際上，這個任務是由兩部分組成的——對話規劃（Dialogue planning）和外部實現（surface realization）。對話規劃是指找到完成用戶的需求的動作（如找到用戶喜歡的食譜或是向用戶推薦餐廳），而外部實現則是指將這些動作變成對話內容，這兩個任務是會互相影響的，在優化動作選擇時會影響到生成的對話的質量，所以直接將這兩步合併成一步是不可行的。為了完成上述任務，本文提出了一種三段式方法。首先，為了將潛在意圖編碼為語義隱動作，作者將一個損失定義為 VAE 重建的對話是否會像輸入話語一樣引起相似的狀態轉換。為了更有效地區分話語之間的潛在意圖，作者還引入了一種比較兩個系統話語之間結果狀態轉換相似性的正則化。本文提出的三步分別是對應有標註數據、無標註數據但可以遷移、專有領域三種情況下的模型訓練方法。MALA 三段式整體框架，即語義隱動作學習、跨域動作對齊和特定域動作學習。完整模型（MALA-S3）的效果在兩個實驗中均取得 SOTA 表現。推薦：本文主要貢獻是通過將問題分解的更加精細、更加全面的模型（三段式模型）來對問題進行解決。論文 7：Gradient Boosting Neural Networks: GrowNet摘要：在本文中，來自普渡大學、加州大學洛杉磯分校、領英和亞馬遜的研究者將淺層神經網絡部署作為弱學習器，並提出一種新型梯度提升框架 GrowNet。在這種統一框架下，一般損失函數可以為分類、回歸和排序學習（learning to rank）提供具體示例。此外，合併一個完全正確的步驟（fully corrective step）又能夠彌補經典梯度提升決策樹的貪婪函數近似的缺陷。在本文中，研究者提出的 GrowNet 模型在多個數據集的三項任務上均取得了 SOTA 結果，控制變量研究也闡明了每個模型組件和模型超參數的影響。本文提出的 GrowNet 架構圖。在第一個弱學習器之後，根據原始輸入的組合特徵和前一個弱學習器倒數第二層的特徵來訓練每個預測器。在 Higgs Bozon 數據集上的分類結果（以 AUC 計），其中研究者展示了使用所有數據、10% 數據（1M）和 1% 數據（100K）三種情況下的分類結果。在音樂發布年（music release year）和出自加州大學爾灣分校機器學習庫的片定位（slice localization）數據集上的回歸結果（以 RMSE 計）。在 NDCG@5 和 NDCG@10（NDCG，歸一化折損累積增益）、微軟排序學習（10K 查詢）和雅虎 LTR 數據集上的排序學習結果。推薦：研究者進一步發現，由於這種新型梯度提升框架 GrowNet 能夠實現更佳性能、更短訓練時間以及更方便調整，所以在分類、回歸和排序學習任務上是 DNN 的更好替代方案。ArXiv Weekly Radiostation
機器之心聯合由楚航、羅若天發起的ArXiv Weekly Radiostation，在 7 Papers 的基礎上，精選本周更多重要論文，包括NLP、CV、ML領域各10篇精選，並提供音頻形式的論文摘要簡介，詳情如下：
本周 10 篇 NLP 精選論文是：
1. SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models. (from Bin Wang, C.-C. Jay Kuo)2. Scalable Neural Methods for Reasoning With a Symbolic Knowledge Base. (from William W. Cohen, Haitian Sun, R. Alex Hofer, Matthew Siegler)3. GameWikiSum: a Novel Large Multi-Document Summarization Dataset. (from Diego Antognini, Boi Faltings)4. HotelRec: a Novel Very Large-Scale Hotel Recommendation Dataset. (from Diego Antognini, Boi Faltings)5. Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping. (from Jesse Dodge, Gabriel Ilharco, Roy Schwartz, Ali Farhadi, Hannaneh Hajishirzi, Noah Smith)6. The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural Language Understanding. (from Xiaodong Liu, Yu Wang, Jianshu Ji, Hao Cheng, Xueyun Zhu, Emmanuel Awa, Pengcheng He, Weizhu Chen, Hoifung Poon, Guihong Cao, Jianfeng Gao)7. Transfer Learning for Abstractive Summarization at Controllable Budgets. (from Ritesh Sarkhel, Moniba Keymanesh, Arnab Nandi, Srinivasan Parthasarathy)8. Identifying physical health comorbidities in a cohort of individuals with severe mental illness: An application of SemEHR. (from Rebecca Bendayan, Honghan Wu, Zeljko Kraljevic, Robert Stewart, Tom Searle, Jaya Chaturvedi, Jayati Das-Munshi, Zina Ibrahim, Aurelie Mascio, Angus Roberts, Daniel Bean, Richard Dobson)9. Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting. (from Kun Zhou, Wayne Xin Zhao, Yutao Zhu, Ji-Rong Wen, Jingsong Yu)1. Recognizing Families In the Wild (RFIW): The 4th Edition. (from Joseph P. Robinson, Yu Yin, Zaid Khan, Ming Shao, Siyu Xia, Michael Stopa, Samson Timoner, Matthew A. Turk, Rama Chellappa, Yun Fu)2. Residual-Sparse Fuzzy $C$-Means Clustering Incorporating Morphological Reconstruction and Wavelet frames. (from Cong Wang, Witold Pedrycz, ZhiWu Li, MengChu Zhou, Jun Zhao)3. Automated Labelling using an Attention model for Radiology reports of MRI scans (ALARM). (from David A. Wood, Jeremy Lynch, Sina Kafiabadi, Emily Guilhem, Aisha Al Busaidi, Antanas Montvila, Thomas Varsavsky, Juveria Siddiqui, Naveen Gadapa, Matthew Townend, Martin Kiik, Keena Patel, Gareth Barker, Sebastian Ourselin, James H. Cole, Thomas C. Booth)4. Weakly-Supervised Semantic Segmentation by Iterative Affinity Learning. (from Xiang Wang, Sifei Liu, Huimin Ma, Ming-Hsuan Yang)5. Model-Agnostic Structured Sparsification with Learnable Channel Shuffle. (from Xin-Yu Zhang, Kai Zhao, Taihong Xiao, Ming-Ming Cheng, Ming-Hsuan Yang)6. When Radiology Report Generation Meets Knowledge Graph. (from Yixiao Zhang, Xiaosong Wang, Ziyue Xu, Qihang Yu, Alan Yuille, Daguang Xu)7. Directional Deep Embedding and Appearance Learning for Fast Video Object Segmentation. (from Yingjie Yin, De Xu, Xingang Wang, Lei Zhang)8. DivideMix: Learning with Noisy Labels as Semi-supervised Learning. (from Junnan Li, Richard Socher, Steven C.H. Hoi)9. Deep Learning-Based Feature Extraction in Iris Recognition: Use Existing Models, Fine-tune or Train From Scratch?. (from Aidan Boyd, Adam Czajka, Kevin Bowyer)10. An interpretable classifier for high-resolution breast cancer screening images utilizing weakly supervised localization. (from Yiqiu Shen, Nan Wu, Jason Phang, Jungkyu Park, Kangning Liu, Sudarshini Tyagi, Laura Heacock, S. Gene Kim, Linda Moy, Kyunghyun Cho, Krzysztof J. Geras)1. Set2Graph: Learning Graphs From Sets. (from Hadar Serviansky, Nimrod Segol, Jonathan Shlomi, Kyle Cranmer, Eilam Gross, Haggai Maron, Yaron Lipman)2. Algorithmic Recourse: from Counterfactual Explanations to Interventions. (from Amir-Hossein Karimi, Bernhard Schölkopf, Isabel Valera)3. SYMOG: learning symmetric mixture of Gaussian modes for improved fixed-point quantization. (from Lukas Enderich, Fabian Timm, Wolfram Burgard)4. Learning Not to Learn in the Presence of Noisy Labels. (from Liu Ziyin, Blair Chen, Ru Wang, Paul Pu Liang, Ruslan Salakhutdinov, Louis-Philippe Morency, Masahito Ueda)5. Unifying Graph Convolutional Neural Networks and Label Propagation. (from Hongwei Wang, Jure Leskovec)6. Entity Context and Relational Paths for Knowledge Graph Completion. (from Hongwei Wang, Hongyu Ren, Jure Leskovec)7. Query2box: Reasoning over Knowledge Graphs in Vector Space using Box Embeddings. (from Hongyu Ren, Weihua Hu, Jure Leskovec)8. Adaptive Region-Based Active Learning. (from Corinna Cortes, Giulia DeSalvo, Claudio Gentile, Mehryar Mohri, Ningshan Zhang)9. Jelly Bean World: A Testbed for Never-Ending Learning. (from Emmanouil Antonios Platanios, Abulhair Saparov, Tom Mitchell)10. BatchEnsemble: an Alternative Approach to Efficient Ensemble and Lifelong Learning. (from Yeming Wen, Dustin Tran, Jimmy Ba)