今日Paper|點雲分類框架;多模式Transformer;神經網絡;有序神經元等

2020-12-05 雷鋒網

目錄

用於行人重識別的三元組在線實例匹配丟失

用於DSTC8 AVSD挑戰的帶指針網絡的多模式Transformer

PointAugment：一種自動增強的點雲分類框架

尋找稀疏、可訓練的神經網絡

有序神經元：將樹結構集成到遞歸神經網絡中

用於行人重識別的三元組在線實例匹配丟失

論文名稱：Triplet Online Instance Matching Loss for Person Re-identification

作者：Li Ye /Yin Guangqiang /Liu Chunhui /Yang Xiaoyu /Wang Zhiguo

發表時間：2020/2/24

論文連結：https://paper.yanxishe.com/review/12688?from=leiphonecolumn_paperreview0304

推薦原因

這篇論文要解決的是行人重識別問題。

在線實例匹配（OIM）損失函數和三元組（Triplet）損失函數是行人重識別問題的主要方法。但這兩個損失函數都有缺點，OIM損失對所有樣本均等對待，沒有關注困難樣本，三重損失以複雜且繁瑣的方式來處理批處理樣本，因此收斂速度很緩慢。針對這些問題，這篇論文提出了三元組在線實例匹配（TOIM）損失函數，該函數能著重於困難樣本並能有效地提高行人重識別模型的準確性。TOIM結合了OIM損失和Triplet損失的優點，並簡化了批處理過程，從而使收斂更快。

用於DSTC8 AVSD挑戰的帶指針網絡的多模式Transformer

論文名稱：Multimodal Transformer with Pointer Network for the DSTC8 AVSD Challenge

作者：Le Hung /Chen Nancy F.

發表時間：2020/2/25

論文連結：https://paper.yanxishe.com/review/12687?from=leiphonecolumn_paperreview0304

推薦原因

這篇論文要解決的是視聽場景感知對話（Audio-Visual Scene-Aware Dialog，AVSD）問題。

視聽場景感知對話要求對話代理生成自然語言響應以解決用戶查詢並進行對話。這是一項具有挑戰的任務，因為其包含多模態視頻功能，例如包括文本、視覺和音頻特徵。對話代理還需要學習用戶話語和系統響應之間的語義依賴，以便與人類進行連貫對話。這篇論文介紹該團隊向第八屆對話系統技術挑戰賽（Dialogue System Technology Challenge）提交的AVSD參賽作品，採用了點積方式來結合輸入視頻的文本和非文本特徵，通過在每個生成步驟中採用指針網絡指向來自多個源序列的Tokens，進一步增強對話代理的生成能力。

PointAugment：一種自動增強的點雲分類框架

論文名稱：PointAugment: an Auto-Augmentation Framework for Point Cloud Classification

作者：Li Ruihui /Li Xianzhi /Heng Pheng-Ann /Fu Chi-Wing

發表時間：2020/2/25

論文連結：https://paper.yanxishe.com/review/12686?from=leiphonecolumn_paperreview0304

推薦原因

這篇論文被CVPR 2020接收，要解決的是點雲分類的問題。

這篇論文提出了一個名為PointAugment的點雲分類框架，當訓練分類網絡時，該框架會自動優化和擴充點雲樣本以豐富數據多樣性。與現有的2D圖像自動增強方法不同，PointAugment具有樣本感知功能，並採用對抗學習策略來共同優化增強器網絡和分類網絡，學習生成最適合分類器的增強樣本。PointAugment根據形狀分類器和點位移來構造可學習的點增強函數，並根據分類器的學習進度精心設計損失函數以採用增強樣本。PointAugment在改善形狀分類和檢索中的有效性和魯棒性得到了實驗的驗證。

尋找稀疏、可訓練的神經網絡

論文名稱：THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS

作者：Jonathan Frankle /Michael Carbin

發表時間：2019/3/3

論文連結：https://paper.yanxishe.com/review/12586?from=leiphonecolumn_paperreview0304

推薦原因

核心問題：一個標準的剪枝技術能夠自然地發現子網絡結構，這些子網絡的初始化能夠幫助網絡更有效地訓練。

創新點：本研究提出一種 lottery ticket hypothesis：對於那些包含子網絡 結構的密集、隨機初始化前饋網絡，當單獨訓練這些子網絡時，通過相似的訓練迭代次數能夠取得與原始網絡相當的測試性能。而

研究意義：實驗結果表明，在 MNIST 和 CIFAR-10 數據集上，子網絡的規模始終比幾種全連接結構和卷積神經網絡小10%-20%。當規模超過這個範圍時，子網絡能夠比原始網絡有更快的學習速度和更好的測試精度表現。

有序神經元：將樹結構集成到遞歸神經網絡中

論文名稱：ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS

作者：Yikang Shen /Shawn Tan /Alessandro Sordoni /Aaron Courville

發表時間：2019/5/8

論文連結：https://paper.yanxishe.com/review/12585?from=leiphonecolumn_paperreview0304

推薦原因

核心問題：標準的 LSTM 結構允許不同的神經元跟蹤不同時間維度信息，但它對於層級結構建模中的各組成沒有明確的偏向。

創新點：本文提出神經元排序策略來添加一個歸納偏置量，當主輸入向量和遺忘門結構確保給定的神經網絡更新時，後續跟隨的所有神經元也將隨之更新。

研究意義：這種集成樹結構的新穎循環神經網絡 ON-LSTM在四種不同的 NLP 任務：語言建模、無監督解析、目標句法評估和邏輯推理上都取得了良好的表現。

論文作者團隊招募

為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復現。致力成為國內外前沿研究成果學習討論和發表的聚集地，也讓優秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

1.署著你名字的文章，將你打造成最耀眼的學術明星

2.豐厚的稿酬

3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

1.將你喜歡的論文推薦給廣大的研習社社友

2.撰寫論文解讀

雷鋒網雷鋒網雷鋒網

相關焦點

  • Transformer在CV領域有可能替代CNN嗎?|卷積|神經網絡|算子|上下文...
    比如第一層更傾向於提取邊緣，角點，線條等low-level的特徵，第二層提取顏色，紋理等mid-level的特徵，第三層提取更具抽象語義的high-level的特徵。網絡的深度有助於模型提取更抽象地高級特徵，網絡的寬度有利於模型提取更豐富的特徵表示。
  • 今日Paper | 3D手勢估計;自學習機器人;魯棒語義分割;卷積神經網絡...
    本文涉及對神經網絡的研究，開發和實驗分析，該神經網絡在帶有手臂的機器人上實現，通過該機器人的進化可以學習直線或根據需要行走。神經網絡使用梯度下降和反向傳播算法進行學習。神經網絡的實現和訓練均在樹莓派pi 3上的機器人上本地完成，因此其學習過程是完全獨立的。首先在MATLAB上開發的自定義模擬器上對神經網絡進行測試，然後在樹莓派計算機上對其進行實現。
  • 今日Paper|深度循環神經網絡;PoseNet3D;AET vs. AED;光場視差估計等
    from=leiphonecolumn_paperreview0326推薦原因核心問題：本文從硬體選取、模型搭建、分布式計算策略、學習率、損失函數等方面，非常詳細的講解了如何高效使用多達100個GPU進行深度循環神經網絡創新點：本文沒有相關工作的部分，貴在務實，從實際的研究工作中部署一個高效的
  • 今日Paper | 梯度剪切;命名實體識別;自然語言處理;免強度函數學習...
    它通過兩個網絡模型來完成，一個網絡模型用於提取局部的特徵，另外一個網絡模型用於提取全局特徵。研究意義：本文使用得核心思想是多任務訓練得思路，具體來說先訓練好word embedding，然後使用該詞向量完成之後得子任務，並且取得了良好得表現。這篇文章核心使用得是卷積神經網絡，其實有些時候我發現在文本領域，卷積神經網絡取得的效果也是不錯得。
  • 多模式綜合分析對小鼠視覺皮層GABA能神經元的重新分類
    然而，神經元會根據特定框架劃分為不同類型，用於了解細胞和環路如何支配大腦行使功能。這些MET-types代表了皮質GABA能中間神經元類型的統一定義，並提供了一個系統的框架以跨不同形式捕獲現有知識並橋接未來分析。
  • 今日Paper|隨機微分方程;流式自動語音識別;圖像分類等
    為了幫助各位學術青年更好地學習前沿研究成果和技術，AI科技評論聯合Paper 研習社（paper.yanxishe.com），重磅推出【今日 Paper】欄目， 每天都為你精選關於人工智慧的前沿學術論文供你學習參考。
  • ...CVPR 2020 論文推薦:元轉移學習;ABCNet;動態圖像檢索;點雲分類...
    2020 | Sketch Less for More：基於細粒度草圖的動態圖像檢索CVPR 2020 | PointAugment：一種自動增強的點雲分類框架12-in-1: 多任務視覺和語言表示學習論文名稱：12-in-1: Multi-Task Vision and Language Representation Learning
  • 今日Paper | 空間注意力網絡;深度信念網絡;GhostNet;位置預測等
    對於這種算法，作者從他的網絡框架、模型損失函數、模型適配環境等方面進行了說明，最後通過實驗驗證，證實了該算法可以有效地解決上述移動端拍攝圖像時遇到的各種問題。from=leiphonecolumn_paperreview0330推薦原因1 核心問題儘管大量研究已正式確定載脂蛋白E（APOE）是阿爾茨海默氏病的主要遺傳風險標誌物，但越來越多的證據支持可能存在其他危險標記的觀點。然而，傳統針對阿爾茲海默症的分析方法並不能充分利用其蘊含的豐富的蛋白質表達信息，尤其是對於特徵之間的連接關係上。
  • Facebook:易於解釋的神經元可能阻礙深度神經網絡的學習
    編輯：張倩、杜偉易於解釋的神經元對於提升神經網絡的性能來說是必要的嗎？Facebook 的研究者給出了出人意料的答案。AI 模型能「理解」什麼？為什麼能理解這些東西？回答這些問題對於復現和改進 AI 系統至關重要。但遺憾的是，計算機科學家在解釋深度神經網絡（DNN）方面的能力遠遠落後於我們利用這些網絡獲取有用成果的能力。
  • Facebook：易於解釋的神經元可能阻礙深度神經網絡的學習
    但遺憾的是，計算機科學家在解釋深度神經網絡（DNN）方面的能力遠遠落後於我們利用這些網絡獲取有用成果的能力。理解 DNN 的一類常見方法是聚焦於單個神經元的屬性，如找到一個能夠被貓的圖像而非其他類型的圖像激活的神經元。
  • 人工智慧之卷積神經網絡(CNN)
    ^_^本文引用地址：http://www.eepw.com.cn/article/201806/381807.htm　　20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用於局部敏感和方向選擇的神經元時發現其獨特的網絡結構可以有效地降低反饋神經網絡的複雜性，繼而提出了卷積神經網絡CNN(Convolutional Neural Networks)。
  • 神經網絡實現分類與預測的基本原理
    文章目標：神經網絡特別是深層神經網絡是黑盒的，通過閱讀本文可以讓大家了解神經網絡的基本實現方法、基本數學原理、實現流程等，同時建議初學者從基礎學起，查詢更多的資料豐富認知，有不明白的地方可以關注作者或留言。
  • 神經網絡有哪些主要分類規則並如何分類?
    神經網絡模型的分類 人工神經網絡的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網絡連接的拓樸結構分類和按照網絡內部的信息流向分類。
  • PyTorch可視化理解卷積神經網絡
    造就機器能夠獲得在這些視覺方面取得優異性能可能是源於一種特定類型的神經網絡——卷積神經網絡（CNN）。如果你是一個深度學習愛好者，你可能早已聽說過這種神經網絡，並且可能已經使用一些深度學習框架比如caffe、TensorFlow、pytorch實現了一些圖像分類器。然而，這仍然存在一個問題：數據是如何在人工神經網絡傳送以及計算機是如何從中學習的。
  • 研究不同神經元在人工神經網絡中的作用
    德國數字轉型技術與管理研究所和機械工程信息管理研究所的研究人員最近進行了一項研究，旨在更好地了解神經網絡決策過程的機制。他們在arXiv上發表的一篇論文中概述了他們的發現，闡明了單個神經元和不同神經元群在這些網絡中的作用。
  • 黑掉神經網絡,騰訊朱雀實驗室首亮相:操縱神經元構造AI後門
    騰訊安全平臺部負責人楊勇表示，當前 AI 已融入各行各業，安全從業者面臨著更複雜、更多變的網絡環境，我們已經看到了網絡攻擊武器 AI 化的趨勢，除了深度學習框架這樣的 AI 基礎設施，數據、模型、算法，任何一個環節都是攻防的前線。
  • 神經網絡為何非激活函數不可?
    ，決定了某個神經元是否被激活，判斷該神經元獲得的信息是否有用，並決定該保留還是該去掉此神經元。簡單地說，激活函數就是加入到人工神經網絡中的一個函數，目的在於幫助神經網絡從數據中學習複雜模式。相比於人類大腦中基於神經元的模型，激活函數是決定向下一個神經元傳遞何種信息的單元，這也正是激活函數在人工神經網絡中的作用。激活函數接收前一個單元輸出的信號，並將其轉換成某種可以被下一個單元接收的形式。
  • Transformer在CV領域有可能替代CNN嗎?
    首先我們應該了解為什麼CNN會在圖像領域被大規模應用，我們可以從三個主要點說起，比如基於傳統的方法，基於模式識別的方法，基於深度學習的方法。 1. 比如第一層更傾向於提取邊緣，角點，線條等low-level的特徵，第二層提取顏色，紋理等mid-level的特徵，第三層提取更具抽象語義的high-level的特徵。網絡的深度有助於模型提取更抽象地高級特徵，網絡的寬度有利於模型提取更豐富的特徵表示。
  • Facebook AI的DETR,一種基於Transformer的目標檢測方法
    當前的深度學習方法試圖解決作為分類問題或回歸問題或綜合兩者的目標檢測任務。例如，在RCNN算法中，從輸入圖像中識別出幾個感興趣的區域。然後將這些區域分類為對象或背景，最後，使用回歸模型為所標識的對象生成邊界框。另一方面，YOLO框架（只看一次）以不同的方式處理目標檢測。
  • 獨家 | 初學者的問題:在神經網絡中應使用多少隱藏層/神經元?(附實例)
    本文將通過兩個簡單的例子，講解確定所需隱藏層和神經元數量的方法，幫助初學者構建神經網絡。人工神經網絡（ANNs）初學者可能會問這樣的問題：該用多少個隱藏層？每個隱藏層中有多少個隱藏的神經元？使用隱藏層/神經元的目的是什麼？