今日Paper | 空間注意力網絡;深度信念網絡;GhostNet;位置預測等

2020-11-22 雷鋒網

VSGNet:基於圖卷積的人體物體交互檢測的空間注意力網絡

用單個深度學習模型代替移動相機ISP

基於深度信念網絡來識別阿爾茲海默症的蛋白質組危險標誌物

分層時空LSTM在位置預測中的應用

GhostNet:廉價運營帶來的更多功能

  VSGNet:基於圖卷積的人體物體交互檢測的空間注意力網絡

論文名稱:VSGNet: Spatial Attention Network for Detecting Human Object Interactions Using Graph Convolutions

作者:Ulutan Oytun /Iftekhar A S M /Manjunath B. S.

發表時間:2020/3/11

論文連結:https://paper.yanxishe.com/review/14230?from=leiphonecolumn_paperreview0330

推薦原因

本文已被CVPR2020接收。全面的視覺理解邀請檢測框架能夠在分析單個對象時能夠有效學習和利用對象之間額交互,這是人體物體交互 (Human-Object Interaction, HOI) 檢測任務的主要目標。本文提出了可視空間圖網絡 (Visual-Spatial-Graph Network, VSGNet) ,其從人體-物體數據對中提取視覺特徵,使用空間配置來完善特徵,並通過圖卷積建立對象之間的結構連接。作者在V-COCO和HICO-DET兩個數據集上徹底地評價了VSGNet,實驗結果表明,VSGNet在V-COCO中的性能比目前最優方法高出8%或4 mAP,在HICO-DET中有16%或3 mAP的提升。

論文名稱:Replacing Mobile Camera ISP with a Single Deep Learning Model

作者:Andrey Ignatov

發表時間:2020/2/13

論文連結:https://paper.yanxishe.com/review/14228?from=leiphonecolumn_paperreview0330

推薦原因

本文研究意義

本文是一篇關於解決在各種複雜環境下移動端拍攝圖像遇到問題的文章。作者從移動端拍攝圖像時通常遇到的噪聲、霧化、夜景等角度引出目前面臨的問題,並且從軟硬體的角度闡述了目前存在弊端的客觀原因,在此背景下提出了一種用於解決上述問題的新算法——PyNET。對於這種算法,作者從他的網絡框架、模型損失函數、模型適配環境等方面進行了說明,最後通過實驗驗證,證實了該算法可以有效地解決上述移動端拍攝圖像時遇到的各種問題。

  基於深度信念網絡來識別阿爾茲海默症的蛋白質組危險標誌物

論文名稱:A deep belief network-based method to identify proteomic risk markers for Alzheimer disease

作者:Ning An /Liuqi Jin /Huitong Ding /Jiaoyun Yang /Jing Yuan

發表時間:2020/3/11

論文連結:https://paper.yanxishe.com/review/14222?from=leiphonecolumn_paperreview0330

推薦原因

1 核心問題

儘管大量研究已正式確定載脂蛋白E(APOE)是阿爾茨海默氏病的主要遺傳風險標誌物,但越來越多的證據支持可能存在其他危險標記的觀點。然而,傳統針對阿爾茲海默症的分析方法並不能充分利用其蘊含的豐富的蛋白質表達信息,尤其是對於特徵之間的連接關係上。本文針對的是使用深度信念神經網絡識別阿爾茲海默症蛋白組危險標記的核心問題。

2 創新點

該論文提出了一個識別阿爾茲海默症的治病因素的新型特徵選擇方法,並應用在蛋白質組數據和臨床數據上。此方法將網絡節點的權重設置為信號蛋白表達值的重要度排序序號。

3 研究意義

1)此方法幫助選擇一個最優子蛋白序列,並實現了90%的準確度,此結果超越了針對阿爾茲海默症診斷的傳統方法2)在識別蛋白組危險標記和加強新陳代謝危險因子和阿爾茲海默症之間聯繫的同時,本文同時還指出脂聯素連接的途徑可能是藥物治療的靶點。

論文名稱:HST-LSTM: A Hierarchical Spatial-Temporal Long-Short Term Memory Network for Location Prediction

作者:Dejiang Kong

發表時間:2018/12/5

論文連結:https://paper.yanxishe.com/review/13552?from=leiphonecolumn_paperreview0330

推薦原因

針對目前學術界研究的位置軌跡定位問題,本文提出了一種新穎的時空LSTM模型進行研究。與以往的研究方法相比,作者採用ST-LSTM模型,將時空因素引入門控機制從而緩解數據的稀疏性問題。除此之外,作者採用分層架構結合利用上下文歷史訪問信息來提高位置預測的準確性。通過實驗驗證,證明了該方法的有效性。

論文名稱:GhostNet: More Features from Cheap Operations

作者:Kai Han1

發表時間:2020/1/15

論文連結:https://paper.yanxishe.com/review/13546?from=leiphonecolumn_paperreview0330

推薦原因

本文提出了一種新穎的Ghost模塊,通過廉價的操作就可以生成更多的功能圖,這些功能圖可用於構建有效的神經體系結構。其中,本文提出的Ghost模塊,它是將原始的卷積神經網絡(CNN)中的卷積層分為兩部分,通過使用較少的過濾器生成了新的固有特徵圖。然後,通過一定數量的廉價轉化操作,進一步應用於有效生成幻影特徵圖。最後作者在數據集上進行實驗,實驗表明,該方法將原始模型在保持可比性能的同時轉換為緊湊型的即插即用模塊,除此之外,新模塊構建的GhostNet在結構率和準確性方面均優於傳統的神經網絡。

雷鋒網(公眾號:雷鋒網)雷鋒網雷鋒網

相關文章:

今日 Paper | 二氧化碳排放預測;3D人臉重建;BERTology入門;動態場景重建等

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 今日Paper|深度循環神經網絡;PoseNet3D;AET vs. AED;光場視差估計等
    作者使用了學生-老師框架,從而避免了在訓練過程中使用3D數據如配對/未配對的3D數據、動捕數據、深度圖或者多視角圖像等等。作者首先使用2D人體關鍵點訓練了一個教師網絡輸出3D人體骨架,教師網絡將其知識提取到學生網絡中,然後學生網絡預測基於SMPL人體模型表達的3D人體姿態。
  • 今日Paper | 3D手勢估計;自學習機器人;魯棒語義分割;卷積神經網絡...
    (paper.yanxishe.com),重磅推出【今日 Paper】欄目, 每天都為你精選關於人工智慧的前沿學術論文供你學習參考。以from=leiphonecolumn_paperreview0108推薦理由:多模式腦腫瘤分割挑戰(BraTS)將研究人員召集起來,以改進3D MRI腦腫瘤分割的自動化方法。 腫瘤分割是疾病診斷和治療計劃所必需的基本視覺任務之一。 得益於現代GPU的出現,前幾年獲勝的方法都是基於深度學習的,可以快速優化深度卷積神經網絡體系結構。
  • 微軟亞研:對深度神經網絡中空間注意力機制的經驗性研究
    空間注意力(Spatial Attention)機制最近在深度神經網絡中取得了很大的成功和廣泛的應用,但是對空間注意力機制本身的理解和分析匱乏。(Spatial Attention)機制最近在深度神經網絡中取得了很大的成功和廣泛的應用,但是對空間注意力機制本身的理解和分析匱乏。
  • 今日Paper|3D門控遞歸融合;雙注意力GAN;通用目標檢測器;無監督域...
    基於此,這篇論文提出了名為GRFNet的3D門控遞歸融合網絡,該網絡可以自適應地選擇並通過使用門和存儲模塊來融合深度圖像和RGB的相關信息。在單級融合的基礎上,這篇論文還進一步提出了一種多級融合策略,可以對網絡中不同級之間的相關性進行建模。在兩個基準數據集上進行的實驗證明了GRFNet在語義場景補全任務中進行數據融合優於現有的方法。
  • 今日Paper|蚊子叫聲數據集;提高語音識別準確率;對偶注意力推薦...
    為了幫助各位學術青年更好地學習前沿研究成果和技術,AI 研習社重磅推出【今日 Paper】欄目, 每天都為你精選關於人工智慧的前沿學術論文供你學習參考。以下是今日的精選內容——目錄提高有噪聲情況下的語音識別準確率——而且用常見工具就可以基於對偶圖注意力網絡多方面社交影響的推薦系統想研究蚊子、阻止瘧疾,你需要一個蚊子叫聲數據集用於類遞增目標檢測的交叉數據集訓練卷積均值:一種簡單的用於照度估計的卷積神經網絡提高有噪聲情況下的語音識別準確率——而且用常見工具就可以論文名稱:Improved Robust
  • 今日Paper | 梯度剪切;命名實體識別;自然語言處理;免強度函數學習...
    from=leiphonecolumn_paperreview0212在神經網絡的訓練過程中對梯度進行剪切是最近越來越流行的一個趨勢,但很多人都不清楚這種做法為什麼有效。這篇論文就給出了理論解釋以及證明,證明了梯度剪切確實對網絡訓練有幫助作用。
  • 金字塔注意力網絡:一種利用底層像素與高級特徵的語義分割網絡
    選自arXiv機器之心編譯參與:機器之心編輯部目前很多語義分割方法在細節方面做得都不好,近日北京理工、曠視科技、北京大學機器感知重點實驗室的研究者提出金字塔形注意力網絡,它結合注意力機制和空間金字塔去提取精準的密集特徵而用於像素級標註任務,這種方法不再使用複雜化的擴張卷積和人工設計的解碼網絡。
  • 基於深度神經網絡的脫硫系統預測模型及應用
    但上述改進仍未考慮脫硫系統大慣性的特點,FU J 等使的用 LSTM 網絡,就能實現信息在時序上傳遞。不過因其設計的網絡只使用了 LSTM 一種結構,神經網絡在結構設計上還有改進空間。基於上述分析,本文採用多種網絡結構和數據處理技術設計深度神經網絡模型,模型預測誤差水平和訓練代價顯著下降。
  • 華為提出高效輕量級網絡GhostNet, 性能超越MobileNetV3
    關注並星標從此不迷路JiangmenFrom:計算機視覺研究院由於內存和計算資源有限,在嵌入式設備上部署卷積神經網絡(CNNs)是很困難的。特徵映射中的冗餘是CNN成功的一個重要特徵,但在神經結構設計中很少被研究。在訓練較好的深度網絡的特徵圖中,豐富甚至冗餘的信息常常保證了對輸入數據的全面理解。
  • GAT 圖注意力網絡 Graph Attention Network
    圖神經網絡 GNN 把深度學習應用到圖結構 (Graph) 中,其中的圖卷積網絡 GCN 可以在 Graph 上進行卷積操作。但是 GCN 存在一些缺陷:依賴拉普拉斯矩陣,不能直接用於有向圖;模型訓練依賴於整個圖結構,不能用於動態圖;卷積的時候沒辦法為鄰居節點分配不同的權重。
  • 今日Paper|社交媒體謠言檢測;連續手語識別;細粒度服裝相似性學習...
    from=leiphonecolumn_paperreview0218推薦原因近些年,人們對於社交媒體上的虛假新聞和謠言逐漸關注的起來. 一些虛假的新聞/謠言在經過社交媒體的放大後將產生比較大的影響,甚至造成公眾恐慌. 一些工作嘗試利用各種深度模型來提升檢測效果.本文設計另一種雙向圖卷積神經網絡來同時從上到下+從下到上的進行謠言檢測.實驗結果也驗證了本文算法的有效性。
  • 今日Paper|虛假新聞檢測;馬爾可夫決策過程;場景文本識別;博弈論...
    為了幫助各位學術青年更好地學習前沿研究成果和技術,AI科技評論聯合Paper 研習社(paper.yanxishe.com),重磅推出【今日 Paper】欄目, 每天都為你精選關於人工智慧的前沿學術論文供你學習參考。
  • 今日Paper|PolarMask;時間序列;面部表情編輯;ELECTRA 等
    from=leiphonecolumn_paperreview0325推薦原因本文的研究意義:在本文中,作者介紹了一種新的單實例分割方法——PolarMask,該方法完全卷積且網絡結構簡單,可以最大限度的將其嵌入到大多數現成的檢測方法中使用。通過PolarMask方法可以將實例分割問題轉化為研究中心分類和極坐標距離回歸的輪廓預測問題。
  • 深度牛頓!24歲博士小哥用圖神經網絡重新發現宇宙
    其中的一句話改變了他整個職業生涯的研究方向: 「讓我們把注意力集中在量子理論和相對論及其關係上,如果我們成功了,將需要幾代人的時間來理清由此衍生的知識。我們仍在忙於完成愛因斯坦掀起的革命,毫無疑問,這是一個漫長的過程。」
  • 學界| 雙重注意力網絡:中科院自動化所提出新的自然場景圖像分割...
    本文提出了一個新的自然場景圖像分割框架,稱為雙重注意力網絡(DANet),引入了一種自注意力機制來分別捕捉空間維度和通道維度上的視覺特徵關聯。在處理複雜多樣的場景時,本文提出的方法比以往的方法更為靈活、有效,在三個具有挑戰性的場景分割數據集(Cityscapes、PASCAL Context 和 COCO Stuff)上取得了當前最佳分割性能。
  • 深度| 從各種注意力機制窺探深度學習在NLP中的神威
    它們可以實現語言建模、情感分析、機器翻譯、語義解析等非常多的任務,這些序列建模任務可以使用循環神經網絡、卷積神經網絡甚至近來比較流行的 Transformer。機器之心也介紹過基於循環與卷積的序列建模方法,而近日一篇綜述文章進一步介紹了 NLP 中各種深度技術。由於很多基礎知識讀者可能已經比較熟悉了,因此本文只重點介紹該綜述文章討論的注意力機制。
  • 今日Paper | 問答系統;3D人體形狀和姿勢;面部偽造檢測;AdderNet等
    (paper.yanxishe.com),重磅推出【今日 Paper】欄目, 每天都為你精選關於人工智慧的前沿學術論文供你學習參考。以常見的不對齊是由於以下事實:從圖像到模型空間的映射是高度非線性的,並且人體模型的基於旋轉的姿勢表示易於導致關節位置的漂移。在本文中,作者研究了從人體部位的密集對應關係中學習3D人體形狀和姿勢的問題,並提出了分解和聚合網絡(DaNet)來解決這些問題。DaNet採用密集的對應貼圖作為中間表示,以密集地在2D像素和3D頂點之間建立一座橋梁,以促進2D到3D映射的學習。
  • 人工智慧黑盒揭秘:深度神經網絡可視化技術
    深度神經網絡又是最為複雜的機器學習模型,其可解釋性與可視化性更加具有挑戰性。網絡模型為什麼起作用,它是否足夠好,圖像識別是如何抽象出「貓」這個概念的?本段分析了幾種典型深度神經網絡可視化技術,詳盡展示了前沿的可視化原理以及解釋性效果。
  • 用概念激活向量 (CAVs) 理解深度網絡
    可解釋性仍然是現代深度學習應用的最大挑戰之一。最近在計算模型和深度學習研究方面的進展,使創建高度複雜的模型成為可能,這些模型可以包括數千個隱藏層和數千萬個神經元。雖然創建令人驚訝的高級的深度神經網絡模型相對簡單,但理解這些模型如何創建和使用知識仍然是一個挑戰。
  • 將注意力機制引入RNN,解決5大應用領域的序列預測問題
    在這篇博客中,我們將發現可以在循環神經網絡中採用注意力機制(attention mechanism)來克服這種局限性。讀完這篇博客,你會知道:編碼器-解碼器結構和固定長度內部表徵的局限性讓網絡學會針對輸出序列的每一項去注意輸入序列中對應位置的注意力機制帶有注意力機制的循環神經網絡在文本翻譯、語音識別等 5 個領域中的應用。