Nature Communications：人工智慧地震信息挖掘——基於高效分類多尺度濾波卷積神經網絡的自動化設計

2020-07-20 中科院地質地球所
Nature Communications：人工智慧地震信息挖掘——基於高效分類多尺度濾波卷積神經網絡的自動化設計

耿智等-NC：人工智慧地震信息挖掘——基於高效分類多尺度濾波卷積神經網絡的自動化設計

Nature Communications：人工智慧地震信息挖掘——基於高效分類多尺度濾波卷積神經網絡的自動化設計

人工神經網絡(ANN)在數據驅動的自然和信息科學研究領域(例如圖像圖形學、材料、生物學和醫學、天文地理以及地球科學)的應用正在迅猛發展。在勘探地球物理學中，許多此類研究都可以視為可視化圖像分類或分割問題。例如，地質學家使用地震反射數據圖像對地下沉積單元或油氣藏進行分類，並識別斷層、裂縫或鹽體等不連續地質結構。人工神經網絡可以正確學習此類圖像中的所有形態模式，其中許多是基於現行的卷積神經網絡(CNN)，而CNN是專門針對計算機視覺中與圖像相關的任務而設計的。與視覺圖像相比，地震反射信號具有本質上的不同：稀疏信號極性變化及有限帶寬。此外，地質特徵的地震響應在波傳播路徑、頻率、幅度和極性方向方面也有所不同。因此基於數據驅動的ANN地震解釋研究是典型的高維稀疏信號的複雜映射問題。

中國科學院地質與地球物理研究所博士後耿智與合作導師王彥飛研究員提出了一種基於數據驅動的能進行有效地震數據分類的自動搜索神經網絡架構(SeismicPatchNet, SPN)（圖1）。假設嵌入在勘探地震數據中的關鍵信號特徵可以被ANN捕獲，則描述其參數比傳統的CNN架構要少得多。該研究設計了具有特定地震振幅序列的概念性信號斑塊（圖1a），以海洋天然氣水合物為例，這些信號類似於水合物的關鍵地震反射；同時考慮了各種複雜的破壞方法應用於上述信號(圖1b)以生成用於搜索的特定CNN架構的積極數據集（圖1c）。本神經網絡架構通過對網絡內核分解以減少參數量並匯總相反的採樣特徵來保持極性信息。應用高性能圖形處理單元(GPU)，通過反問題正則化建模和隨機搜索算法獲得了最終的網絡架構SPN。該研究構成了第一個以數據為驅動的設計具有高效計算能力的CNN，旨在從稀疏信號處理的角度對地震數據進行端到端解釋。

Nature Communications：人工智慧地震信息挖掘——基於高效分類多尺度濾波卷積神經網絡的自動化設計

圖1 數據驅動的CNN設計流程的示意圖

與國際上標準的神經網絡模型對比顯示：本研究的神經網絡架構參數的存儲量約為著名的VGG-16架構的0.5％。SPN的預測速度比ResNet-50快近18倍（圖2），並且在識別海底天然氣水合物資源指標似海底反射(BSR)方面顯示出壓倒性的優勢（圖3）。顯著性映射表明，該研究提出的架構很好地捕捉了關鍵特徵，顯示出以極低的計算成本進行多個地震數據集的端到端解釋的前景。

Nature Communications：人工智慧地震信息挖掘——基於高效分類多尺度濾波卷積神經網絡的自動化設計

圖2 各類CNN架構性能測試：ROC表示受試者工作特徵曲線(Receiver operator characteristic curve)

Nature Communications：人工智慧地震信息挖掘——基於高效分類多尺度濾波卷積神經網絡的自動化設計

圖3 經典網絡模型：深部特徵難判別，識別結果噪聲強；新提出的網絡模型(SeismicPatchNet)(最下面一行)：具有深部地震特徵識別的魯棒性

Nature Communications：人工智慧地震信息挖掘——基於高效分類多尺度濾波卷積神經網絡的自動化設計

研究成果發表於國際頂級期刊Nature Communications. (Geng Z, Wang Y F*.Automated design of a convolutional neural network with multi-scale filters forcost-efficient seismic data classification [J]. Nature Communications, 2020,11: 3311. DOI: 10.1038/s41467-020-17123-6) (原文連結)。該成果受中國科學院從0到1原始創新項目(ZDBS-LY-DQC003)、中科院地質與地球物理研究所重點部署項目(IGGCAS-201903)和國家重點研發計劃項目(2018YFC0603500 & 2018YFC1504203)資助。

校對：張崧

相關焦點

  • Nature Communications:人工智慧地震信息挖掘——基於高效分類多...
    耿智等-NC：人工智慧地震信息挖掘——基於高效分類多尺度濾波卷積神經網絡的自動化設計人工神經網絡(ANN)在數據驅動的自然和信息科學研究領域(例如圖像圖形學、材料、生物學和醫學、天文地理以及地球科學)的應用正在迅猛發展
  • 自動化所提出基於腦功能影像時間序列的多尺度卷積循環神經網絡模型
    自動化所提出基於腦功能影像時間序列的多尺度卷積循環神經網絡模型 2019-10-28 自動化研究所 【字體：大 中 小】
  • 基於卷積神經網絡的目標檢測算法簡介
    a) 設計的特徵為底層特徵，對目標表達能力不足b) 設計的特徵的可分性較差，導致分類錯誤率較高c) 設計的特徵具有針對性，很難選擇單一特徵應用於多目標檢測，如Haar特徵用於人臉檢測，HOG特徵用於行人檢測，Strip特徵用於車輛檢測
  • 利用二維卷積神經網絡進行乳腺癌分類
    利用二維卷積神經網絡進行乳腺癌分類Submitted on 7 Jul 2020 (v1), last revised 29 Jul 2020對有臨床記錄的癌症/非癌症患者的分類需要高的敏感性和特異性來進行可接受的診斷試驗。然而，目前最先進的分類模型——卷積神經網絡(CNN)，卻不能用於以一維格式表示的臨床數據。CNN被設計用於處理一組二維矩陣，這些矩陣的元素與相鄰元素有一定的相關性，比如圖像數據。
  • 武漢大學CVEO小組:一種基於卷積神經網絡的高解析度遙感影像分類方法
    基於對象的圖像分類（OBIC）已經成為超高解析度遙感影像土地利用的主流框架。OBIC可以利用高解析度遙感影像中的紋理、空間幾何信息，與基於像素的圖像分類（PBIC）框架相比，在一定程度上克服了「椒鹽」現象。 　　OBIC框架通常包括圖像預處理，圖像分割，特徵提取和監督分類等過程。
  • 基於PVANet卷積神經網絡模型的交通標誌識別算法
    結果表明， 所構建的卷積神經網絡具有優秀的小目標物體檢測能力， 相應的交通標誌檢測算法可以實現較高的準確率。 計算機目標檢測是指計算機根據視頻、圖像信息對目標物體的類別與位置的檢測， 是計算機視覺研究領域的基本內容。隨著硬體和軟體技術的發展， 尤其是基於卷積神經網絡目標檢測算法的普及應用， 計算機目標檢測的準確率及速度都有了很大提高［1］。
  • 發nature communications了不起嗎
    communications，其它公眾號bioart，測序中國等等都會跟進報導宣傳，「希望」我們生信技能樹也同步宣傳。更何況我們現在主推的科研新寵：單細胞技術，平均一個月三十多篇高IF文章啊！！！誰管nature communications？更何況學術界一大堆瓜：關鍵是我們定位是生物信息學數據處理技術分享，其它一切形式的宣傳都看心情！
  • 人工智慧之卷積神經網絡(CNN)
    前言：人工智慧機器學習有關算法內容，請參見公眾號「科技優化生活」之前相關文章。人工智慧之機器學習主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點探討一下卷積神經網絡(CNN)算法。局部感受視野，權值共享以及時間或空間亞採樣這三種思想結合起來，獲得了某種程度的位移、尺度、形變不變性。通過「卷積核」作為中介。同一個卷積核在所有圖像內是共享的，圖像通過卷積操作後仍然保留原先的位置關係。
  • 自動化所提出不規則卷積神經網絡
    在深度卷積神經網絡（CNN）中，卷積核是最基本和最重要的組件。研究人員給卷積核配置了形狀屬性以生成不規則卷積神經網絡（ICNN）。和原始規則卷積核比較，不規則卷積核的權重能夠抽取多種不同尺寸和形狀的信息。可以發現，原本屬於同一位置的權重，在變形後大致擁有一個高斯分布的特性。9個分布中心大致與規則形狀時的原位置相同，但分布的伸展性保證了不同尺度的信息融合。
  • MSRA視頻理解新突破,實現199層三維卷積神經網絡
    （Pseudo-3D Convolution）的深度神經網絡的設計思路，並實現了迄今為止最深的 199 層三維卷積神經網絡。通然而目前視頻識別的相關研究多數使用的是基於圖像的卷積神經網絡（如微軟研究院在 2015 提出的殘差神經網絡 ResNet）來學習視頻特徵，這種方法僅僅是對單幀圖像的 CNN 特徵進行融合，因此往往忽略了相鄰的連續視頻幀間的聯繫以及視頻中的動作信息。目前，視頻專用的深度神經網絡還很缺乏。
  • 「範例卷積神經網絡」和信息最大化
    本文內容摘要：本文對「範例卷積神經網絡」的訓練方法僅作了簡單簡單的概述，所以如果想要獲得更多、更真實的信息，請閱讀論文原文。本文簡要介紹了「變分信息最大化」，並將其運用到了「範例卷積神經網絡」的案例中。
  • 卷積神經網絡在圖像領域中的發展及存在問題
    2012年6月，《紐約時報》報導了由著名機器學習專家Andrew Ng和Google軟體架構師Jeff Dean主持的Google Brains項目，該項目使用包含16000顆CPU的並行計算平臺，在沒有標註信息的情況下，對深度神經網絡進行無監督訓練，網絡學會了自動從數百萬張Youtube視頻截圖中識別貓臉。
  • 卷積神經網絡:從基礎技術到研究前景
    相反，本章的目的是為本報告的剩餘部分設定討論基礎，以便我們詳細展示和討論當前對用於視覺信息處理的卷積網絡的理解。 2.1 多層架構 在近來基於深度學習的網絡取得成功之前，最先進的用於識別的計算機視覺系統依賴於兩個分離但又互補步驟。
  • 卷積神經網絡理解(一):濾波器的意義
    卷積神經網絡的發展二. 卷積神經網絡的重要性三. 卷積神經網絡與圖像識別四.在卷積神經網絡中，層與層之間不再是全連接，而是局部連接，具體的實現方法，就是我們在下一節中會介紹的卷積操作。卷積神經網絡屬於局部連接網絡，是基於深刻研究自然圖像而提出來的。自然圖像存在局部區域穩定的屬性，其某一局部區域的統計特徵相對於圖像其他相鄰局部區域具有相似性。
  • 基於人民網新聞標題的短文本自動分類研究
    摘要： 自動文本分類技術將人類從繁瑣的手工分類中解放出來，使分類任務變的更為高效，為進一步的數據挖掘和分析奠定基礎。對於新聞來說，簡短的新聞標題是新聞內容的高度總結，針對短文本的分類研究一直是自動文本分類技術的研究熱點。
  • 淺析人工智慧的卷積神經網絡與圖像處理
    淺析人工智慧的卷積神經網絡與圖像處理 demi 發表於 2019-11-02 11:23:43 在人工智慧深度學習技術中，有一個很重要的概念就是卷積神經網絡 CNN（Convolutional Neural
  • 基於尺度-時間網格的視頻中物體檢測算法,解決如何優化和平衡視頻...
    物體檢測器為了達到高準確率，往往需要使用高性能的卷積神經網絡來提取圖像特徵，導致檢測速度難以滿足實時性的需求。解決這個問題的關鍵在於尋求一種有效的方式，在準確率和檢測速度之間作出平衡。為了尋找一個良好的平衡點，之前的研究工作通常集中在如何優化網絡結構上。本文提出一種新的方法，基於尺度-時間網格（Scale-Time Lattice，簡記為ST-Lattice）來重新分配計算資源。
  • 一文讀懂卷積神經網絡工作原理
    擴展來講，對二維圖像的濾波操作可以寫成卷積，比如常見的高斯濾波、拉普拉斯濾波（算子）等。濾波器跟卷積神經網絡有什麼關係呢。讓這些濾波器組對特定的模式有高的激活，以達到CNN網絡的分類/檢測等目的。實際上，我們的人類大腦的視覺信息處理也遵循這樣的低階特徵到高階特徵的模式。可參考之前文章《為什麼無彩色系（黑白灰色）在色彩搭配中可以和諧地與任何彩色搭配？》最後一層的濾波器按照訓練CNN目的的不同，可能是在檢測到人臉、手寫字體等時候激活[1]。所以，在相當程度上，構建卷積神經網絡的任務就在於構建這些濾波器。
  • NumPy論文登上Nature;高效Transformer綜述
    左：普通卷積神經網絡的卷積核的可視化；右：對對抗攻擊魯棒的卷積神經網絡的卷積核的可視化。在訓練過程中，測試準確率隨著 epoch 數的變化。每一個板塊描述的是一個不同的訓練技巧。顏色代表著區分低頻信息和高頻信息的半徑。實線代表低頻信息，虛線代表高頻信息。虛線越高，表示越多的高頻信息被學習到了。
  • 自動化是當前與深度學習及人工智慧等的不可分割的關係
    自動化是當前與深度學習及人工智慧等的不可分割的關係，也同樣是當前的熱門主題。自動化機器學習在自動化，人工智慧，無人機等科技領域有廣泛的應用。自動化機器學習可以模擬生物學過程，比如分類，和識別。分類。分類就是識別。