2020「水下目標檢測算法賽」賽題解析——聲學圖像

2021-01-11 雷鋒網

當下,由於水下惡劣危險的環境,海洋產業在發展中面臨著迫切的產業智能化升級需求。為了解決該類問題,將光學技術、聲學技術和 AI 算法更好的融入到海洋產業中,近期,一場由國家自然基金委、鵬城實驗室和湛江市人民政府聯合主辦的線上比賽「水下目標檢測算法賽」拉開了帷幕。

聲學圖像在水下目標檢測中探程遠、實用性強,針對「聲學圖像目標檢測」賽項,鵬城實驗室專門開設了 2 期在線直播課程,先後請到上海達華測繪有限公司專家李太春老師和河海大學、水下信息感知技術研究中心副主任霍冠英老師,為參賽者和算法愛好人士提供深入淺出的專業講座。

課程內容涵蓋面廣、知識乾貨豐富,其中重點講解了聲納硬體與圖像組成、聲納圖像分類、聲納圖像檢測具體算法等技術,並從解讀了海洋產業的發展與前景,現雷鋒網將課程內容整理如下,並附上課程回放地址。

《2020「水下目標檢測算法賽」——聲納設備及其圖像判讀應用》:http://www.mooc.ai/open/course/760《2020「水下目標檢測算法賽」 ——水下聲納圖像目標識別研究》:http://www.mooc.ai/open/course/774

聲納概述與技術分類

在海水中,由於介質的改變,光波和無線電波衰減嚴重,傳播距離十分有限。而聲波在水中的傳播性能要好得多,可以覆蓋更廣闊的海洋領域,這也使得聲納圖像通常可以更好的用於海洋探測及產業中。

聲納本身是英文 sonar 一詞的音譯,而 sonar 則是 sound navigation and ranging 的字頭組成,意思是聲學導航與測距。因此,聲納的也是利用聲波對水下物體進行探測和定位識別,而海洋聲納技術即用於對海洋物理參數與過程的探測和對海洋各種特定目標特性的探測。

圖 1 應用於海洋檢測的聲納技術

聲納從工作原理上,可劃分為聲納目標主動探測技術和上哪目標被動探測技術;從目標能否成像上,可劃分為成像聲納技術和非成像聲納技術;而從工作流程與功能上,可劃分為聲納目標檢測技術、聲納目標跟蹤技術、聲納目標識別技術和聲納目標定位技術。

本次比賽的數據集是由鵬城實驗室推出的當前業內最大、最具廣泛性的聲學圖像數據集。其中所用到的聲納技術均為成像聲納技術,側掃聲納和前視聲納為採集圖像的主要設備。兩種設備主要用於探測水下靜止目標物,並給出目標的距離、方位、高度和圖像。

圖 2 聲吶硬體的基本組成主要包括:換能器(TRANSDUCER)、拖纜、信號處理器、採集終端

其中,側掃聲吶主要應用於大面積的海底地形地貌調查,包括水下位置未知目標物的搜索等。在工作時,側掃聲吶聲波的發射基陣以一定的俯仰角和左右兩個扇面向兩側的水體中發射聲波脈衝信號,工作原理如圖 3 所示。

目前,在海洋工程、海洋地質調查、海洋地質科學研究及海道測量中,側掃聲吶已經得到了廣泛應用,並成為目前海洋測量及調查研究必不可少的重要手段。

圖 3 側掃聲吶工作時,聲波的發射基陣以一定的俯仰角和左右兩個扇面向兩側的水體中發射聲波脈衝信號,同時接受基陣接受回波信號並根據回波到達的時間及其強度繪製海洋環境的聲吶圖像

而前視聲納與側掃聲納工作原理類似。最大的區別在於前視聲納的聲波發射基陣,一般以一個扇面向前或者向垂直方向(向上、向下)發射脈衝信號,工作原理如圖 4 所示。因此,前視聲吶主要應用於水下航行器的導航避碰,特定目標物的掃描檢測等。

圖 4 前視聲吶工作原理圖與成像示例,聲波發射基陣以扇面發射脈衝信號

聲納圖像組成與目標檢測

通常情況下,聲納圖像主要由 7 部分組成,包括:聲波發射源、水面反射波、水體雜波、海底反射波、水柱、目標物、陰影;除此之外,聲納圖像還可能包括一些處理得到的標記。圖 5 展示了一個經典的聲納圖像基本組成圖示:

圖 5 聲納圖像基本組成的經典解析圖示;其中,A 是觸發脈衝,B 是第一表面返回波,C 是水體中雜波,D 是第一海底返回波,E 是水柱(即盲區),F 是沉沒的漁船,G 是陰影, H 是數字通道, I 是系統操作設置,J 是距離標記。

而聲納設備形成圖像的過程一般分為以下幾步:設備換能器陣發出聲脈衝,並且收聽返回的回聲信號,返回的聲波由聲能轉換成電能,並且通過拖曳電纜向上傳送到海面上船的記錄顯示單元。

然後在船上顯示記錄單元,信號被處理成所需要的形式,然後發送到監視器和記錄儀上,形成一幅記錄圖像,圖 6 則展示了該過程。

圖 6 聲納設備成像的過程;其中,圖(左)為形成的聲納圖像,圖(右)為對應的聲波圖像

如果要通過聲納圖像辨別其中的目標物,可以結合聲學陰影進行檢測。

通常情況下,深色(高亮)的回聲和白色(黑色)的陰影斑紋,表現出海底底床上目標的凸起和凹陷。其中:

一個目標直立在周圍平坦的環境中,它將反射一個強的回聲信號到聲吶,並且在記錄上產生深色(高亮)的標記;強的反射信號後面跟隨著白色(黑色)的聲學陰影,則是典型的目標凸起。而有一個凹陷,白色(黑色)的區域出現深色(高亮)的區域前面,甚至穿過深色(高亮)區域,它不是真實的陰影。

圖 7 通過黑色陰影,可以辨別出目標物為駱駝

除此之外,結合一些基本的聲納圖像知識,也可以有助於準確識別目標物。其中包括:

硬質、粗糙、凸起的水底回波較強,軟質、平滑、凹陷的水底回波較弱。被遮擋的水底不產生回波;距離越遠回波越弱。天然地形產生的聲學表現通常是不規則形狀的圖像變化,圖像邊緣過度相對平緩,人工目標物通常表現為相對規則的圖像變化,圖像邊緣過度相對明顯。合理運用聲納圖像的幾何關係,判斷目標物的大小、高度等特徵。結合聲吶設備的位置、姿態、航向等信息,可以對圖像聲吶反映出來的特徵進行量測和計算。

圖 8 使用基礎聲納圖像知識進行目標物識別,通過聲納圖像的波形判別目標物的特性

聲納圖像的智能檢測及算法推薦

目前,聲吶的工作性能除了受自身技術參數的限制之外,還受環境因素影響很大,如:聲速-深度分布、波浪、海底底質、水深、海流等。這將導致聲波的折射、擴散、吸收、噪聲等問題。

這也導致在對聲納圖像左準確智能檢測時,將面臨噪聲幹擾、灰度畸變、幾何畸變、形態多樣、樣本稀缺、混疊失真等問題。

圖 9 為同一架飛機的聲納圖像,具有形態多樣的特性

針對其中一些關於圖像去噪、圖像增強、目標分割、目標分類等問題,課程提供了相應的算法思路,可幫助實現改善目標檢測結果的精度:

非局部均值聲納圖像去噪

圖像去噪聲在 OCR、機器人視覺與機器視覺領域應用開發中是重要的圖像預處理手段之一,對圖像二值化與二值分析很有幫助。

但通常進行局部去噪時,往往我們會忽視邊緣處的去噪效果,而近年提出的一種新型去噪技術可以很好的解決該問題。非局部均值去噪可以採用:NL-means、BM3D、SAR-BM3D 等方法。

其中,非局部均值(NL-means)方法的基本思想是:當前像素的估計值由圖像中與它具有相似鄰域結構的像素加權平均得到,在去噪的同時,可以最大程度地保持圖像的細節特徵。

其中,非局部均值迭代聲吶圖像的去噪流程為:

第一次基於含噪塊的均值約束,第二次基於第一次得到的去噪塊的結構相似度;兩次塊匹配濾波權值採用不同距離,第一次依據瑞麗噪聲統計假設,第二次計算假設真值已知。

圖 10 非局部均值聲納圖像去噪示意圖

仿人眼視覺聲納圖像增強

通常,圖像增強的方法包括了:線性拉伸、Gamma 校正、直方圖據恆華、Retinex 處理、小波變換域增強等,但此類方法除了可能放大噪聲之外,還有一個局限在於參數選取部分,要求開發者有較成熟的經驗。

因此,基於這一問題,可以使用人眼視覺方法進行處理,包括:多解析度、多方向性、局部化、稀疏表示、對數調節等。

而恰好 Curvelet 變換能夠很好的處理多尺度、多方向、局部化等問題,因此在圖像增強部分的處理思路可以採取:

Curvelet 變換-->人眼視覺的多通道結構自適應非線性映射-->人眼對數調節Curvelet 重構

圖 11 圖像增強處理,從左到右分布為直方圖均衡化、Retinex 處理及仿人眼視覺圖像增強結果,可以看到第三種處理方式在圖像細節上效果更好

邊緣約束的聲納圖像目標精準分割

在聲納圖像目標檢測分割方法中,邊緣檢測法(sobel、Canny、小波模極大等)、閾值分割(Otsu、屬性直方圖等)、聚類分割(k-means、依賴分布)、MRF 模型、活動輪廓模型都是可以參考的方法。

但每個方法也都具有各自的局限,如:完整性較弱、鄰域一致性處理較差、邊緣精確性低、收斂慢等。

因此,在這個階段,可以考慮這樣的思路,如圖 12所示:

綜合邊緣信息、區域特徵、平滑閱讀構造活動輪廓模型泛函,以同時提高檢測結果的準確性和魯棒性。初始分割、局部匹配、邊緣誘導,從而加快收斂過程。

圖 12 邊緣約束的聲納圖像目標精確檢測示意圖

遷移學習下的聲納圖像目標分類識別

在目標識別部分,通常分為特徵提取和分類器兩部分。目前最具區分能力的特徵包括:傅立葉描繪子、鏈碼、Hu 不變矩、灰度共生矩陣、Haar 特徵、Gabor 特徵、LBP 特徵、HOG 特徵、SIFT 特徵、SURF 特徵等。

而對於特定的識別任務,往往篩選及調整特徵及其耗時,一旦換一個識別任務之後,一切可能將需要全部重新設計。

因此,能否由機器直接從數據中學習來表示本身呢?就像人的大腦可視皮層的分級那樣,具備抽象和迭代的功能,從而對聲納圖像中的目標及其陰影,具有發現同類目標中深層次共性特徵的能力。

由此可以考慮將深度神經網絡運用到檢測算法中來,通過其多次迭代組合底層的分布式特徵形成更抽象的高層表示,解決表示學習的核心問題。

然後再結合人臉識別時 CNN 的思想,將深度卷積神經網絡運用到目標分類識別算法中,推薦的思路如圖 13所示。

圖 13 遷移學習下的聲納圖像目標分類識別

其它比賽資源

除了在線講座課程之外,為了更好的幫助參賽者理解水下聲吶圖像目標識別,賽方還提供了多樣的聲學圖像檢測學習資料,包括:模型代碼、baseline、優質論文以及經典的學習資源。(其中,相關資源已同步至官網首頁,http://uodac.pcl.ac.cn/)

同時,考慮到本次算法賽參與的開發者覆蓋群體非常廣泛,大家所關注的問題也較為分散,大賽詳情頁面也設置了討論區,參賽者可以通過該加入討論群有針對性的答疑解惑。

圖 14 比賽詳情頁面,可由此進入討論區

目前,賽方也給出了一個《常見問題解答》的文檔,在遇到問題時,也可先參考文檔給出的一些解決方案。文檔地址為:https://shimo.im/docs/dQkEVzmKLVUKFnAw/read。

AI 海洋產業蘊含的無限潛力

值得一提的是,早在黨的「十八大」時,我國就作出了「建設海洋強國」的重大部署;這之後,十九大則在此基礎上提出了全面加快海洋強國建設的目標。近年來,習近平總書記也多次在重要場合提到海洋發展。

在 2017 年 7 月,國務院發布《關於印發新一代人工智慧發展規劃的通知》,並在海洋產業領域提出「研製和推廣海洋機器人「的意見,這也正貼合了海洋產業升級的迫切需求。

在人工智慧的幫助下,海洋產業得以應對水下作業危險係數高、捕撈成本大、體能要求強以及環境不可控等難題,因此該產業也具備更高的開發潛力。

圖 15 海洋開發多樣化技術展示

由前文所介紹的多樣化技術也可以看出,在國家的大力支持下,海洋建設在技術方面也已經取得了可喜的成果。可這當然遠遠不夠,海洋開發與建設還需要更多 AI 技術領域開發者的加入。

而本次加入「聲學圖像目標檢測賽」恰好提供了這樣的平臺。這不止是一個展示個人技術的舞臺,也是緊跟時代建設的敲門磚。如果在比賽中獲得較好的名次,該比賽所提供的高達 72 萬元的獎金池,以及進入鵬城實驗室、騰訊科技的招聘面試綠色通道,也將通通拿走!

目前,該賽項已經吸引了眾多來自哈爾濱程學、中學、中國科學院學、浙江大學等高校學生,以及名企的算法愛好者,比賽正在如火如荼的進行中。

所以,假如你也正好從事算法工作,你也有志於在目標檢測識別、機器人、人工智慧和海洋建設領域嶄露頭角,請抓住這個難得的好機會,初賽截至 4 月 11 日。

水下目標檢測算法賽(聲學圖像賽項)報名地址:https://www.kesci.com/home/competition/5e532ac62537a0002ca859a6

雷鋒網 雷鋒網

相關焦點

  • 今日Paper|TRANSFORMER結構;圖像到圖像翻譯;缺失標註目標檢測解決...
    目錄REFORMER:一個高效的TRANSFORMER結構具有文本指導的圖像到圖像的翻譯解決背景重校準損失下的缺失標註目標檢測問題MLFcGAN:基於多級特徵融合的條件GAN水下圖像顏色校正 解決背景重校準損失下的缺失標註目標檢測問題 論文名稱:Solving Missing-Annotation Object Detection with Background Recalibration Loss作者:Zhang Han /Chen Fangyi /Shen
  • 今日Paper | TRANSFORMER結構;圖像到圖像翻譯;缺失標註目標檢測...
    REFORMER:一個高效的TRANSFORMER結構具有文本指導的圖像到圖像的翻譯解決背景重校準損失下的缺失標註目標檢測問題MLFcGAN:基於多級特徵融合的條件GAN水下圖像顏色校正/Lukasiewicz Thomas發表時間:2020/2/12論文連結:https://paper.yanxishe.com/review/11541?
  • 首個基於Transformer的目標檢測模型上線,大目標檢測超越Faster R...
    研究員聲稱這種方法簡化了目標檢測模型的創建,並減少了對手工組件的需求。   Facebook AI Research的六名成員研究了近期非常流行的Transformer神經網絡架構,創建了一個端到端的目標檢測AI。研究員聲稱這種方法簡化了目標檢測模型的創建,並減少了對手工組件的需求。
  • 圖像目標檢測算法——總結
    傳統目標檢測方法Selective SearchDeformable Part Model基於CNN 的目標檢測1.最開始的CNN 目標檢測就是兩階段的。R-CNNR-CNN 是最早利用CNN 實現目標檢測任務的方法,由rbg(Ross Girshick)等人提出。
  • NeurIPS 2020最佳論文;全卷積網絡實現E2E目標檢測
    機器之心 & ArXiv Weekly Radiostation參與:杜偉、楚航、羅若天本周的重要研究包括 NeurIPS 2020最佳論文以及拋棄 Transformer 使用全卷積網絡來實現端到端目標檢測的探索。
  • 模型的跨界:我拿Transformer去做目標檢測,結果發現效果不錯
    沒有匹配的預測應生成一個「無目標」的分類預測結果。DETR 提供了一個更加簡單、靈活的 pipeline 架構,需要的啟發式更少。使用基本的架構塊可以將推理壓縮為 50 行簡單的 Python 代碼。不過,也有人對研究結果提出了質疑:「Faster RCNN 算哪門子 SOTA?」的確,在目標檢測領域,Faster RCNN 已經太老了,比最近的 ResNeSt 不知差了多少,拉這個出來對比性能確實有些牽強。
  • 計算機視覺:圖像檢測和圖像分割有什麼區別?
    字幕組雙語原文:計算機視覺:圖像檢測和圖像分割有什麼區別?英語原文:What is the difference between Object Detection and Image Segmentation?翻譯:雷鋒字幕組(明明知道)人工智慧中的圖像處理人工智慧對於圖像處理有不同的任務。
  • 「奮鬥者」號模型亮相中國科技館,科研人員揭秘其聲學系統
    水聲通信是「奮鬥者」號與母船「探索一號」之間溝通的唯一橋梁,實現了潛水器從萬米海底至海面母船的文字、語音及圖像的實時傳輸。大家可能很好奇,為什麼不用5G通信,這是因為電磁波在海水中的衰減很快,意味在深海中,所有的信號都失效了,而聲波是在深水下進行遠程信號通信的唯一通信方式。「奮鬥者」號內部。
  • 教程| 你來手繪塗鴉,人工智慧生成「貓片」:edges2cats圖像轉換詳解
    edges2cats 是最近網絡中火爆的開源應用,它能以你隨手鼠繪的單色線圖為基礎自動生成一張「真實圖片」。其中繪製貓的版本最受歡迎。「術士的寶石,是魔力無邊的寶石,它能點石成金、創造不朽、復生鬼魂、殺死巨魔,它無所不能。」
  • 北大校友出品:顯著性目標檢測工具,AI生成肖像畫,精細到毛髮
    除了他,相信大家對這項AI工具的背後原理「一定」非常感興趣,那麼我就來給大家詳細介紹一下。 北大校友出品:顯著性目標檢測工具 這款AI工具叫U∧2-Net(U Square Net),最近火到不行! 不僅登上了GitHub熱榜,收割了2.8k星標,還被頂會ICPR 2020 選中。更關鍵是,這項研究的一作還是北大校友——秦雪彬。
  • CVPR2020夜間行人檢測挑戰賽兩冠一亞:DeepBlueAI獲勝方案解讀
    近日,由 CVPR 2020 Workshop 舉辦的 NightOwls Detection Challenge 公布了最終結果。來自深蘭科技北京 AI 研發中心的 DeepBlueAI 團隊斬獲了「單幀行人檢測」和「多幀行人檢測」兩個賽道的冠軍,以及「檢測單幀中所有物體」賽道的亞軍。
  • 「口罩識別」後,「頭盔識別」躋身 AI 安防 C 位
    他們首先依據多目標跟蹤、分類檢測等算法,提取出非機動車目標,在多尺度特徵金字塔上進行不同層級特徵融合,提升了局部微特徵的表達能力。然後通過後臺百萬級海量數據訓練,提取了上百種安全頭盔款式的特徵數據。3、戴口罩人臉的人臉檢測和人臉關鍵點檢測的精度受到光線等外部環境影響。華為此前在這塊便進行了多種嘗試,並申請了一項名為「人臉識別方法、裝置及計算機可讀介質」的影像重構技術專利。該專利顯示,通過圖像重構網絡可以將戴配件(眼鏡、口罩、帽子等)的人臉圖像重構為未戴配件的人臉圖像。
  • 聲學的學科發展介紹:科學、技術與藝術的結合體
    在水下,因為聲的傳播非常有效,因而有很多用處,但是首先也要研究聲波在水下是怎麼傳播的。聲吶技術聲吶就是能夠實現水下目標的探測,識別、定位、通訊還有導航等等功能的聲學設備,相當於空氣中的雷達,雷達是用電磁波來探測飛機等等一些空氣中的飛行目標,到了水下就只能用聲來探測水面與水下航行的目標。
  • 以點代物,同時執行目標檢測和跟蹤,這個新方法破解目標跟蹤難題
    研究者將其跟蹤器命名為 CenterTrack,該方法對一對圖像應用檢測模型,並利用前一幀的檢測結果。給定最小輸入,CenterTrack 可以定位目標,並預測它們和前一幀的關聯。CenterTrack 就是這麼簡單、在線(不窺探未來)、實時。
  • 從數據集到2D和3D方法,一文概覽目標檢測領域進展
    近日,來自阿爾伯塔大學的研究者對目標檢測領域的近期發展進行了綜述,涵蓋常見數據格式和數據集、2D 目標檢測方法和 3D 目標檢測方法。目標檢測任務的目標是找到圖像中的所有感興趣區域,並確定這些區域的位置和類別。由於目標具有許多不同的外觀、形狀和姿態,再加上光線、遮擋和成像過程中其它因素的幹擾,目標檢測一直以來都是計算機視覺領域中一大挑戰性難題。
  • AAAI 2020|用漸進打磨獲得最佳的顯著性目標檢測結果
    >解讀作者:BBuf摘要:圖像的特徵對於顯著性目標檢測非常重要。1、介紹&貢獻顯著性目標檢測旨在提取出圖像中最吸引人的區域,已經在計算機視覺中被廣泛應用,如視頻壓縮,視覺跟蹤以及圖像檢索。顯著性檢測主要依賴於圖像語義特徵,包括低級特徵和高級特徵。因此,為了利用詳細的語義特徵,各種特徵融合方法層出不窮。
  • 推出可以「懸停」的水下機器人,「潛水俠」獲千萬元級天使輪融資
    36氪獲悉,水下綜合解決方案商「潛水俠」於今年4月獲得千萬元級天使輪融資,投資方為中國電子信息產業集團(簡稱中國電子)旗下的零度資本,資金主要用於產品研發、供應鏈建設和團隊擴張等。 潛水俠是一家成立於2015年的科技公司,面向消費級市場和行業應用市場,提供水下綜合解決方案。
  • 知識窗▏對水下機器人(ROV),你知道多少?
    水下機器人的研究方向以無人化為主,使其可在高危險、被汙染以及零可見度的水域環境下工作,配備聲吶系統、攝像機、照明燈和機械臂等裝置,可以完成實時視頻傳輸、聲吶圖像繪製,抓起重物等各種專業操作。目前,水下機器人已經在海洋探索、漁業養殖、水下檢測維修、搜救、消費娛樂、軍事、教育等領域廣泛應用。
  • 百度大腦成為CVPR 2020大贏家 連奪八冠大秀中國AI水平
    實際上,CVPR是全球參與者檢驗自身AI「基本功」的試金石。受到全球疫情影響,CVPR 2020改為6月14-19日舉行線上大會;讓人喜出望外的是,華人學者及團隊大放異彩,組成「中國軍團」向全球展示AI實力。 作為「中國AI頭雁」,百度已多年連續出徵CVPR,驕人成績一如既往。
  • 百度的CVPR2020高光時刻——22篇論文 8項冠軍 2場Workshop
    國際計算機視覺和模式識別大會(CVPR)一直有計算機視覺領域的「奧斯卡」之稱,憑藉著嚴苛的論文錄取標準,躋身全球AI頂會之流。實際上,CVPR是全球參與者檢驗自身AI「基本功」的試金石。受到全球疫情影響,CVPR 2020改為6月14-19日舉行線上大會;讓人喜出望外的是,華人學者及團隊大放異彩,組成「中國軍團」向全球展示AI實力。