標註案例分享:自動駕駛圖像語義分割丨曼孚科技

2021-01-06 曼孚科技

目前,自動駕駛主流算法模型主要以有監督的深度學習方式為主,是基於已知變量和因變量推導函數關係的算法模型,需要大量的結構化標註數據對模型進行訓練與調優。

自動駕駛領域常見的標註類型通常包括2D框、3D立方體、多邊形、圖像語義分割、視頻標註、3D雷射點雲標註等,其中圖像語義分割是應用較為廣泛的一種標註類型。

從概念上來看,圖像語義分割屬於人工智慧計算機視覺領域的一個重要分支,它結合了圖像分類、目標檢測和圖像分割等技術,主要針對圖像進行像素級的分類。

語義分割的結果是將圖像變成帶有一定語義信息的色塊。語義分割技術可以識別出每個色塊的語義類別,並給每個像素都標註上其對應的標籤,從而實現從底層到高層的語義推理過程,最終得到一張具有各個像素語義標註信息的分割圖像。

這些經過標註後的語義分割圖像,可以用於自動駕駛核心算法訓練。自動駕駛汽車在行駛的過程中,車載攝像頭,或者雷射雷達探查到圖像後輸入到神經網絡中,後臺經過訓練的算法模型就可以自動將圖像分割歸類,以實現避讓行人與車輛等障礙。

目前,自動駕駛圖像語義分割領域,常用的標註對象主要有以下種類(所有標註對象均經過標註處理,圖片來源:曼孚科技SEED數據服務平臺):

01.道路可行駛區域

說明:道路可行駛區域通常指汽車可行駛區域。當存在路緣石時,道路可行駛區域為路緣石之間部分;當不存在路緣石時,以柏油或其他路面覆蓋區域為準。

道路可行駛區域

02.欄杆/隔離欄/石墩

說明:位於道路兩側,主要包括欄杆、隔離欄、石墩等隔離物,但不含因道路施工設置的臨時路障。

欄杆

03.杆狀物(豎直部分)

說明:只需要標註杆狀物的豎直部分,杆狀物上的其他部分不予標註。通常包括:路牌杆、路燈杆、交通燈杆等。

杆狀物

04.路邊建築

說明:道路兩側建築物,包括高層建築與底層建築等各類人造建築物體。

路邊建築

05.綠化植被

說明:位於道路兩側或者道路隔離地帶的綠化植被。通常包括綠化帶、草地、樹木等。

綠化植被

06.轎車(小型車輛)

說明:行駛在道路中或者停在路邊的用於載送人員及其隨身物品,且座位布置在兩軸之間的汽車。

轎車

07.貨車(大型車輛)

說明:行駛在道路中或者停在路邊用於運送貨物的車輛,或者用於牽引其他車輛的汽車。

貨車

08.其他機動車

說明:轎車、貨車以外的其他機動車輛,包括公交車、無軌電車、摩託車、機動三輪車等,但不包含任何在軌道上運行的車輛。

其他機動車

09.行人

說明:主要為步行的人。位於汽車內部,比如轎車、公交車內的人以及騎摩託車、騎自行車的人無需標註。

行人

10.非機動車

說明:非機動車,包括自行車、畜力車等。駕駛非機動車的駕駛員與非機動車一起,算作一個標註對象。

非機動車

11.白色實線

說明:車道分界線的一種,用於分隔同向車道,不可變更車道。通常施劃在交叉路口的交通燈前。

白色實線

12.單黃實線

說明:車道分界線的一種,單黃實線禁止雙方向車輛越線或壓線行駛。單黃實線一般施劃於單方向只有一條車道或一條機動車道和一條非機動車道道路、有其他危險需要禁止超車的路段。

單黃實線

13.黃色虛線

說明:車道分界線的一種,由連續間隔黃色車道線構成,可以在適當的時候進行超車或者掉頭轉彎等動作。

黃色虛線

14.黃色虛實線

說明:黃色虛實線通常施劃在橋梁前後及允許掉頭的路段。黃色實線一側禁止車輛越線或壓線行駛,虛線一側準許車輛暫時越線或轉彎。

黃色虛實線

15.白色虛線

說明:車道分界線的一種,用於劃分同向車道中的不同車道,可跨越超車。

白色虛線

16.黃色禁止停車線

說明:當單黃實線被施劃在道路一側邊上時,其身份便轉變為「禁止停車標線」,表示在該路段禁止任何車輛停放。

黃色禁止停車線

17.導流線

說明:通常出現在具有複雜行駛條件的路口、匝道、掉頭車道等位置,其作用是引導車輛按規定路線行駛。

導流線

18.禁停網格線

說明:施劃於易發生因臨時停車造成堵塞的交叉路口、重要單位出入口及其他需要設置的路口等。

禁停網格線

19.人行道

說明:普通人行橫道,分割時以每根白線的邊界進行分割標註,不以人行橫道的整體邊界進行標註。

人行道

20.道路箭頭

說明:道路上用於指示前進方向的箭頭,通常包括直行、轉彎、掉頭箭頭等。

道路箭頭

21.減速帶

說明:安裝在公路上使經過的車輛減速的交通設施。

減速帶

22.路燈

說明:位於道路兩側或者道路隔離地帶的路燈,只需要標註路燈杆的路燈部分即可。

路燈

23.紅綠燈

說明:紅綠燈的交通燈部分。

紅綠燈

24.天空

說明:天空部分。

天空

以上內容即為自動駕駛圖像語義分割常見的標註類型。在具體的標註項目內,同時還需要注意以下幾點:

1.以上標註樣例僅供參考,自動駕駛標註場景下,具體標註方式需要依據標註需求來確定;

2.在全景圖像語義分割模式下,一張圖像內的所有標註對象均需要經過標註處理,不能存在空白未標註的區域。

具體可參考以下例子:

這是一張尚未經過標註處理的圖像:

這是經過全景語義分割處理後的圖像:

經過語義分割處理後的圖像即可用於自動駕駛領域相關算法模型的訓練,為自動駕駛早日實現落地應用增添新一份助力。

相關焦點

  • 案例分享:新零售商品陳列檢測數據標註項目丨曼孚科技
    藉助圖像識別等AI技術的快速發展,新零售企業普遍實現了降本增效。高盛預測,到2025年,人工智慧的應用將為零售業每年節省540億美元的成本開支,並帶來410億美元的新收入。目前新零售行業主要流行的一種解決方案是「視覺識別解決方案」,即以圖像識別為技術核心,攝像頭、主板為硬體核心,對目標產品進行目標檢測和分類,實現自動識別與結算,提升購物體驗與節省人力成本。
  • 建設AI數據中臺,「曼孚科技」獲千萬元級天使輪融資
    曼孚科技2018年成立於杭州,以搭建智能化數據中臺及數據應用服務作為核心發展方向,提供包括圖像和視頻識別、語音識別、語義理解等領域的基礎數據服務。核心團隊中擁有人工智慧領域多位專家和學者,以及谷歌阿里網易等科技行業人才。曼孚科技旗下主要產品服務包括SaaS級的數據處理平臺,AI數據中臺服務,基礎數據服務(數據採集、數據清洗、數據標註)等。
  • 圖像標註:揭秘自動駕駛、面部識別背後的「眼睛」
    機器學習和人工智慧依靠計算算法複製人類的智能行為,包括自動語音識別、增強現實和神經網絡機器翻譯。這些不同領域技術創新的成功問世促進了人們對計算機可視化和解釋圖像的深入研究。通過使用不同的軟體,計算機視覺努力激活機器的雙眼去觀察和解釋圖像。 技術已經證明,計算機視覺可為人類和科學家提供自動駕駛汽車、無人機、面部識別和更多其他的應用。
  • 百度飛槳AI快車道圖像語義分割專場(北京站)報名啟動!
    隨著計算機視覺的發展,圖像語義分割技術逐漸映入人們的眼帘,因其廣泛的應用性而備受人們的重視。圖像語義分割是圖像理解的重要基石,在自動駕駛系統、無人機應用、工業質檢等應用中舉足輕重。語義分割模型通過神經網絡、深度學習訓練圖像,將對圖像對象的識別轉化為對像素的識別。
  • 圖像分割系列<->語義分割
    精選文章,第一時間送達 上期講到圖像分割(Image segmentation)根據某些規則把圖片中的像素分為不同的部分(加不同的標籤),它可分為:超像素、語義分割、實例分割、全景分割, 各有聯繫,又有區別。
  • 如何提高數據標註質量,提供精細化標註數據集?丨曼孚科技
    監督學習下的深度學習算法訓練十分依賴於標註數據,然而目前數據標註行業在精細化運營方面仍有諸多不足。相關數據顯示,當下數據標註行業單次交付達標率低於50%,三次內交付達標率低於90%,遠遠不能滿足AI企業的需求。
  • 浙大博士生劉漢唐:帶你回顧圖像分割的經典算法 | 分享總結
    雷鋒網AI科技評論按:圖像語義分割是 AI 領域中一個重要的分支,是機器視覺技術中關於圖像理解的重要一環。近年的自動駕駛技術中,也需要用到這種技術。車載攝像頭探查到圖像,後臺計算機可以自動將圖像分割歸類,以避讓行人和車輛等障礙。隨著近些年深度學習的火熱,使得圖像分割有了巨大的發展,本文為大家介紹深度學習中圖像分割的經典算法。
  • 入門| 一文了解什麼是語義分割及常用的語義分割方法有哪些
    我們已經開始發展自動駕駛汽車和智慧機器人,這些都需要深入理解周圍環境,因此精確分割實體變得越來越重要。什麼是語義分割?語義分割是計算機視覺中的基本任務,在語義分割中我們需要將視覺輸入分為不同的語義可解釋類別,「語義的可解釋性」即分類類別在真實世界中是有意義的。例如,我們可能需要區分圖像中屬於汽車的所有像素,並把這些像素塗成藍色。
  • 圖像語義分割Pro專場來了!百度AI快車道揭曉質檢精準高效的秘訣
    而無人車之所以能如此「靈巧」,離不開對道路圖像中人、車、路等的精準識別,這就不得不提到在其中發揮重要作用的「圖像語義分割技術」。11月30日,圖像語義分割專場將在北京再度開課,不僅帶來經典的PaddleSeg圖像分割技術介紹、在人像處理與工業質檢場景中的實戰,更有百度飛槳的預訓練模型管理和遷移學習工具PaddleHub結合案例的詳細介紹,而全新升級的PaddleHub還可支持剛剛發布的產業級預訓練模型「Master模式」。動動小指頭參與報名,即可快速了解產業落地的模型從訓練到部署的全流程。
  • 2019 語義分割指南
    語義分割是指將圖像中的每個像素歸於類標籤的過程,這些類標籤可以包括一個人、汽車、鮮花、一件家具等。我們可以將語義分割認為是像素級別的圖像分類。例如,在有許多汽車的圖像中,分割會將所有對象標記為汽車對象。然後,一個稱為實例分割的模型能夠標記一個出現在圖像中的物體的獨立實例。這種分割在計算對象數量的應用程式中非常有用,例如計算商城的行人流量。
  • 如何用卷積神經網絡處理語義圖像分割
    打開APP 如何用卷積神經網絡處理語義圖像分割 電子設計 發表於 2018-10-15 09:51:00 圖像分割是根據圖像內容對指定區域進行標記的計算機視覺任務
  • 顯著提升圖像語義分割性能,滴滴攜伯克利提出多源對抗域聚合網絡
    那麼能否同時利用多個不同領域的訓練樣本,提高在新領域上的語義理解能力呢?來自滴滴地圖事業部和加州大學伯克利分校的研究員提出一種新的多源領域自適應模型,對多個不同源域的有標註合成數據和目標域的無標註真實數據進行聯合學習,顯著提高了圖像語義分割的性能。據悉,這是多源領域自適應第一次應用在語義分割任務上。
  • 淺談計算機視覺中的圖像標註
    雖然上面的例子非常簡單,但進一步深入到計算機視覺更複雜的領域(如自動駕駛汽車),則就會需要更複雜的圖像標註。由於計算機視覺研究的是模仿或超越人類視覺能力的機器開發,訓練這樣的模型需要大量的帶標註的圖像。你用來訓練、驗證和測試你的計算機視覺算法的圖像將對你的人工智慧項目的成功產生重大影響。
  • CVPR 2019 Oral 論文解讀 | 無監督域適應語義分割
    科技評論按:百度研究院、華中科技大學、雪梨科技大學聯合新作——關於無監督領域自適應語義分割的論文《 Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》被 CCF A 類學術會議 CVPR2019 收錄為 Oral 論文
  • 最常見的五種圖像標註工具
    從自動駕駛汽車和無人機到醫療診斷技術和面部識別軟體,計算機視覺的應用相當廣泛,而且發揮著變革性作用。由於計算機視覺是為了開發機器模仿或超越人類視覺的功能,訓練這樣的模型需要大量標註圖像。線和樣條線標註可以用來訓練倉庫機器人準確地將箱子排成一排,或將物品放在傳送帶上。該標註最常見的應用是在無人駕駛汽車領域,通過標註車行道和人行道,可以訓練自動駕駛車輛理解邊界,並保持在一條車道上而不轉向。5.
  • 百度自動駕駛論文摘要:3D語義地圖深度定位分割、無地圖導航等
    AI論文一:論文標題: DeLS-3D: Deep Localization and Segmentation with a 3D Semantic Map,DeLS-3D: 基於三維語義地圖的深度定位和分割
  • AAAI 2020論文:商湯科技發布新視頻語義分割和光流聯合學習算法
    視頻語義分割的一個主要的挑戰是缺少標註數據。在大多數基準數據集中,每個視頻序列(20幀)往往只有一幀是有標註的,這使得大部分監督方法都無法利用剩餘的數據。為了利用視頻中的時間-空間信息,許多現有工作使用預先計算好的光流來提升視頻分割的性能,然而視頻分割和語義分割仍然被看作是兩個獨立的任務。在這篇文章中,作者提出了一個新穎的光流和語義分割聯合學習方案。
  • 數據是自動駕駛「燃料」百度開放全球自動駕駛數據集ApolloScape
    今年3月,百度大規模自動駕駛數據集ApolloScape應需開放,致力於為全世界自動駕駛技術研究者提供更為實用的數據資源及評估標準。ApolloScape是百度Apollo自動駕駛開放平臺的專題項目之一,是目前行業內環境最複雜、標註最精準、數據量最大的三維自動駕駛數據集。
  • 圖像標註的基礎內容介紹
    4) 分割 圖像分割是將一幅圖像分割為多個部分的過程。圖像分割通常用於在像素級定位圖像中的物體和邊界。圖像分割方法有很多種。 語義分割: 語義分割是一項機器學習任務,它需要像素級標註,其中圖像中的每個像素都被分配給一個類。每個像素都帶有語義意義。
  • 圖像分割 50000張 人體實例分割數據
    (image segmentation)技術是計算機視覺領域的一個重要的研究方向,是圖像語義理解的重要一環。圖像分割是指將圖像分成若干具有相似性質的區域的過程。該技術相關的場景物體分割、人臉人體Parsing、人體前背景分割、三維重建等技術被廣泛應用於無人駕駛、手機應用、增強現實、安防監控等領域。近些年來隨著深度學習技術的逐步深入,圖像分割技術有了突飛猛進的發展,對圖像分割數據的精確度和類型都有了越來越高的要求。