來源：財訊網 • 2020-12-15 16:13:59
智能汽車終極遠景是自動駕駛和互聯生態的打造，受益於近年來各國政策推進、相關技術實現突破及車企產品逐步落地，全球無人駕駛汽車正在迎來較大增長。Frost & Sullivan預測，到2030年自動駕駛（私家車）市場規模將達到600億美元，其中2020年被認為行業快速增長的元年，L4級自動駕駛車將在相當長時間內扮演重要角色。
在自動駕駛中，車與車、車與路等對外互聯的智能化車體是車輛根據路況信息做出剎車、避讓、減速、轉彎、超車等動作的關鍵。要形成如此嫻熟的駕駛技術，這些車輛是如何練就的呢？
自動駕駛系統的核心要素是算法、算力和數據，其中算法是靈魂，數據和算力是基礎。構建高度可擴展的數據平臺和計算平臺，是自動駕駛系統的首要問題。
高效的數據管理系統，MetaView
人工智慧作為自動駕駛汽車的"大腦"，所擁有的準確指揮能力並非與生俱來，而是靠前期的數據積累和後期的AI訓練。
· 第一步：海量數據收集、存儲
車上裝有多種多樣的傳感器，如果以每天行駛6小時-8小時計算，每周會收集到高達PB級的數據。海量的圖像和雷達數據在進行清洗、標記、存儲後，被用於訓練算法、學習道路規則、並發現車輛運行的深層神經網絡中的潛在故障，然後不斷地迭代循環執行上述訓練步驟，直到滿足自動駕駛對精度的訓練需求。
面對多樣化的數據來源，數據存儲和數據管理也是自動駕駛訓練所面臨的主要挑戰。高效的訓練系統不僅需要高性能的分布式存儲系統，還需要統一對海量數據進行特徵管理、快速發現數據、構建數據集合；甚至能夠對數據集的合併、拆分、過濾等進行數值填充，並行處理。數據的存儲和管理效率，將直接決定一個優秀自動駕駛訓練系統的成敗。
極道存儲系統支持海量數據的收集，傳感器或雷達採集的數據可通過對象或文件的形式進入極道存儲系統；同時，極道的對象存儲和並行文件系統對海量小文件的讀寫進行了優化，提高了對象與文件的讀寫能力，系統性能、吞吐量明顯高於同類產品。
· 第二步：數據管理支持
存儲只是數據治理的第一步，傳統存儲解決方案或開源HDFS提供的功能大多僅限制於此。但極道MetaView在存儲基礎上，還提供數據管理支持，包括實時數據追蹤、秒級數據檢索、動態數據重組以及自動數據溯源等功能。
數據進入存儲系統後，用戶可通過MetaView發現新數據；同時，用戶還可通過MetaView的標籤功能給數據進行自定義追加，作為後續的訓練數據集。
· 極道MetaView支持任意數量的鍵值對作為標籤。
強大的策略引擎支持用戶自定義編寫程序，數據在進行分析或主動學習時，系統自動生成標籤。訓練階段用戶還可通過複雜的標籤表達式、數據特徵進行檢索，檢索結果存為數據集。不同的表達式則生成不同的訓練集和驗證集。在百億規模下極道所有操作可秒級完成，MetaView提高了自動駕駛企業的數據治理能力。
異構融合架構,助力昂貴的AI訓練
自動駕駛系統訓練過程中，模型訓練和仿真需要使用大量的異構計算資源（GPU、CPU、NPU）。極道從中不僅看到了AI算力需求的迅勐增長，也看到了用戶的諸多痛點——算力昂貴。
這主要是因為用戶的稀有計算資源利用率低，計算訓練的並行程度不充分；相關行業和企業所面臨的多樣化計算框架集成和運維難度大；以及面對分布式機器學習和深度學習的參數配置難和開發效率低。
自動駕駛訓練涉及到數據的多樣化處理，需要根據實際情況搭建或調整不同計算處理模式的算法和模型，資源利用率制約著模型訓練效率。例如，在大規模數據上訓練模型，很有可能會利用Map Reduce並行的方法對數據進行預處理，剔除無效特徵、常數列、標準化、歸一化數據採樣，再根據需求啟動不同的分布式機器學習或深度學習框架。
這種包含大數據Map Reduce和各種人工智慧異構框架的動態構建和融合需要對用戶完全透明，相關計算過程結束後計算框架會自動銷毀，資源再次被釋放出來並共享給其它的計算和數據處理應用，才能夠真正的打破異構計算框架帶來的資源壁壘，提升資源利用率。
· 極道計算數據流系統Achelous
極道採用了先進的多計算框架融合技術，在統一計算資源管理和分配的基礎上，靈活地按需動態生成計算框架。在一個集群內共享硬體的前提下，動態實現了Map Reduce、高性能計算、批量計算和多種分布式機器學習、深度學習計算框架的融合共存。
同時，極道Achelous能夠對稀有計算資源GPU進行高級策略調度，例如顯存調度、拓撲調度等，提高異構計算集群的資源利用率。極道Achelous的智能執行引擎，利用數據流技術描述AI的訓練工作流程，協助研發人員儘可能數據並行和多種模型並行，減少人為幹預，提升自動化程度和訓練效率。
隨著應用對算力要求的變化，計算資源會根據需要及時添加到計算集群中。極道Achelous採用多級調度和分布式調度器，在形成統一調度空間的前提下能夠動態擴展、均衡負載，突破大規模計算集群規模的瓶頸。截至目前。極道計算數據流系統Achelous可以預裝到包含英偉達DGX和多家第三方GPU加速伺服器上，為自動駕駛模型訓練保駕護航。
自動駕駛領域解決方案，極道智能數據系統
極道智能數據系統的"三駕馬車"：計算數據流系統Achelous、分布式存儲系統ANNA/ALAMO和數據管理系統MetaView相互配合，協同設計。在高自動化的自動駕駛應用領域從數據採集、數據預處理、數據處理、模型訓練、模型部署到推斷過程，全程一體化完整的高效運行，幫助用戶有效利用資源，快速構建業務模型，將數據轉化成數據資產。
· 智能動態集群
Achelous按需智能構建業務集群，動態分配環境、CPU、GPU、內存、存儲等資源，降低運維成本，壓縮資源配置時間，讓用戶更專注於自動駕駛模型訓練。
· 合適的數據存儲
極道分布式存儲系統ALAMO/ANNA和計算數據流系統Achelous的協同設計，能夠更快、更準確的感知數據特徵與業務需要，幫助存儲系統選擇更好的緩存策略和數據一致性策略，讓數據發揮更好的性能。
· 統一系統管理
所有數據相關業務系統部署在極道智能數據系統上，可集中調度AI模型訓練所需的各種計算和存儲資源，統一進行數據預處理、數據處理、數據集管理、模型管理、模型評估、模型部署甚至模型推薦。
· 可視化建模
Achelous基於極道智能數據系統對業務系統的集中管理，可以通過可視化界面快速構建自動駕駛AI訓練模型。
· 智能業務計算
Achelous按照自動駕駛AI訓練模型的需要，可以快速輕鬆構建分布式的深度學習和機器學習環境，利用AI數據流進行數據並行和模型並行，有效壓縮研發時間，簡化多框架分布式計算環境。
· 跨系統數據管理
極道數據管理系統Metaview可按照AI訓練模型的需求，抽取調用多系統來源數據，充分理解數據特徵，輕鬆動態構建數據集合，進行複雜特徵管理。例如根據特徵構建訓練、測試集合、發現噪聲樣本、處理缺失值以及特徵將維等，讓數據集管理不再成為瓶頸。
在AI訓練全量業務模式下，所有數據業務系統都可以部署在極道智能數據系統上，通過集中管理並調度資源，完成跨系統計算和數據調用，提升業務關聯度以方便數據交互，為更高級自動駕駛模型AI訓練提供更統一、更高效、更智能的服務。在不涉及管理業務系統的輕量業務模式下，極道為高級自動駕駛模型AI訓練提供統一的資源管理，以提升AI算力的利用率，充分發揮稀有計算資源的能力。
作為智能網絡的重要延伸支點，自動駕駛領域正在成為極道的又一發力點。極道智能數據系統的高度智能化計算框架動態構建和系統資源的統一調度，正不斷突破計算集群規模瓶頸，為自動駕駛領域帶來巨大的計算力，同樣也將加速其他領域科學研究和商業創新的智能化進程。
關於極道
極道，專注於數據"存"、"管"、"算"的創新數據系統公司，由國內頂尖的存儲和數據分析專家團隊建立，是一家以分布式系統為核心幫助客戶提升IT資源效率，提供高效智能的數據處理基礎平臺的數據系統公司。
極道的核心產品涵蓋了分布式並行文件存儲、強關聯大規模實時數據管理系統，以及集群的調度系統和執行引擎，以滿足企業對數據處理、分析和建模的多樣化需求。極道注重自主智慧財產權和產品的可控性，核心軟體系統均為自主研發，已擁有多項專利和軟體著作權。
免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據。