手機搖一搖測體積,2019菜鳥全球科技挑戰賽助力智能物流

2021-02-20 機器之心

5 月 28 日,以「數位化再加速」為主題的 2019 全球智慧物流峰會在杭州舉行。來自國內外的行業專家、企業高管共同探討了「物流和供應鏈的數位化如何帶動新零售」、「各種模式如何加速行業數位化的時代引擎等」熱點話題。

在峰會上,菜鳥全球科技挑戰賽總決賽成為了人們關注的焦點。賽題「智能體積測量」關注物流要素「長寬高」進行數位化,希望引起技術人才對物流業的關注。

這場科技競賽由菜鳥網絡舉辦,自 3 月份即開始了預賽的爭奪。在總決賽中,10 支隊伍共同展示了各自的解決方案,並現場測量不同的物體。第一名「泰坦」隊獲得 30 萬獎金、第二名「VMeasure」獲得 20 萬獎金、第三名「Wonder」則獲得 10 萬獎金。

圖註:在決賽後,第一名隊伍的代表登臺領獎。

這是一場相當硬核的挑戰賽,解決的也是物流行業的痛點問題。

菜鳥首席技術官谷雪梅在決賽中表示,「今天物流行業已經從傳統的人力密集型,向資本和技術密集型轉變。我們在用物聯網、人工智慧、區塊鏈等等新的技術在做物流,空間非常大。我們舉辦菜鳥全球科技挑戰賽,是希望有更多青年才俊關注物流。」

面向未來物流的賽題

作為一場科技競賽,高額的獎金不僅在告訴我們賽題難度有多大,也在暗示:體積測量這件事非常重要。但對於大多數人而言,我們並不清楚它的重要性。自動測量的意義主要體現在物流的倉儲、運輸和派送三個環節。

自動準確測量物體體積後,我們就能合理規劃包裝的耗材,從而大大降低包裝成本。在運輸中,如果知道每一件商品的正確體積,那麼分配運輸工具就非常方便了。在物流的派送環節中,準確知曉商品尺寸可以讓快遞員有規劃地將貨物投遞到不同尺寸的快遞箱中,幫助節約存儲空間與效率。

這就是本次競賽的賽題:「對於規則的箱體(如天貓超市紙箱)和不規則物體(如洗衣液、籃球),通過手機拍攝圖像,獲取其最小外接長方體的長、寬、高尺寸(單位 mm),計算其體積(長×寬×高)。根據測量值與被測物體的真實尺寸差值,評估其測量精度。」

挑戰賽設定被測物體在 50mm 到 500mm 之間,且它們都是在空曠的平面上完成測量。在實際測量時,比賽要求選手通過普通手機「自動」測量出物體的垂直高和最小外接矩形的長寬。雖然描述很簡單,但其中有三個關鍵點,即普通手機、自動化和求最小。

首先必須是普通手機,我們需要確保可以在市面上買到,且不能定製化或增加外部裝置,例如手持雲臺或外接深度傳感器等。

其次是自動化,賽會希望解決方案能自動採集並求出被測物體的體積。因此我們在測量時並不能標記被測物體,或者使用某些具有測量功能的 APP。理想狀態下,手機只要拍幾張照或一個小視頻,就能立即給出被測物體的長寬高。

最後,在通過最高點求出被測物體的高之後,挑戰賽要求我們求最小外接矩形作為長和寬。即將物體投影到水平面後,邊界框的面積應該是最小的。

本次比賽要求「手機級普適性」。實際上目前使用深度相機的測量方案已經非常成熟,但成本較高,應用還不夠廣泛。如果能夠使用普通手機測量,可以加速應用。這也顯示出菜鳥有意在引導技術人才關注物流實務。

下圖展示的是決賽中的被測物體。分別是兩種規則、不規則物體:

解決方案:三維重建是核心

在進入決賽的前十組選手的展示中,我們可以看到很多不同的解決方案。很多選手通過 visual SLAM(即時定位與地圖構建)重建 3D 點雲,再結合慣性測量單元(IMU)或標誌物而獲得 3D 點雲的實際尺度;也有選手通過被測物體和標誌物重建出深度圖,然後融合不同的深度圖而構建真實尺度的 3D 點雲。這兩類方法都可根據 3D 點雲計算最小外接立方體。

儘管十支團隊的方案各有各的特點,但它們都遵循一個基本的解題思路:先獲得被測物體在像素空間中的信息,再獲得被測物體在真實世界中的尺寸信息,最後計算被測物體的最小外接立方體。

根據測量精度、設備普適性和技術創新性等多個維度,評審們最終選出排名前三的解決方案。

決賽評委陣容。

第一名:基於全局姿態與 MVSNet 的體積測量

第一名方案是由東華大學等院校的在校師生完成的,他們的方法只需標誌物和圖像信息就能預測被測物的真實尺寸。在這種方案下,我們可以在被測物周圍放幾張列印的標誌物,然後從多個視角拍攝多組圖片,這些圖片能通過 MVSNet 生成多視角深度圖。最後,對不同視角的深度圖進行濾波與融合操作,模型就能重建帶尺度的 3D 稠密點雲。下圖展示了該方案的主要流程:

東華大學蔡棽老師表示,對比 ARKit 等結合 vSLAM 和 IMU 的方案,他們方法最大的優勢在於重建完整度高。其中 vSLAM 在魯棒性上有很多劣勢,即使在位移和旋轉都比較小的情況下,它還是會丟棄一些無紋理物體。這主要是因為 vSLAM 並不追求重建精度,它是一種稀疏重建,因此在算外接立方體時容易產生誤差。

因此我們需要 SFM(Structure from Motion)這種關注魯棒性點雲重建方法,它在精度上比傳統 vSLAM 和基於 AR SDK 的方法高。開發者們也正是沿著 SFM 與 MVS 這一思路走下去,從而重建稠密的 3D 點雲。相比傳統的 MVS 算法,新方法在保持重建準確度的同時,極大地提高了模型的重建完整度。

當然,這種重建完整度很大程度上都是由 MVSNet 帶來的,它不僅效果好,運行速度也比之前的 state-of-the-art 快了數倍。

通過基於標定板的精確外參數標定方案,開發者在解決 vSLAM 算法的不魯棒性、SFM 算法兩兩特徵匹配的計算耗時問題,重建精度、魯棒性、運行速度等各方面都基本滿足了實際測量需求。特別的是,對於無紋理的日常超市物體,該方法仍然適用。

手機搖一搖,極速測體積

如果說第一名團隊重點關注測量精度與效果,那麼第二名團隊 VMeasure 則著重打造一個便捷、快速的解決方案。它的 APK 安裝包只有 4.3MB,且無需輔助計算設備、參照物,就可離線使用。這支隊伍的方法平均測量時間在 10 秒以內,且對於紋理比較豐富的物體,誤差能控制在 5% 以內。

更重要的是,他們設計的應用有一個刷新鍵,當我們對測量結果不滿意時,點擊按鈕就能快速生成更加完善的立方體。用戶根據可視化結果決定是否刷新測量的立方體,因此正確測量的概率要高得多。

既然要面向應用,那麼算法就應該簡潔一些。VMeasure 的思路非常清晰,首先基於 ARCore 完成立體重構,然後再計算最小外接立方體。

其中對於 ARCore 的調用,模型會根據紋理特徵確定關鍵點,在手機圍繞被測物體拍攝時,這些關鍵點會產生位移或視差信息,它們再結合 IMU 傳感器就能獲取三維信息了。

手動標數據的體積測量

在第三名 Wonder 隊(獨立參賽者)的解決方案中,選手從一個非常直觀的想法出發,探討怎樣分兩步解決體積測量問題。即先感知被測物體在像素空間中的位置與大小,然後建立像素世界與現實世界之間的聯繫。

將這種思想帶入到任務中時,就需要設計兩個模塊:利用目標檢測獲取邊界框,從而快速算出像素上的長和寬;利用 ARKit 內嵌的方法,開發者可以得到屏幕中一個點在現實世界中的大致坐標位置,即建像素與現實尺度的橋梁。

雖然 Wonder 隊的做法非常簡潔,但它也有非常特殊的地方:選手自行標註了 1700 多張真實圖片和 2800 多張合成圖片。這些圖片模擬了真實場景下利用手機測量體積會拍到的樣子,我們可以用來檢測目標的邊界框。

該隊選手表示,這 4500 張圖片可用來精調預訓練的 MobileNet V2,它可作為主幹網絡來預測左上和右下兩個關鍵點。因為 MobileNet 是一種非常精簡的架構,所以計算力和準確率都能有比較好的保證。

最終,開發者設計方案結合了計算機視覺和 ARKit 技術,所有的測量和計算都發生在手機端,不需要網絡和額外的計算資源。

在這場精彩的比賽中,選手們提出的方法各具特色。除體積測量外,物流還有更多的任務需要探討,例如三維裝箱問題。物流業正處於技術大變革中,新興技術的應用,將加快物流的數智化發展。

相關焦點

  • 新零售催生新物流 菜鳥助力商家賣全球
    中新網10月20日電 新零售趨勢下,菜鳥網絡跨境物流能力再升級。繼搭建進出口物流網絡之後,菜鳥宣布在今年雙11正式加入「全球賣全球」之旅。  今天下午在香港舉行天貓雙11啟動發布會上,菜鳥方面介紹,其在香港和澳大利亞開設的全球訂單履行中心(Global Fulfillment Center)將在今年雙11幫助海外商家把商品賣往中國內地和港臺地區。
  • 浙大超越清北奪智慧高校桂冠 菜鳥助力建設領先智慧物流
    如刷臉應用、無人零售等前沿科技目前已成為高校智慧建設標配。其中,校園智慧物流成為校園生活重要的服務設施。浙大超越清北奪智慧高校桂冠背後,菜鳥無人車、菜鳥驛站開展的智慧物流方案逐漸成為智慧高校發展的重要應用。TOP10高校在全國智慧物流應用方面處於領先水平,正發揮示範作用。
  • 菜鳥物流助力全國24小時送達 355個城市收到包裹
    菜鳥物流助力全國24小時送達 355個城市收到包裹 2017-11-14 09:38:16來源:中國新聞網作者:${中新記者姓名}責任編輯
  • 菜鳥跨境物流再升級 雙11將服務買全球賣全球
    【環球科技綜合報導】新零售趨勢下,菜鳥網絡跨境物流能力再升級。繼搭建進出口物流網絡之後,菜鳥宣布在今年雙11正式加入「全球賣全球」之旅。菜鳥GFC幫助海外商家賣港臺菜鳥跨境物流資深專家薛孝國說,過去的電商跨境物流以進出口為主,發貨和收貨有一端都在中國內地。為此,菜鳥搭建了一個輻射全球224個國家和地區的進出口物流網絡,接入了110個跨境倉庫提供服務。
  • 天貓雙11倒計時 全球智能物流骨幹網蓄勢待發
    菜鳥智能物流骨幹網協同全球3000多萬平方米倉儲、300萬從業人員、23萬車輛、20萬快遞網點,在世界各地全面迎戰。「吃的、被子,雨棚、雨布都準備好了,車也整修一新」,北京西三旗天貓直送快遞員孟維光今年第4次經歷天貓雙11,大戰在即,卻一點都不緊張:「公司已經拉著每一個網點,把預估單量、配送能力對了無數遍,心裡有底。」
  • 菜鳥投資了一家物流科技企業;日本郵政或將取消周末配送
    一、菜鳥宣布投資一家物流科技企業9月13日上午,菜鳥網絡宣布戰略投資物流行業智慧物聯網公司易流科技。這是菜鳥全面啟動IoT戰略以來,在物流數位化和智能化方面的又一布局,也是其加快建設國家智能物流骨幹網,提升骨幹網效率的重要一步。易流科技是一家智慧物聯網公司,長期專注於物流車輛和貨物的數位化和智能化,提供端到端的物流透明服務。
  • 菜鳥啟動ACE計劃 100萬輛智慧物流車上路
    包裹數量繞地球幾圈,伴隨的是物流配送的能源消耗。5月22日,菜鳥網絡在2017全球智慧物流峰會上宣布啟動代號為「ACE」的未來綠色智慧物流汽車計劃,聯合上汽、東風、瑞馳等知名車企共同打造百萬臺新型智慧物流汽車。
  • 前瞻快遞產業全球周報第64期:規模最大!菜鳥「物流換腦術」完成...
    菜鳥啟動義烏超級進出口中心 助力天貓雙11菜鳥近日啟動了義烏超級進出口中心,以此為中心連接全球100多個港口,和海外上萬架次的包機、遠洋貨輪、中歐班列以及載貨重卡,助力全球商家投入天貓雙11備貨。小蠻驢等阿里物流機器人將承包浙大雙11菜鳥驛站包裹配送10月30日,小蠻驢在內的22個物流機器人進入浙江大學紫金港校區,將承擔雙11期間浙大菜鳥驛站的包裹送貨上門服務。這意味著,阿里將在浙大打造全球首個純機器人送貨點位。小蠻驢是阿里上個月在雲棲大會上發布的第一款物流機器人。
  • 精準賦能行業、 析中國物流十大趨勢,《中國智能物流企業百強榜暨...
    近年來,數字經濟在全球經濟發展中的影響進一步凸顯。為了有力推動企業數位化轉型,助力中國數字經濟增長,構建數位化產業鏈,2020年12月10——12日,以「點亮數字未來」為主題的2020中國數位化年會盛大召開。
  • 天貓雙11物流環保大發力 菜鳥帶動中國快遞綠色升級
    上海財經大學菜鳥驛站站長葛均國沒有料到,一個設立在驛站裡的綠色紙箱回收臺能引起如此大的反響。葛均國所看到的,是「綠色天貓雙11」的縮影。在菜鳥網絡的推動下,更多「綠色」正在天貓「雙11」物流鏈路上呈現、放大。1682億成交額,8.12億物流訂單,剛剛結束的2017天貓雙11輕鬆刷新了去年天貓雙11創造的6.57億的物流訂單量。
  • 哪款手機快遞查詢軟體好用 《菜鳥裹裹》是阿里巴巴旗下的一款物流...
    哪款手機快遞查詢軟體好用 《菜鳥裹裹》是阿里巴巴旗下的一款物流服務軟體時間:2018-06-14 09:55   來源:趣味百曉僧   責任編輯:凌君 川北在線核心提示:原標題:哪款手機快遞查詢軟體好用 《菜鳥裹裹》是阿里巴巴旗下的一款物流服務軟體 手機快遞查詢軟體用起來非常的方便,在日常生活中用得越來越多,順應了現在網上購物的需求
  • 逗號科技:一體化解決方案,助力To B物流邁入智能化
    今天的路況如何、貨車是否可以在某路段通行、貨物的溫溼度狀態要求如何、接單時的貨物體積是否與實際情況是否匹配……這些問題和數據成為了不同運輸情況中的「難題組合」。在第二季第三期未來午餐會裡,圍繞智能製造領域,我們邀請到了逗號科技董事長羅浩,一起來看看讓To B第三方物流行業更智能、更高效的科技解決方案!
  • 《物流科技34強榜》公布:菜鳥網絡 京東物流 滿幫集團居前三
    近日,國內知名電商智庫網經社電子商務研究中心發布《2019年度中國電商百強數據報告》。報告發布了《2019年度中國電子商務「百強榜」》榜單和由403家泛電商上市公司、獨角獸、千裡馬構成的榜單全文。報告顯示,物流科技領域暫無上市公司,均為「獨角獸」電商公司和「千裡馬」電商公司。
  • 法國裡昂商學院發布《中國智能物流》百強榜及白皮書
    上海2020年12月17日 /美通社/ -- 近年來,數字經濟在全球經濟發展中的影響進一步凸顯。為了有力推動企業數位化轉型,助力中國數字經濟增長,構建數位化產業鏈,2020年12月10日-12日,以「點亮數字未來」為主題的2020中國數位化年會盛大召開。
  • 菜鳥國際
    菜鳥網絡科技有限公司(「菜鳥網絡」)於2013年由阿里巴巴集團牽頭成立。菜鳥是一家網際網路科技公司,專注於搭建四通八達的物流網絡,打通物流骨幹網和毛細血管,提供智慧供應鏈服務。通過技術創新和高效協同,菜鳥與合作夥伴一起提高物流效率,降低社會物流成本,提升消費者的物流體驗,為製造業創造更大利潤空間。菜鳥的目標是與物流合作夥伴一道,加快實現「全國24小時,全球72小時必達」。
  • 順豐發布黑科技產品——快測AR,可一鍵測量體積!
    發表於 2019-05-11 10:03:27 近年來,順豐一直致力於應用各種創新技術,構建智慧物流體系。
  • AI賦能智慧物流 順豐科技亮相2019EmTech China峰會
    AI賦能智慧物流 順豐科技亮相2019EmTech China峰會 2019 年 1 月 19 日- 1 月 21 日EmTech China全球新興科技峰會在北京召開
  • 保跨境物流穩外貿 ,菜鳥海外倉幫助商家逆勢增長
    做物流業數位化升級的引擎,加快「全國24小時,全球72小時必達」
  • 跨境物流為什麼越來越快了?
    以菜鳥為代表的物流平臺所創造的一系列數字,也從一個側面為不久前剛剛籤署的「區域全面經濟夥伴關係協定」(RECP)埋下註腳——東協國家不僅已經成為中國企業投資布局的熱土,其潛能還將為新興產業特別是跨境電商、跨境物流帶來巨大推動效應。在東南亞物流系統6個月的華麗蛻變背後,其實是菜鳥長期深耕、耐心經營的結果。菜鳥全球化物流技術總監陳偉才,曾在2019年12月帶隊走訪印尼。
  • 跨境物流「小菜鳥」:斑頭雁AnserX用「科技」打造新壁壘
    目前中國已是全球範圍比較大的物流市場,但卻大而不強,如何為賣家提供更高的服務質量?又如何面對國際物流企業的競爭?智慧物流是否能成為行業的一劑良藥? 物流費用漲漲漲困境之下,智慧物流成新風口 賣家躺著就能賺錢的時代已經過去了,進入2018年,在短短幾個月內,賣家已經歷經兩次物流運費漲價潮。