谷歌地圖重大升級,用深度學習實時更新街景

2021-01-18 雷鋒網

雷鋒網(公眾號:雷鋒網)AI科技評論按:每天,谷歌地圖都為成千上百萬的人們提供方位指示,實時路況信息以及商業信息。為了提供最佳的用戶體驗,地圖信息需要不斷的根據現實世界的變化做出調整。街景車每天收集數百萬張圖片,如果用人工分析每天超過800億張高清晰圖片來找出其中的新變化或者更新地圖信息,顯然是不可能的。因此,谷歌地面實況團隊(Ground Truth team)的目標之一,就是從地理位置圖像自動提取信息來升級谷歌地圖。

雷鋒網了解到,在「從街景圖像中提取基於注意機制的結構化信息」(Attention-based Extraction of Structured Information from Street View Imagery)一文中,谷歌描述了所採用的方法——怎樣在街景視圖中使用深度神經網絡自動且準確無誤地讀出街道名稱。我們的算法系統在挑戰「法國街道名稱識別數據集」(French Street Name Signs (FSNS) dataset)中達到了84.2%的正確率,明顯優於之前的最優系統。重要的是,谷歌的系統在提取其他類型信息也是很容易擴展的。比如現在幫助谷歌自動提取商店前面的商戶名稱。目前該模型已經開源。

圖中為法國街道名稱標識數據集中的一個例子,被谷歌的系統正確識別。上圖為同一標識的四種不同視角

自然環境中的文本識別在計算機視覺和機器學習上是一個非常具有挑戰性的問題。傳統的光學字符識別(OCR)系統主要側重於從掃描的文檔中提取文本。在自然場景中由於視覺偽影,如失真、閉塞、定向模糊、雜亂的背景或不同的角度給提取文本提升了難度。谷歌從2008年開始致力於解決這一問題,使用神經網絡模糊了街景圖像中的臉和車牌,以保護谷歌用戶的隱私。從最初的研究中,團隊意識到經過足夠的標記數據訓練後,機器學習不僅能保護用戶的隱私,而且還可以自動升級谷歌地圖相關的最新信息。

2014年穀歌地面實況團隊在街景門牌號數據集(SVHN)上公布了讀取街道號碼的方法,隨後暑期實習生Ian Goodfellow(現為谷歌員工)進行了運用。這個工作不僅是出於對學術的興趣,而且也是使谷歌地圖更為精確的關鍵。如今得益於這個系統,超過三分之一的全球地址已經在谷歌地圖上有了自己的位置。在一些國家,如巴西,這個算法增加了超過90%的谷歌地圖地址,大大提高了谷歌地圖的可用性。

下一步是將這些技術擴展到街道名稱。為了解決這個問題,谷歌創建和發布了法國街道名稱標誌(French Street Name Signs,FSNS),有超過100萬的街道名稱訓練數據集,旨在提高人們對OCR模型在實際使用情況下的認識。FSNS是谷歌經過多年的努力而構建的,它比SVHN數據集更加龐大,也更具挑戰性,因為如果要準確識別某個街道標識,可能需要對各個角度所拍攝的圖片進行整合處理。

上圖是識別起來很有難度的一些標識,也被谷歌系統通過對圖像的理解而正確判斷了。尤其是第二個,不過這個模型在之前學習了語言模型,使其能夠消除歧義,並正確識別出街道名。值得一提的是,在FSNS數據集中,同一路標在少於四個獨立視圖的情況下會以增加隨機噪聲的方式。

谷歌實習生Zbigniew Wojnazai在2016年夏天用這個數據集開發了一個深度學習模型,它能夠自動標註新的街景視圖。這個新模型的一個優點是,它可以根據日常的命名習慣進行文本規範。

上圖的例子中,可以將"AV."轉化為"Avenida","PRES."轉化為「Presidente」這是我們期望看到的結果

 

在這個圖中,模型沒有被圖中的兩個街道名稱迷惑,將"Av"正確轉化為"Avenue",同時也識別出了數字"1600"

儘管這個模型非常精確,它依然有15.8%的序列錯誤率。不過,在分析錯誤樣本後,團隊發現,其中48%是由於地面實況錯誤,也就是說,模型與標記質量呈現的準確度基本一致。(在我們的論文中有詳細的錯誤率分析)

這個新系統結合了提取街道號碼技術,使我們能夠直接從圖像創建新的地址。現在,每當一輛街景車在新建的道路上行駛時,我們的系統可以捕捉上千萬張圖像,提取街道名稱和數字,並自動在谷歌地圖上創建和定位新地址。

但自動為谷歌地圖創建地址是不夠的。此外,我們還希望能夠為商業提供導航。在2015,我們發表了「從街景圖像中進行大規模的商業發現」(Large Scale Business Discovery from Street View Imagery)一文,文中提出了一種方法可以準確地檢測商店外牆的標誌。然而,檢測到商店外牆,仍然需要準確地提取它的有用名稱。模型必須找出哪個文本是商戶名稱,哪些文本是不相關的。谷歌稱這種提取為「結構化文本」信息的提取。它不只是文字,而是具有語義意義的文本。

使用不同的訓練數據,我們用來讀取街道名稱的模型結構也可以用來準確地提取商業名稱。在這種特殊情況下,如果我們已經知道這個商戶在谷歌地圖的位置,可以只提取商業名稱來進行驗證,使之能夠更準確地更新商業列表。

如上圖所示,雖然沒有從圖片中獲得任何有關真實地址的信息,但系統還是正確識別出了商戶的名字Zelina Pneus,而且沒有被旁邊的輪胎品牌所騙。

模型需要處理800多億個街景圖像,需要強大的計算能力。這就是為什麼谷歌地面實況團隊採用TPU,可以大幅減少我們的推理計算成本。

人們依賴於谷歌地圖的精準性來協助他們工作和生活。同時,在景觀、道路和商業不斷變化的情況下,谷歌地圖的更新所面臨的技術挑戰,遠遠還沒有解決。為超過十億的谷歌地圖用戶創造更好的用戶體驗,一直是谷歌地面實況團隊追求的目標。

via Google Research Blog,雷鋒網編譯

雷鋒網版權文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 街景地圖-谷歌街景地圖-實景地圖全景在線瀏覽
    Google地圖提供多個地區的街道實景瀏覽,這些實景都是由Google的專用拍攝車拍攝下來的。
  • 有多少人被谷歌街景地圖「偷拍」過?
    當他正使用谷歌街景地圖瀏覽利馬的街景時,看著眼前的圖片,一股悲傷忽然湧上心頭,兩眼逐漸泛著淚光,透過屏幕的反射,他似乎看到了一定碩大綠色帽子正漂浮在自己的頭頂。地圖中,妻子正在和另一位男士愜意的享受著下午茶時光。
  • 用街景地圖「拍」故鄉
    需要的工具不是相機或手機,而是街景地圖。你坐在電腦面前,就可以完成一次對故鄉的觀看,對已有的全景圖像進行自由移動,放大,縮小,選取角度構圖,「拍攝」……這系列動作後,你的一張故鄉影像就形成了。用街景地圖「拍」故鄉,你同樣也可以去發現故鄉裡的人、事和物,顯現與「故鄉」有關的地理、文化、人文、歷史相關的信息。同時,這也是你在回到故鄉前做的一次資料收集。
  • 谷歌地圖 15 周年迎來重大更新:新標籤、Live View
    五個新標籤早期,地圖主要是地圖集的數字表示。如今,隨著GPS、智慧型手機、街景技術和用戶生成數據的不斷發展,Google Maps推出了越來越多的功能以響應用戶不斷變化的需求——本次地圖的重新設計就體現了這一點。
  • 安卓版谷歌街景迎來更新,用戶可通過AR功能拍照上傳
    近日,谷歌宣布安卓設備上的谷歌街景(Street View)應用程式迎來更新,現在該應用可以允許任何人貢獻他們的照片,以增強谷歌地圖。使用新版街景應用中的「connected photos」工具,用戶可以在沿著街道或小徑移動時記錄一系列圖像。
  • 谷歌翻譯將升級:實時聽譯並轉文字
    導語:《紐約時報》網絡版周日刊文稱,Skype近期開始測試英語和西班牙語之間的實時語音翻譯,而谷歌也將對翻譯應用進行升級。這表明,全球主要科技公司仍在繼續嘗試消除人們之間溝通的主要障礙,並已經取得了不錯的成果。以下為文章全文:科技行業正在竭盡全力推翻阻礙全球之間相互交流的「巴別塔」。
  • 這位日本網友和谷歌街景的故事,感動了58萬人
    而這一幕正巧被路過的谷歌街景給記錄了下來。誰能想到這一個美麗的巧合,完成了一場時隔 7 年的對話,讓女兒在谷歌街景上見到了逝去的父親。於是她在推特上呼籲:谷歌不要再更新這個地點的照片了,讓父親的身影留在谷歌地圖上。
  • 澳大利要求谷歌刪除該國一座山的街景地圖,因害怕人們「爬山」
    澳大利亞公園管理局已要求Google刪除烏魯魯(Uluru)土著聖地頂部的圖像,允許用戶通過街景視圖訪問峰頂。根據ABC的說法,事實是澳大利亞原住民認為這座山是神聖的。 烏魯魯山的山頂對澳大利亞傳統部落阿南古(Anangu)具有重要的精神意義。
  • 谷歌地圖測試速度更快的AR實時視圖
    【來源:cnBeta.COM】上個月谷歌為了慶祝谷歌地圖成立15周年,為谷歌地圖推出了新的圖標,並且重新設計了行動應用程式。谷歌還預覽了一些即將推出的功能,現在正在測試地圖導航之外更快的實時視圖(Live View)訪問。
  • 谷歌地圖裡那些「最後的身影」,讓許多人淚思逝去的親人……
    地圖街景拍下了該網友的爺爺散步的樣子!照片令他感動不已,他對著這張照片對爺爺寫道:甚至有一些思念親人的網友,按照這個方法,也在谷歌街景上找到了自己的親人。谷歌街景,是谷歌地圖的一項特色服務,有專門的街景車進行拍攝,然後把360度實景拍攝照片放在谷歌地圖裡供用戶使用。當你進入地圖查看街景,就能查看實地的景色。
  • 街景之旅 | 她使用谷歌街景環遊世界,用一種新的視角來想像來自國外的場景
    相反,她採取了「 街景之旅 」(street view journey)的態度,通過谷歌街景(Google Street View)和繪畫場景進行冒險,她自發地遇到和發現迷人的。她對建築的熱愛自然地將她引向在建築環境中發現的不尋常的構圖。儘管乍一看,她選擇的許多場景似乎並不引人注目,但吸引她的卻是世俗感。
  • 父親去世7年後,他收到了谷歌地圖的禮物......
    突然在街景地圖上看到自己7年前的父親,是一種什麼感受?1月4日,推主@TeacherUfo用谷歌街景地圖搜索以前的家,卻意外在地圖上看見了已經去世7年的父親。他將這件事發在推特上,希望這條街的照片永遠不要更新,近69w人被這條溫暖的推文戳中淚點。把街景往前拉,還能看到拐角處快要到家的母親的身影,他推測,父親是在門口一邊抽菸一邊等母親回家。
  • 別動,谷歌地圖在給你拍照
    今年三月,加拿大的藝術家喬恩 · 拉夫曼重啟了他於2008年開始的項目,「谷歌街景的九隻眼」。拉夫曼在谷歌街景地圖上尋找有意思的場景,把它們截圖分享到網際網路上。這些被意外定格的畫面卻有種令人著迷的魔力:在沒有目的、沒有感情的攝影機下,人性得以真實而自然地裸露出來。
  • 想用街景地圖看看老家,卻看到去世7年的父親
    疫情期間,霓虹有位網友閒來無事,於是想著打開谷歌地球看看老家,沒想到頓時就傷感懷念起來:「疫情期間沒事做,就在谷歌地球上看看自己的老家。結果居然看到了7年前去世的父親站在門口。路的盡頭還有一個人,於是就順著路往前一看,才發現是母親。原來父親是在家門口抽著煙等妻子回家。
  • 日本網友在谷歌街景意外重逢去世親人,引發全網震動!網友:我突然好想家!
    日本就有一位網友在翻看谷歌地圖時,居然在自家門口前,看到了被時空凝固住的已逝父親! 與過逝父親時隔七年的「重逢」!就在上個月,日本有一位名為タムチンキ的網友嘗試用谷歌街景搜索父母住的房屋時,看到了令她震驚的一幕,早在7年前就已過世的父親,竟然站在了家門前!一如記憶中鮮活的父親,邊抽著煙邊望著這邊,似乎正翹首以盼等待著什麼。
  • Google街景視圖是Google地圖的一項有爭議的功能
    近期涉及Google街景視圖是Google地圖的一項有爭議的功能內容備受矚目,很多讀者對此也很有興趣,現在給大家羅列關於Google街景視圖是Google地圖的一項有爭議的功能最新消息。谷歌9月30日表示,它已在所有七大洲為其街景技術添加了圖像,並在南極洲,巴西和愛爾蘭添加了鏡頭。Google街景視圖是Google地圖的一項有爭議的功能,可提供世界範圍內街道和地形的360度全景圖像。
  • 看了這篇文章,我可算知道了谷歌街景的秘密
    最近youtube的廣告總是給我推送:「google
  • 重大發現!大遂寧的騰訊街景地圖上線了!必須拿去炫耀呀!
    今天,小編要在這裡很負責的告訴大家,遂寧的街景已上線,騰訊地圖的街景有遂寧商務區啦!!!體驗了以後覺得簡直是高達上啊,可以360度進行觀看,並可以跟隨街景地圖軌跡前行後退,沒來過遂寧的朋友直接在地圖上就能欣賞到街景!各位看官也可以去體驗下,看看自己有木有入鏡吧,說不定你也默默的當了一次路人甲……
  • 終於,谷歌成功重返中國,這些功能在中國也能用!
    在澳洲,無論你從事什麼職業,做什麼事,有一樣「神器」是絕對離不開的,這件神器就是谷歌。谷歌的產品有多好用,這裡無需多言。以前,雖然網頁版Google Map偶爾能夠訪問,但是地圖數據一直沒有更新,而現在!界面已顯示為2018年最新版本!
  • 谷歌街景圖像跟蹤卡特裡娜颶風后紐奧良的重建
    在2005年8月29日卡特裡娜颶風摧毀了紐奧良和墨西哥灣沿岸大部分地區後將近七年,Google街景視圖已發布了恢復和持續重建的新圖像,作為其將大量新圖像引入其廣泛地圖的工作的一部分操作。自2008年以來,這是Google首次更新該城市的街景圖像,當時這些照片仍然傳達出由於卡特裡娜颶風(Catrina)的三級風造成的整個地區的悲劇性破壞。最初的圖片發布時,Landrieu是路易斯安那州的副州長,他當時在雄辯的Google帖子中寫下了這些最初的圖片。Landrieu寫道:「紐奧良是一個獨特的美國城市。」